高级爬虫工程师
工作职责:
1.负责设计和开发分布式网络爬虫系统，进行多平台信息的抓取和分析；
2.设计爬虫策略和防屏蔽规则，提升效率和质量；
3.抓取数据进行去重、分类、垃圾过滤、质量分析；
工作要求:
1. 计算机科学或其他相关专业（统招）211本科及以上学历 扎实的算法和编程能力;
2. 熟悉linux开发环境，精通java和python中的一种。
3. 具有三年以上网络爬虫开发经验，熟悉网络数据抓取的工作原理及工作流程
4. 对常见的反爬虫策略有一定的研究，能够分析总结不同网站的数据特点及规律
5. 具有海量数据处理和分布式计算开发经验者优先"
