1.数据抓取爬虫工程师(J171017016)-新四(滴滴地图事业部)
工作职责:
1、负责构建垂直类爬虫架构,智能抓取系统设计与研发(如抓取调度,多样化抓取,页面解析和结构化抽取,海量数据存储和读取等)
2、负责爬虫核心算法的策略优化研究,提升爬虫抓取效率和质量(如调权调度、分析预测、质量判断、封禁与反封禁研究等)
3、负责HTTP、AJAX等各类网络请求分析,探索和研究高效的数据抓取解决方案
任职资格:
1、本科及以上学历,良好的代码能力,扎实的数据结构和算法功底,有快速迭代、逐步优化的工程项目经验
2、有良好逻辑思维能力、沟通能力、团队合作精神、学习能力,抗压能力,对挑战性问题充满激情
3、熟悉linux和Java开发,熟悉shell/perl/python等脚本语言,熟练掌握正则表达式
4、有多线程、网络数据处理经验优先(如HTTP协议,AJAX,爬虫开发,浏览器内核开发,Web服务开发等)
5、有大规模分布式海量数据处理经验优先(如Hadoop/Hbase/Spark/Strom/Flink等)
2.数据挖掘工程师-POI方向(J171017015)-新四(滴滴地图事业部)
工作职责:
1、负责地理位置相关的文本数据挖掘建设,地理位置关系的挖掘,识别去重,地理编码等相关算法,自然语言处理方面的策略研发和迭代
2、构建POI知识库体系,优化完善相关的机器学习模型,提升地理位置方面的数据质量(覆盖率和准确率)
3、为集团建立准确丰富的出行信息图谱,为高效出行打造坚实的基础
4、研究分析国内外业界的POI数据现状与特点,探索创新POI数据挖掘的模式与流程
任职资格:
1、本科及以上学历,有良好的代码设计能力和算法设计基础,有数据挖掘,自然语言处理NLP等算法策略,机器学习方面的快速迭代、优化等项目经验
2、有良好逻辑思维能力、沟通能力、团队合作精神、学习能力,抗压能力,对挑战性问题充满激情
3、有数据挖掘处理经验优先(如NLP、用户推荐、反作弊,知识库建设,地图/商户数据处理等)
4、有大规模离线海量数据处理经验优先(如hadoop,hive,spark等)
5、有LBS等地图相关领域的工作经验优先"
地点:海淀区西二旗软件园(地铁:西二旗)