技术要求
- 熟悉python语言
- 知道如何获取网页数据,熟练使用chrome浏览器优先
- 知道如何连接数据库,熟悉sql语句
- 知道如何分离并提取网页数据，熟悉正则表达式,lxml,ElementTree,Scrapy优先
- 知道如何判断网页编码并解码（utf-8,gbk,gb2312）
爬虫要求
最后编辑于 ：
©著作权归作者所有,转载或内容合作请联系作者
平台声明：文章内容（如有图片或视频亦包括在内）由作者上传并发布，文章内容仅代表作者本人观点，简书系信息发布平台，仅提供信息存储服务。
平台声明：文章内容（如有图片或视频亦包括在内）由作者上传并发布，文章内容仅代表作者本人观点，简书系信息发布平台，仅提供信息存储服务。
推荐阅读更多精彩内容
- 编码问题一直困扰着开发人员，尤其在 Java 中更加明显，因为 Java 是跨平台语言，不同平台之间编码之间的切换...
- 要玩大数据，没有数据怎么玩？这里推荐一些33款开源爬虫软件给大家。 爬虫，即网络爬虫，是一种自动获取网页内容的程序...
