2017-04-12 第十一周 数据分析之数据爬虫
初识爬取网页数据,心中顿时万只草泥马! 感谢万能的知乎,果真10分钟上手!!! 知乎链接:https://www.zhihu.com/question/47883186#answer-57771301
神器一:excel
用那么多年的excel,有哪几个知道excel的黑科技,数据——从网站获取,哈哈哈,如此简单到不可思议吧
神器二:web scary
1、条件:chrome浏览器 + web scraper插件(官网/或者百度网盘下载)
2、流程:打开chrome浏览器—— 启动web
scraper插件(F12 or control + shift + L)——scraper界面切换至上下窗口模式——创建爬虫(create sitemap,输入name + url)——add new
编辑选择器 selector(id,type=text,selector=select+ Multiple) Delay=500)——Save selector——抓取数据(sitemap-Scrape)——下载数据(Export data as CSV)
3、注意事项
A、偶尔F12 or control + shift + L不出现界面,多点几次稍等一下
B、只下载出单一页面,如果有下一项的如何处理(Url中结尾为page的,Editmetadata的URL中page=1修改成page=[1-3])
C、导出数据至excel,可能在单一单元格,未按excel数据排列,如何处理