零编程基础从网页爬取数据

2017-04-12 第十一周  数据分析之数据爬虫

初识爬取网页数据,心中顿时万只草泥马! 感谢万能的知乎,果真10分钟上手!!! 知乎链接:https://www.zhihu.com/question/47883186#answer-57771301 

神器一:excel

用那么多年的excel,有哪几个知道excel的黑科技,数据——从网站获取,哈哈哈,如此简单到不可思议吧

神器二:web scary

1、条件:chrome浏览器 + web  scraper插件(官网/或者百度网盘下载)

2、流程:打开chrome浏览器—— 启动web

scraper插件(F12 or control + shift + L)——scraper界面切换至上下窗口模式——创建爬虫(create sitemap,输入name + url)——add new

编辑选择器 selector(id,type=text,selector=select+ Multiple) Delay=500)——Save selector——抓取数据(sitemap-Scrape)——下载数据(Export data as CSV)

3、注意事项

A、偶尔F12 or control + shift + L不出现界面,多点几次稍等一下

B、只下载出单一页面,如果有下一项的如何处理(Url中结尾为page的,Editmetadata的URL中page=1修改成page=[1-3])

C、导出数据至excel,可能在单一单元格,未按excel数据排列,如何处理

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成,浏览时请结合常识与多方信息审慎甄别。
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容

  • 在工作中,几乎每个岗位都会涉及到数据收集的任务。收集本地所有装修公司的名单,收集某个APP的所有评论,收集网上所有...
    菜鸟依依阅读 18,345评论 5 26
  • 说明:本文章内容学习自“三 节 课”平台的《人人都能学会的数据爬虫课》。 产品和运营工作中,经常需要做出大量的决策...
    CJDUDU阅读 5,572评论 0 6
  • 1 前言 作为一名合格的数据分析师,其完整的技术知识体系必须贯穿数据获取、数据存储、数据提取、数据分析、数据挖掘、...
    whenif阅读 18,200评论 45 523
  • 前两天安排的行程有些满,今天对于我们来说,是最休闲的一天,我们可以睡到日上三竿,然后开车去书院门吃早餐,我们是...
    清水鱼儿阅读 2,924评论 0 0
  • 周二 晴天 已经十一点半了,把那篇关于在校园丢书的看法写完几乎就没了力气,在宿舍写东西太耗费精力了,而且眼睛也老是...
    羞羞的麦穗阅读 1,599评论 0 0