数据采集和分析

文/曹门霞客行

分享一款数据抓取工具——八爪鱼,图示化操作和云计算,有专业版和旗舰版,付费即可,小白入门,基础版先入门,图文教学网址

  • 2017年9月18日,学习如何抓取采集单个网页内容,比如抓取简书某篇文章的标题和正文。

  • 2017年9月18日,学习如何抓取单个列表页面,比如抓取简书首页文章的标题和专题,只是有一个小问题,只抓取了20条数据,其中来自“在路上”专题的文章有四篇。

  • 2017年9月19日,学习表格信息采集,增加了“创立一个元素列表以处理一组元素”的步骤。

  • 2017年9月19日,学习采集单网页列表详细信息,采集列表式电影排名,并进入子链接内容,抓取相关信息。因为进入子链接抓取内容,比单页面抓取内容,速度慢很多。


http://www.bazhuayu.com/tutorial.aspx?type=0&page=0&tag=实战案例

1.搜索引擎多关键词内容抓取

2.豆瓣电影信息采集

3.淘宝商品评论采集

4.天猫商品信息采集

5.大众点评商家信息采集

6.点击元素采集内容实战

用处:

1.首页文章:专题占比比重?文章标题的字数?签约作者占比?阅读量、评论、点赞、赞赏的比重?

2.优质作者的爬取

3.单个作者文章关键词分析

4.朋友圈所有头像

5.专题投稿:时间段(每日、每周)、文章数量、作者数量

6.专题收录:审稿时间段(每日、每周)、文章数量、作者数量。专题优质作者。

7.分享微博、朋友圈的情况

8.专题活动的参与情况,多少作者、多少文章、覆盖多少用户、深度参与的情况(评论、点赞、赞赏、文章等)

9.专题列表、专题关注用户、专题收录多少篇文章

©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成,浏览时请结合常识与多方信息审慎甄别。
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

相关阅读更多精彩内容

  • 作者叶玎玎 叶玎玎是GrowingIO的联合创始人,他也是连续创业者,是企业协作工具风车的联合创始人,十多年的工程...
    Sting阅读 9,682评论 0 8
  • Android 自定义View的各种姿势1 Activity的显示之ViewRootImpl详解 Activity...
    passiontim阅读 176,647评论 25 709
  • Spring Cloud为开发人员提供了快速构建分布式系统中一些常见模式的工具(例如配置管理,服务发现,断路器,智...
    卡卡罗2017阅读 136,188评论 19 139
  • 大概是1997年末的一个大雪天里,我乘坐的X航123客机坠毁,幸运的是,一天一夜后,醒来的我还在人间,还被带到了一...
    胡锤闻阅读 2,990评论 1 0
  • 学校试着实行学生自治管理,也就是拿一个班的学生全天候、全员参与、全方位参与学校的管理,给学生命名值日校长和值日校长...
    土豆哦阅读 1,567评论 0 0

友情链接更多精彩内容