爬取简书和数据分析

最近使用爬虫爬了一下简书,半天的时间爬取了简书20w用户数据和40w的follow关系。这些存在mysql里面的闲着也是闲着,想试着做一些有意思的数据统计和社交关系分析。

最受欢迎的作者

我统计了简书上面粉丝数最多和被喜欢次数最多的用户,简书上最受欢迎的作者,如下图所示:


![Uploading Figure_1_086232.png . . .]

我把最受欢迎的作者的放到一张图上面,横坐标表示粉丝数,纵坐标表示被喜欢的次数,如下图所示。可以很明显的看出来,这些最受欢迎的作者里面,大多数的作者还是聚集在图的左下角,but,还有几个超级受欢迎的,他们分别分布在图的右侧和上侧。他们分别是,刘淼,彭小六,简黛玉。很可惜,截图上不能附上作者的名字。


Figure_1.png

这是同济最受欢迎的作者的原始数据,我也贴在这里,如下图所示,数据爬取的时间是 2017年10月20日左右。下图的这四列分别是,uid,昵称,粉丝数,被喜欢数。


2017-10-31 19-16-04屏幕截图.png

最能写的作者

统计了发表文章数最多的top20作者,如下图所示:

image.png

排名第一的这位孤鸟差鱼 ( http://www.jianshu.com/u/a4bb86f4ba07),写了1799篇文章啊!我的天!但是这里有一个bug,这位作者虽然能写,但是每篇文章被喜欢的次数很低,基本上是个位数。可能是一位孤独but高产的作者。

平均每个字被喜欢次数坐高的作者

从上面的一个统计里面吸取到的一个灵感,虽然上面的作者很能写,但是被喜欢的次数却很低,这一次统计的是平均每个字被喜欢次数坐高的作者。如下图所示:


image.png

这个结果就更加意外了,排在前面的这几个大哥,就写了一个字,but 收获了48个喜欢!!!!每个字被喜欢的比例是1:48!!!于是,很好奇这位大哥,这一个字写得是什么,跑去围观。。

2017-10-31 19-46-04屏幕截图.png

用户的粉丝数分布的比例

分析了一下每个用户的粉丝数,绝大多数用户的粉丝数只有10人以下,而粉丝数分布在[10,20]之间的用户明显少了很多,简直是锐减!!!这也基本上符合一个社交网络的结果,绝大多数的人都是围观者,都是内容或者是消息的的接收者。拥有大量粉丝的人,往往很少,这一部分的人是这个社交网络的核心,是信息或者是消息的创造者,拥有更加强大的话语权。

image.png
后面的还尝试的做了一些有意思的,最近在写论文,比较忙,待更新中。。。
PS:
  1. 有人私信问代码,我贴在了github上面 https://github.com/zhaozhengcoder/Jianshu_scrapy
  2. 有人私信问原始数据,这个没有在github上面,but,如果你要的话,我也可以发给你
最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 203,547评论 6 477
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 85,399评论 2 381
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 150,428评论 0 337
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,599评论 1 274
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,612评论 5 365
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,577评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 37,941评论 3 395
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,603评论 0 258
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,852评论 1 297
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,605评论 2 321
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,693评论 1 329
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,375评论 4 318
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,955评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,936评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,172评论 1 259
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 43,970评论 2 349
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,414评论 2 342

推荐阅读更多精彩内容

  • Android 自定义View的各种姿势1 Activity的显示之ViewRootImpl详解 Activity...
    passiontim阅读 171,401评论 25 707
  • 在本文中我会尝试如何从0数据开始到获取百万页面,进行用户数据分析、建模,再数据信息化、可视化,生成用户画像分析用户...
    hirainchen阅读 25,269评论 121 690
  • 社交红利阅读笔记 书名:社交红利(修订升级版) 作者:徐志斌 出版社:中信出版社 正文前笔记: 推荐序1摘要 社交...
    凫水阅读 8,896评论 4 26
  • 我们经历了邱莹莹的莽撞,关雎尔的单纯,最后到了樊胜美不上不下的生活状态。大多数情况下,我们是遇不到富可敌国的曲筱绡...
    蓝小歌阅读 1,702评论 5 28
  • 得到上有27个专栏,共26位作者,因为王煜全的前哨专栏已经开通了第二季。在这26个作者中只有4个专栏的订阅数超过了...
    蜀陲浪人阅读 580评论 0 51