爬虫非专业八级模拟考试

我就不信有满分飘过的学霸!

请听题:

下拉查看答案






正确答案 B

最大的爬虫就是搜索引擎。Google作为世界上最大的搜索引擎,其爬虫流量也遥遥领先于其他各类搜索引擎爬虫,占所有爬虫流量的3.87%

下拉查看答案






正确答案 C

企业工商注册信息不是个人数据,数据来源都是国家公示网站,所公示内容是依法公开的内容。

对于敏感的个人信息,比如爬取社保、身份证号、淘宝交易记录,是违法的。

下拉查看答案






正确答案 A

数据来自浅黑科技:关于爬虫,这里有一份《中国焦虑图鉴》

下拉查看答案






正确答案 C

使用打码平台是最快解决问题的方法

下拉查看答案






正确答案 B

经过分析,发现迷之字符规律的出现在 span 标签内,所以就把 span 标签的内容干掉好了。

下拉查看答案






正确答案 C

美团这里用到的是 background 拼凑。数字其实是图片,根据不同的background偏移,显示出不同的字符。

既然人眼可以看出数字是多少,那么程序也可以识别。可以用 tesseract-ocr 进行图片识别。

下拉查看答案






正确答案 B

这里去哪儿的策略是先用四个i标签渲染,再用两个b标签去绝对定位偏移量,覆盖故意展示错误的i标签,最后在视觉上形成正确的价格。

找到规律,根据元素偏移量去计算正确的数字和位数,替换掉错误的价格即可。

下拉查看答案






正确答案 AC

使用 Selenium + chromedriver 或者抓 API 接口都可以,这里不推荐 PhantomJS 是因为框架不再维护了。但可能一些老的教程还在用。

下拉查看答案






正确答案 AB

抓包 mitmproxy 或者 APK 反编译都可以。Requests 肯定是请求不到的了。

10. 简答题:这张图还可以再往下补充的进攻和防守轮回是什么?

下拉查看答案






参考答案

其实可以补充的有很多了,真实世界比这张图复杂很多,在这里提供两个思路:

一轮:

反爬的防守:识别出来selenium爬虫,进行数据投毒,给假数据。

爬取的进攻:Android模拟器,模拟正常用户,或者再换一个http client

又一轮:

爬取的进攻:模拟正常用户行为,点击其他功能或者页面

反爬的防守:爬取的限速限流


考试结束~

麻瓜们考的怎么样?

每道题10分,满分100分,你能得多少分呢?

如果需要补课的话,可以看下Python 商业爬虫学徒计划,皓禹老师和侯爵老师一起手把手带你从0基础到掌握 Python 商业爬虫。

课程不仅教你写爬虫,还带着你写出一个易用可插拔、工程化的商业爬虫框架。

框架的基本结构

线下面授课程在舒适的办公空间进行授课,同时也提供了在线直播的方式,会录制人像和代码屏幕这两个机位,并且有在线举手答疑和远程代码review,尽可能的让参加在线直播的同学获得亲临现场一样的体验。

课程相关资料都会分享给学徒们,可以永久观看与使用。

如果想咨询更多信息,请加西西姐微信 794498950,备注学徒计划

也可查看课程详情:http://hdxu.cn/X2EhL

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 217,657评论 6 505
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 92,889评论 3 394
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 164,057评论 0 354
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 58,509评论 1 293
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 67,562评论 6 392
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 51,443评论 1 302
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 40,251评论 3 418
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 39,129评论 0 276
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 45,561评论 1 314
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,779评论 3 335
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,902评论 1 348
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,621评论 5 345
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 41,220评论 3 328
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,838评论 0 22
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,971评论 1 269
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 48,025评论 2 370
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,843评论 2 354

推荐阅读更多精彩内容

  • 夕阳就挂在村庄外面的山上 含情默默地与村庄对望 眼眸里满满的真情流露 霞光的亮丽让老人眯上双眼 背着一堵土色土香的...
    沉浮梦醒阅读 1,051评论 7 9
  • 我与L 君相识于不算冷的一个冬日,那天是传说中的光棍节。 对,就是双十一。 楼下肉蟹煲里坐着一个没钱血拼不修边幅胡...
    故里他乡阅读 120评论 0 1
  • 当雪与阳光相遇 雪开始哭了,于是 阳光开始慌张了 不停流泪又不忍给他看的雪 不知所措又不敢给她擦泪的阳光 为什么那...
    妮妮shape阅读 76评论 0 0
  • 第一天 瑜伽轮的拜日法, 虽然以前这个我也都接触了,但是系统的学习以后开始加深印象。 瑜伽轮的经络篇 我知道sal...
    jolie_姐阅读 471评论 0 1