爬虫非专业八级模拟考试

我就不信有满分飘过的学霸!

请听题:

下拉查看答案






正确答案 B

最大的爬虫就是搜索引擎。Google作为世界上最大的搜索引擎,其爬虫流量也遥遥领先于其他各类搜索引擎爬虫,占所有爬虫流量的3.87%

下拉查看答案






正确答案 C

企业工商注册信息不是个人数据,数据来源都是国家公示网站,所公示内容是依法公开的内容。

对于敏感的个人信息,比如爬取社保、身份证号、淘宝交易记录,是违法的。

下拉查看答案






正确答案 A

数据来自浅黑科技:关于爬虫,这里有一份《中国焦虑图鉴》

下拉查看答案






正确答案 C

使用打码平台是最快解决问题的方法

下拉查看答案






正确答案 B

经过分析,发现迷之字符规律的出现在 span 标签内,所以就把 span 标签的内容干掉好了。

下拉查看答案






正确答案 C

美团这里用到的是 background 拼凑。数字其实是图片,根据不同的background偏移,显示出不同的字符。

既然人眼可以看出数字是多少,那么程序也可以识别。可以用 tesseract-ocr 进行图片识别。

下拉查看答案






正确答案 B

这里去哪儿的策略是先用四个i标签渲染,再用两个b标签去绝对定位偏移量,覆盖故意展示错误的i标签,最后在视觉上形成正确的价格。

找到规律,根据元素偏移量去计算正确的数字和位数,替换掉错误的价格即可。

下拉查看答案






正确答案 AC

使用 Selenium + chromedriver 或者抓 API 接口都可以,这里不推荐 PhantomJS 是因为框架不再维护了。但可能一些老的教程还在用。

下拉查看答案






正确答案 AB

抓包 mitmproxy 或者 APK 反编译都可以。Requests 肯定是请求不到的了。

10. 简答题:这张图还可以再往下补充的进攻和防守轮回是什么?

下拉查看答案






参考答案

其实可以补充的有很多了,真实世界比这张图复杂很多,在这里提供两个思路:

一轮:

反爬的防守:识别出来selenium爬虫,进行数据投毒,给假数据。

爬取的进攻:Android模拟器,模拟正常用户,或者再换一个http client

又一轮:

爬取的进攻:模拟正常用户行为,点击其他功能或者页面

反爬的防守:爬取的限速限流


考试结束~

麻瓜们考的怎么样?

每道题10分,满分100分,你能得多少分呢?

如果需要补课的话,可以看下Python 商业爬虫学徒计划,皓禹老师和侯爵老师一起手把手带你从0基础到掌握 Python 商业爬虫。

课程不仅教你写爬虫,还带着你写出一个易用可插拔、工程化的商业爬虫框架。

框架的基本结构

线下面授课程在舒适的办公空间进行授课,同时也提供了在线直播的方式,会录制人像和代码屏幕这两个机位,并且有在线举手答疑和远程代码review,尽可能的让参加在线直播的同学获得亲临现场一样的体验。

课程相关资料都会分享给学徒们,可以永久观看与使用。

如果想咨询更多信息,请加西西姐微信 794498950,备注学徒计划

也可查看课程详情:http://hdxu.cn/X2EhL

©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容

  • 夕阳就挂在村庄外面的山上 含情默默地与村庄对望 眼眸里满满的真情流露 霞光的亮丽让老人眯上双眼 背着一堵土色土香的...
    沉浮梦醒阅读 1,089评论 7 9
  • 我与L 君相识于不算冷的一个冬日,那天是传说中的光棍节。 对,就是双十一。 楼下肉蟹煲里坐着一个没钱血拼不修边幅胡...
    故里他乡阅读 136评论 0 1
  • 当雪与阳光相遇 雪开始哭了,于是 阳光开始慌张了 不停流泪又不忍给他看的雪 不知所措又不敢给她擦泪的阳光 为什么那...
    妮妮shape阅读 90评论 0 0
  • 第一天 瑜伽轮的拜日法, 虽然以前这个我也都接触了,但是系统的学习以后开始加深印象。 瑜伽轮的经络篇 我知道sal...
    jolie_姐阅读 478评论 0 1