面试
一面:电话面试,面了一些Python基础知识,装饰器、迭代器、scrapy框架(公司主要用这个框架来写爬虫,但是我没有用过)、多线程、问会不会Java(不是很熟)、会不会抓包(记不太清了)。基础知识还可以,所以电话通过。
二面:技术组长面试,问了很多关于数据库、多线程的基础知识,让写了一道算法题,很简单,通过
三面:CTO面试,指出了算法中的一些问题(粗心没注意到),问我写的这个程序的时间复杂度,以及如何降低这个时间复杂度(list换成dict);问未来的发展规划,符合他们公司的要求,公司是做知识图谱方面的,我也很感兴趣,所以很想留下来。
HR:晚上通知面试通过,谈了薪资等问题,说让尽快入职。
scrapy官方文档
周五看了一天的scrapy官方文档。
https://doc.scrapy.org/en/latest/ 全英文
http://scrapy-chs.readthedocs.io/zh_CN/latest/ 半英文半中文
重点看的内容:
百度百科爬取
爬取思路:根据关键词进行相关每个词条的爬取,然后