scrapy是不支持分布式的。分布式爬虫应该是在多台服务器(A B C服务器)，他们不会重复交叉爬取(需要用到状态管理器)。 重点 一、我的机器是Linux系统或者是MacO...
发简信
IP属地：广东
-
Scrapy框架-分布式爬虫实现及scrapy_redis使用 -
二十万字的《精进》，整理出的15条思想精华，免费干货分享阅读《精进》，本书的书签上写着“因为你的存在，这个世界又增加了一种新的可能性”。这本书并不难读，观点清晰，条理分明，然而我仍然认为整本书的精髓可以更加精炼，下面让我试着做摘抄...
-
一念轮回，以及稀缺心理
一念轮回 最近在起点追看徐公子胜治的一本小说《太上章》，看到了一个令人深思的小故事。 一个小男孩名叫小九，据说是仓颉的化身。他是一个小国家的公子，被当做人质，抵押在邻国居住。...
-
什么叫逆向思维？看电视《天道》你就懂了用两个字说：颠倒用三个字说：果导因用四个字说：倒行逆施用五个字来说：多米诺布局 所谓“逆向思维”，是和“顺向思维”相对应而言的。顺向思维又称“条件导向法”，强调从现有的条件出...
-
我用四天时间改了一行代码
最近手头分来了一个bug，该bug很诡吊，一行代码的改动，花了四天时间，因为该Bug会block出货，项目经理每天催问进度，期间真是感觉整个人都不好了。本篇博文记录解决该问题...
-
一个人的时候该如何充实自己（一）我是一个超级懒的人，没错，我就是传说中没有男朋友，青春被狗吃了的芸芸众生中不仅普通还死宅的吃货少女。因为没有男朋友，好像就有了正大光明拥抱电脑虚度光阴的理由，然而，我这样一个...
-
收纳整理控：纽约姑娘变态零垃圾生活，两年内的垃圾就一小罐。喜欢家庭收纳整理的朋友可以关注我哦，每天都有收纳整理文章更新。 今天要和大家分享的这位姑娘， 真的好爱她的颜了， 明明可以靠颜值啊， 偏偏用让人无比佩服的生活方式征服了大众～...
