Python 异步,协程,学起来好头疼,Python爬虫程序能调用GPU去爬东西吗?

78 技术人社群日报时间

@[toc]

Python 爬虫程序能调用 GPU 去爬东西吗?

f849c4e5b3a14e3f8cbdc3f560a540ce[1].png

用不到,可能很多朋友都认为 GPU 可以挖矿,算力高,可以用 GPU 提高爬虫的速度。
但是爬虫的性能瓶颈在 IO,并不在计算,所以不需要 GPU 的,
想爬的更快,用协程+分布式就足够了。

Python 异步,协程……,学起来好头疼

然后有个师兄,发到社群一个某乎答案

371ce1926a844f69a9a2f330c4fdc4c7[1].png

接下来群里就烧水问题,讨论了一个晚上,对怎么烧水进行了深入的探究。

80adfefece734c07a15c8763e760eac8[1].png

在初学 Python 爬虫阶段,会碰到很多概念,并且他们相似但含义完全不同。例如 多线程,多进程,异步,协程,并发,分布式……,如果想要彻底搞懂他们,还是非常有难度的,只有一条路可以帮你彻底理解,用它们做应用,实际的使用它们。

《Python 爬虫 100 例》《Python 爬虫 120 例》都有相关案例的涉及,可以反复学习。

有没有牛子大的说下 matplotlibplotsubplots 的区别

6fa1436782034298a91259ea007bd5a8[1].png

plt.plot() 是画折线图;
plt.subplot() 生成一个子图。

一个是开始画了,一个是先拿出来一张纸,打上线,分隔区域。

有没有讲 pandas 的 groupby & 学 pandas 真的能找到工作吗

844513133d724384bea2eff99116aae4[1].png

第一个问题,pandas 中的 groupby 相关用法,可以看 《周一不睡觉,也要把 pandas groupy 肝完,你该这么学,No.8》

第二个问题问的好,学 pandas 确实不好找工作,而且也没听说过就会 pandas 就能出去工作的人,毕竟它只是 Python 语言下的一个第三方库。

我现在学到字体反爬,下面要学 js 逆向了,还来的及吗?

任何时候都来得及,没有那么复杂的知识,当下开始就好啦。


51b3a867d8d54a5ca80a40da82c06c3b[1].png

python 基础知识,函数里面的 return

Python 初学阶段的一点点小基础知识,社群也是有人回答的呀。


142f8f27323547558d21370b2e217ec1[1].png

请问可以多线程和异步协程一起使用吗?

我直接好家伙,你这是打算不给目标站点留下活路呀,题干中的方案肯定可以用,但是一般可没人这么干,毕竟不可控因素有点多。


5e6bc5f8e2c440df8a9ee90e28169cfc[1].png

群外包需求

访问 APP 网站(不是一个),怎样做到不被对方日志记录,需求简单有效方案,付 3~5 千费用。

acb7bd16ee824daca121f677e9d7c59f[1].png

不被记录?其实这个需求不明确。
如果对方站点是需要登录之后,才可以获取数据,100% 会被记录住;
如果对方站点有访问日志,爬虫就是在模拟客户端请求,也是会被记录的;
当然还有另一种解释,就是采集站点但是隐藏自己身份,例如请求客户端数据,隐藏真实 IP,这些手段还是可以操作一下的。

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 215,463评论 6 497
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 91,868评论 3 391
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 161,213评论 0 351
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 57,666评论 1 290
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 66,759评论 6 388
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 50,725评论 1 294
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,716评论 3 415
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,484评论 0 270
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,928评论 1 307
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,233评论 2 331
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,393评论 1 345
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,073评论 5 340
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,718评论 3 324
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,308评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,538评论 1 268
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 47,338评论 2 368
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,260评论 2 352

推荐阅读更多精彩内容