初触Python,关于pyquery解析html(百度贴吧)

一直听同事说Python是个神奇的语言,上周在逛知乎的时候深受这个话题的启发。

能利用爬虫技术做到哪些很酷很有趣很有用的事情?

先是说到IDE的选择,作为python新人,虽然知道mac终端自带Python,但在一番谷歌百度之后,还是选择了PyCharm 。理由大概是 PyCharm比较像xcode吧。看上去有种亲切感。

Python的第三方库和iOS开发的第三方库大体相像。但是在引入第三方库的时候,PyCharm似乎是更加的简单。注意选择对应的版本然后下载第三方库,稍等片刻就成功了。

第一次爬数据,选择了百度贴吧作为联系的目标,爬之前并没有查到关于爬贴吧帖子列表的一个教程,自己动手丰衣足食。

首先引入需要使用的第三方库PyQuery

#coding=utf-8

from pyquery import PyQuery as pq

from lxml import etree

v_source=pq(url='http://tieba.baidu.com/f?kw=%BD%A3%CD%F83&fr=ala0&tpl=5')

v_source2=(v_source('div').children('.wrap2')).children('.content')

v_source3=((v_source2.children()).children('.main')).children()

v_source4=(((((v_source3.children()).children()).children()).children('.col2_right')).children('.threadlist_lz')).children('.threadlist_title')

print(v_source4)

fordatainv_source4:

Atitle=pq(data).text()

Aurl= pq(data)('a[class= "j_th_tit " ]').attr('href')

if(AurlandAtitle):

print(Atitle,"http://tieba.baidu.com"+Aurl)

最后得到的结果是 帖子的标题以及url:

【破事水】情缘了两个月 昨天死了 http://tieba.baidu.com/p/3978787393

隔壁贴在问专业,我好想知道渣基三的都是做什么工作的! http://tieba.baidu.com/p/3977454500

【树洞】今天我截了个5000分藏剑的镖… http://tieba.baidu.com/p/3977501311

当剑三这两种体型同时出现在你身边,你选哪一个做你男/女朋友 http://tieba.baidu.com/p/3976484359

怒撕大战啥都不会就有脸进组的小白 http://tieba.baidu.com/p/3977928309

新手看到10多个门派好方啊,选哪个好玩啊 http://tieba.baidu.com/p/3978693801

【女神养成】且看小白如何逆袭成女神 http://tieba.baidu.com/p/3108513494

【这是一个日了狗的树洞】情缘七夕竟然不要我和她做任务 http://tieba.baidu.com/p/3978824104

【假装是对称贴】那个睁眼说瞎话的咩太你进来我有事和你说说 http://tieba.baidu.com/p/3977303586

求赐一个清新脱俗美丽动听的秀萝名字 http://tieba.baidu.com/p/3977303814

七夕GM疯辣 http://tieba.baidu.com/p/3978419861

【跟风】是不是只有我一个觉得花哥最丑 http://tieba.baidu.com/p/3978734881

一个基三渣男的自我救赎之路。(就作为离别的感言吧) http://tieba.baidu.com/p/3978565064

曝光一个骗子_(:з」∠)_!! http://tieba.baidu.com/p/3976992408

【捏脸向】莫提来路 莫问归处(邮箱+网盘) http://tieba.baidu.com/p/3978273550

【我的江湖不留遗憾】A之前要做的100件事 http://tieba.baidu.com/p/3963973171

【破事水】就因为奶花不易上手,奶不上hps不怪你咯 http://tieba.baidu.com/p/3977435265

【树洞】我是那个代练…那个高三老板的代练 http://tieba.baidu.com/p/3972726245

艾特自己的游戏ID,亮了的揍死他! http://tieba.baidu.com/p/2738498207

【关于腾讯】之前一直骂腾讯抢头条然而…… http://tieba.baidu.com/p/3978690160

只有我觉得囤货商人现在都是老爷么 http://tieba.baidu.com/p/3977553269

【树洞】那个以为我每次打本工资都有26W的徒弟,我不欠你什么。 http://tieba.baidu.com/p/3977360158

关于刷羽毛点 http://tieba.baidu.com/p/3978301556

【只是树洞】同心锁,真能锁得住什么 http://tieba.baidu.com/p/3978821975

剑三碧池新标准大科普! http://tieba.baidu.com/p/3770167700

为什么我的代练永远画风不太对!! http://tieba.baidu.com/p/3894758678

十七万血万分苍云被9600冰心满血秒掉 惊呆了 http://tieba.baidu.com/p/3978488404

为什么打怪不掉鸟毛 http://tieba.baidu.com/p/3978816908

【捏脸帖】雨浥红妆娇娜娜(邮箱+网盘) http://tieba.baidu.com/p/3977768289

抄书,十三棍僧,,,我去npc买了好多这书,不知道怎么用啊 http://tieba.baidu.com/p/3978675722

【歌帖】且伴这岁月长长,君余音仍绕梁漫漫 http://tieba.baidu.com/p/3976837006

【818?】那个假装备胎还脚踏几条船的甩锅王麻烦你不要再内she了 http://tieba.baidu.com/p/3898377744

【树洞】自从我拜了个说话不超过五个字的师父,我的人生轨迹改变了 http://tieba.baidu.com/p/3940312698

【姨妈服】你们不知道的赖子 http://tieba.baidu.com/p/3938340367

【调查】你玩剑三多久了花了多少软妹币 http://tieba.baidu.com/p/3978388753

我比金山聪明系列之各职业能力分布图 http://tieba.baidu.com/p/3978388473

818,念破处女座团长 http://tieba.baidu.com/p/3978805760

[616]论排队捡物资有没有必要 http://tieba.baidu.com/p/3978673469

【树洞】那个少女心的小公举师傅和他的菜地帮 http://tieba.baidu.com/p/3978791802

有个奶说被松狮丐喂了糖葫芦感觉很恶心 http://tieba.baidu.com/p/3978722892

【外观水贴】无聊时发一下罢了(从南皇到朔雪) http://tieba.baidu.com/p/3765402065

我就想问问刷999个羽毛要多久 http://tieba.baidu.com/p/3978748424

又看见逗比言论,长点见识再来bb行吗 http://tieba.baidu.com/p/3978376261

【求助】七夕鸟毛去哪里刷最快? http://tieba.baidu.com/p/3978781271

【树洞】我陆日天一生渣妹无数,但我愿意为这个胎收手。 http://tieba.baidu.com/p/3970223700

【树洞】直到今天母上推开了我屋的门ojz http://tieba.baidu.com/p/3978813461


稍微提一下在学习的时候碰到的问题:

#include "libxml/xmlversion.h" 报错。找不到或者error:command'cc'failedwithexit status1。

这个问题国内论坛基本上没答案,并且都是一个版本.还是万能的stackoverflow解救了我。

Cannot install Lxml on Mac os x 10.9

附上 pyquery的api文档

pyquery – PyQuery complete API

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 212,185评论 6 493
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 90,445评论 3 385
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 157,684评论 0 348
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 56,564评论 1 284
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 65,681评论 6 386
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 49,874评论 1 290
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,025评论 3 408
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 37,761评论 0 268
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,217评论 1 303
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,545评论 2 327
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,694评论 1 341
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,351评论 4 332
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 39,988评论 3 315
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,778评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,007评论 1 266
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 46,427评论 2 360
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 43,580评论 2 349

推荐阅读更多精彩内容

  • 大部分的后端会很很鄙视前端。我也不知道为什么,可能大部分人都会觉得脚本语言根本不算语言。 大多人 会叫我们切图仔,...
    小黑的眼阅读 3,317评论 0 15
  • Android 自定义View的各种姿势1 Activity的显示之ViewRootImpl详解 Activity...
    passiontim阅读 171,806评论 25 707
  • 常怀炎时日中, 结群东河游泳。 日落始登岸, 惊闻大人呼声。 急行,急行, 溅起尘土千重。
    百古风流阅读 123评论 0 0
  • 经营婚姻是近年来经常被提到的一个话题。婚姻问题一直存在于人类社会当中,只要人类的婚姻制度存在,这个问题就永远不会消...
    北京美龄心理咨询阅读 178评论 0 0
  • 趁着改革我选择了向后转。与此同时我将面临的是人生中最难的挑战,上有老下有小而自己却已不再年轻。但纵使有千难万难,我...
    听岁月阅读 1,011评论 3 20