第四课 Python爬虫简单爬取新浪新闻列表

新闻列表页网页结构:

输出h2:

res = requests.get('http://news.sina.com.cn/china/')

res.encoding = 'utf-8'

soup = BeautifulSoup(res.text,'html.parser')

for news in soup.select('.news-item'):

if( len(news.select('h2')) >0 ):

print(news.select('h2')[0])


.text

如法炮制:

获取新闻时间标题超链接

res = requests.get('http://news.sina.com.cn/china/')

res.encoding = 'utf-8'

soup = BeautifulSoup(res.text,'html.parser')

for news in soup.select('.news-item'):

if( len(news.select('h2')) >0 ):

h2 = news.select('h2')[0].text

time = news.select('.time')[0].text

a = news.select('a')[0]['href']

print(time,h2,a)


注:本文属于原创文章,转载请注明本文地址!

作者QQ:1099718640

CSDN博客主页:http://blog.csdn.net/dyboy2017

Github开源项目:https://github.com/dyboy2017/spider

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容

  • Date:2016-9-21update:2016-9-30By:Black Crow 前言: 终于进入到网络页面...
    black_crow阅读 874评论 0 2
  • frombs4importBeautifulSoup importrequests #准备网络连接 #pc端 ur...
    王小坤_GO阅读 709评论 0 0
  • 37,38,39,40这个度数的高温天气,没有空调相伴,该如何度过这乡村的漫漫夏日呢? 说来也奇怪,童年的夏天想必...
    1cc3a6bd86d4阅读 127评论 0 0
  • 爱情都是极端自私而无畏的 我们总是试图过平平淡淡的日子 拥有简简单单的爱情 可是 爱情从来都只有轰轰烈烈 要么死去...
    亭亭客子阅读 332评论 0 1
  • 蚊子啊,别调皮,安生待着,往别处去。 别忘了方向,那黑暗的一处光,别往前扑。 你扎身于你所感知的光,那只是房子点...
    上官新云阅读 254评论 0 0