简单的python爬虫

import requests        #导入requests包

from bs4 import BeautifulSoup

url = '...'

#...这里输入爬虫的网址

#为了不轻易被识别出来,用户代理

headers={

'User-Agent':'...'

}

#...这里输入自己的浏览器的用户代理

resp = requests.get(url,headers=headers)        #Get方式获取网页数据

#print(resp.text)#网页内容  文本

#print(resp.content.decode('utf-8'))#网页内容 二进制

html=resp.text

soup=BeautifulSoup(html,'html.parser')

infos = soup.find('div',{'class':'con1Text'}).get_text()

print(infos)