之前一直使用VB进行网抓，花了一两个小时看了一段Python的教学视频，初步写了一段Python代码，不得不说，代码果然简洁，Python开发效率很高，不过缺点是没有VS那样高效的IDE，无法实时调试查看变量数据，调试效率不高，不知道有没有更好的开发工具。
import requests
from bs4 import BeautifulSoup
import pandas
url='http://url.com/page={})'
news_total=[]
for i in range(1,360):
newsurl=url.format(i)
#print(newsurl)
res=requests.get(newsurl)
res.encoding="utf-8"
soup=BeautifulSoup(res.text,'html.parser')
for j in range(0,50):
ids=soup.select('.tdpre')[j]['onclick'].split('\'')[1]
#print (ids)
news_total.append(ids)
#print(news_total)
df=pandas.DataFrame(news_total)
df.to_csv('D:\id.csv')