from urllib import request
import time
from lxml import etree
def autoBlog():
url = 'https://www.jianshu.com/p/0b4c9e9931f5'
headers = {
"Referer": "https://www.jianshu.com/",
"User-Agent": "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.106 Safari/537.36"
}
req = request.Request(url=url,headers=headers)
response = request.urlopen(req)
content = response.read().decode()
#复制html中的文本的XPath
##/html/body/div[1]/div[2]/div[1]/h1
# print(content)
xpath_content = etree.HTML(content)
new_content = xpath_content.xpath('/html/body/div[1]/div[2]/div[1]/h1/text()')
#print(new_content)
with open('3.txt','w+',encoding='utf-8') as f:
for i in new_content:
f.writelines(i)
i=0
while i<100:
autoBlog()
i=i+1
print(i)
2018-11-19
最后编辑于 ：
©著作权归作者所有,转载或内容合作请联系作者
- 文/潘晓璐 我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
- 文/花漫 我一把揭开白布。 她就那样静静地躺着，像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上，一...
- 文/苍兰香墨 我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
