最近开始学python爬虫,在没认识爬虫之前,觉得爬虫很高大上,浅学之后觉得爬虫也不过如此,随着学习的深放,发现爬虫差不多是一门系统的学问,而不是一门技术。刚接触的爬虫是bs4解析。
第一也是最基本的需要调用requests模块
import requests
当拿到所需的工具后,首先要找到目标即网址,就是url, url = 'https://www.sogou.com/'
#step_2:发起请求
#get方法会返回一个响应对象
response = requests.get(url=url)
#step_3:获取响应数据.text返回的是字符串形式的响应数据
page_text = response.text
print(page_text)
#step_4:持久化存储
with open('./sogou.html','w',encoding='utf-8') as fp:
fp.write(page_text)
print('爬取数据结束!!!')
python爬虫(一)
©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。
推荐阅读更多精彩内容
- 一、简介 1.下载:pip install lxml 推荐使用douban提供的pipy国内镜像服务,如果想手动指...