Python概述
Python在爬取数据领域非常强大灵活，广泛用于自动化数据收集。常用reque库，用于爬取HTTP获取网页内容；BeautifulSoup和xml，用于解析HTML和XML；Scrapy用于构建和管理大规模爬虫项目；Selenium处理动态网页。
Pyhon能够高效地从互联网获取大量有价值的数据，广泛应用于市场分析，舆情监控、学术研究等领域。
1.1 Python基础
Python是一种计算机程序设计高级语言
1.2 Python特点
- 脚本语言
- 面相对象
- 免费、开源
- 可扩展和可移植
- 丰富的库
Python的应用
人工智能、云计算于大数据、科学计算、自动化运维、网络安全、web应用
1.3 Python的变量及数据类型
- 变量
整形 int、浮点型 float、字符串 str、 布尔型bool、列表list、元祖tuple、字典dict、集合set
n = 7
print(type(n)) // <class ‘int’>
n.tostring()
1.4 条件语句和循环
条件语句：用于基于逻辑条件决定程序流程。常见的条件语句包过 if、elif、和else语句。
x = 10
if x > 5:
print('x大于5')
循环是一种控制结构，它允许你重复执行一段代码多次，直到满足某个条件为止。主要有两种类型的循环：for循环和while循环
fruits = ['a','b','c']
for fruit in fruits:
print(fruit)
i = 1
while i <= 5:
print(i)
i+= 1
函数与模块
函数是组织好的、可重复使用的、用来实现单一或相关功能代码块
def greet(name): // define缩写
print("{name}")
greet('A')
模块的定义
封装
命名空间
便于共享
模块的标准库： 如os、sys、math等，
自定义模块
1.5 文件读写操作
Python通过open（）函数，使用with语句可以自动管理文件的打开和关闭
- 打开文件：
open(filename,mode),filename是文件名，mode可以是r读、w写、a追加 - 读取文件：
file.read() - 写入文件：
file.write() - 关闭文件
file.close() - 异常处理：
使用try except捕获并处理
3 网络爬虫
网络爬虫是一个自动提取网页的程序
爬虫模拟的是Web客户端，向服务端发送HTTP请求
用Python实现HTTP请求：
urllib模块，urllib3模块，requests模块
- requests模块
pip install requests
import requests
response = requests.get("http://www.baidu.com")
print(response.status_code)
print(response.txt)
print(response.content)
import requests
data = {}
response = requests.post("http://www.baidu.com",data=data)
print(response.status_code)
print(response.txt)
print(response.content)
BeautifulSoup简介
- 搜索文档树
- CSS选择器
通过属性名查找
print(soup.slect('title'))
通过类名
print(soup.select('.soft'))
通过id名查找
print(soup.select('#link'))
通过组合查找
print(soup.select('p #link'))
print(soup.select('p > a:nth-of-type(1)'))
属性查找
print(soup.select('a[class='']'))
