首先,安装request爬虫库:
作用 : 相当于浏览器 客户端发送请求
安装:pip install requests
res=requests.get('http://www.baidu.com') 向百度发送一个请求
res.status_code 返回请求的状态码
200 请求成功
res.text 网页的源代码
其次,安装beautifulsoup4爬虫库
作用 : 网页分析器
安装 : pip install beautifulsoup4
from bs4 import BeautifulSoup 引入库
res=BeautifulSoup('<html><title>HelloWorld</title></html>','html.parser') 这个后面会仔细讲的
res.title 获取标题
res.title.text 获取标题内容
再次,安装pyquery库
作用 :和beautifulsoup4差不多 不过和jquery差不多
安装 : pip install pyquery
from pyquery import PyQuery as pq 引入pyquery
res=pq('<html>ttt</html>')
res('html') 取到html标签
res('html').text() 取到html标签里面的值
最后,安装pymongo库
作用 : python对mongodb数据库的操作
安装 : pip install pymongo
import pymongo
res=pymongo.MongoClient('localhost') 链接本机数据库
db=res['local'] 请求local数据库 要是没有的话 就重新创建
db['student'].insert({'name':'lisi','age':25}) 插入数据
db['student'].find_one({'name':'lisi'}) 查找数据