图片来自于网络
Python与数据库-网络爬虫存储
@(数据科学)[小树枝来了, 帮助, Markdown, 网络爬虫, 数据存储]
- 关系数据库存储-MySQL为例
- 爬虫配合MySQL存储
- 瑞士军刀-SQLite
- 分布式数据存储-NoSQL数据库
- 爬虫配合mongoDB存储
tips:
- 使用虚拟环境时，conda安装的组件在jupyter中无法import，需要在虚拟环境中重新conda install jupyter notebook；
- 存在基础环境和虚拟环境共用jupyter环境；
- conda install beautifulsoup4
- 可以用jupyter notebook进行MATLAB开发，在matlab安装目录中查找python文件里面的setup，用console运行生成python-MATLAB适配器built文件即可；注意：MATLAB只支持python3.5和python2.7；
假设你已经（或者有能力）获取大量数据（通过爬取），那么选择何种方式去存储数据非常重要
一般而言就爬虫问题，我们可以选择：
- 文本文件的形式保存（比如csv）
- 数据库
- 文件系统
第一种
- 优势：方便，随时使用，不需要第三方的支持
- 劣势：健壮性差，扩展性差
第二种
- 优势：良好的扩展性，使用广泛
- 劣势：（硬要说的话）需要第三方支持，需要进行选择，对技术有一定要求
第三种
- 更自由，但技术要求会更高
当你选择使用数据库作为你的爬虫的后端存储方案时，核心的问题是：
哪种数据库或者组合能够最好解决你的问题？
- 数据库类型
- 关系型，键值型，文档型等等
- 驱动力
- 实际解决的问题场景
- 关系型：数据库查询的灵活性 > 灵活的模式
- 面向列的数据库：适合存储多机的海量数据
- 数据库的特性
- 除了CRUD
- 数据库是否有模式
- 数据库是否支持快速索引查找
- 数据库是否支持自由定义的查询
- 数据库是否在查询前必须先进行规划
- 数据库的性能
- 是否方便进行优化
- 是否容易对读写进行优化
- 支不支持分片，复制
- 数据库的伸缩性
- 横向扩展（MongoDB）
- 纵向扩展（PostgreSQL）
说说爬虫：
一般的数据，基本上都没有问题
-
数据变大，数据量和并发都很大的时候
- 关系型数据库容量和读写能力可能会有问题
- 爬虫的信息（一般来说比如文本），一般不需要建立关系
- 爬虫字段经常变化，相对严格模式的关系数据库，NoSQL会更有优势
- 文档型（MongoDB）更加自由
- 容易横向扩展、分片、复制
爬虫数据比较脏乱
有时无法预期数据的字段（先爬下来再说）
NoSQL可以做Map Reduce优化
关系数据库：
- 以集合理论为基础的系统，实现为具有行和列的二维表
- 利用SQL（结构化查询语言）编写查询，与数据库管理系统交互
- SQLite, MySQL, PostgreSQL
创建database：
INSERT INTO countries (country_code, country_name)
VALUES ('us', 'United States'), ('mx','Mexico'),
('au','Australia'), ('gb','United Kingdom'),
('de','Germany'), ('ll','Loompaland');
select * from countries;
select * from cities;
show tables;
INSERT INTO countries (country_code, country_name)
VALUES ('us', 'United States');
DELETE FROM countries WHERE country_code = 'll';
CREATE TABLE cities(
name varchar(128) NOT NULL,
postal_code VARCHAR(9) CHECK (postal_code <> ''),
country_code CHAR(2) REFERENCES countries,
PRIMARY KEY (country_code, postal_code)
);
INSERT INTO cities
VALUES ('Portland', '87200', 'us');
UPDATE cities
SET postal_code = '97205'
WHERE name = 'Portland';
SELECT cities.*, country_name
FROM cities INNER JOIN countries
ON cities.country_code = countries.country_code;
DROP TABLE IF EXISTS venues;
CREATE TABLE venues(
venue_id int AUTO_INCREMENT PRIMARY KEY,
name VARCHAR(255),
street_address varchar(16),
typev CHAR(8),
postal_code VARCHAR(9),
country_code CHAR(10),
FOREIGN KEY (country_code, postal_code)
REFERENCES cities (country_code, postal_code) MATCH FULL
);
SELECT * FROM venues;
INSERT INTO venues (name, postal_code, country_code)
VALUES ('crystal ballroom', '97205', 'us');
SELECT v.venue_id, v.name, c.name
FROM venues v INNER JOIN cities c
ON v.postal_code=c.postal_code AND v.country_code = c.country_code;
创建链接：
# 模板
import pymysql
# 创建和数据库server的连接
conn = pymysql.connect(host='127.0.0.1', port=3306, user='root', passwd='rootROOT', db='mysql')
# connect(charset='utf8')
# cur是一种能从包括多条数据记录的结果中每次提取一条记录的机制
# 可以说认为cur就是指针
# cur一种临时的数据库对象
cur = conn.cursor()
#cur.execute(“SQL代码”)
#cur.execute("CREATE DATABASE shdata")
#cur.execute("USE shdata")
cur.close()
conn.close()
# 先建立cur，再执行字符设置
import pymysql
conn = pymysql.connect(host = '127.0.0.1', port=3306, user = 'root', passwd = 'rootROOT', db='mysql')
cur = conn.cursor()
**cur.execute('SET NAMES utf8')
cur.execute('SET CHARACTER SET utf8')
cur.execute('SET character_set_connection=utf8')**
# 使用sddatabase数据库
cur.execute("USE hz")
#插入数据 （编码解决）
#请查看commit的作用
cur.execute("INSERT INTO users2 VALUES(1, 'alice'),(2, 'bob'),(3, 'jack'),(4, 'rose')")
#查询
cur.execute("SELECT * FROM users2")
for row in cur.fetchall():
print('%s\t%s' % row)
关键点，必须要提交
#表修改或插入数据后commit
conn.commit()
#关闭
cur.close()
#表修改或插入数据后commit
conn.commit()
conn.close()
MongoDB安装
tips：
- 官网下载，这里是msi
- 直接安装，然后将path放好
- C:\Program Files\MongoDB\Server\3.4\bin;（因为你要用到mongod）
- 启动MongoDB服务之前需要必须创建数据库文件的存放文件夹，否则命令不会自动创建，且不能启动
e.g.
建立一个D:\mongodb\data\db
然后开启mongodb的服务：
mongod --dbpath D:\mongodb\data\db
- 开服务的时候可能会遇到
"丢失api-ms-win-crt-runtime-l1-1-0.dll的提示，可通过运行vc_redist.2015.exe的方式解决"
命令行下运行 MongoDB 服务器
为了从命令提示符下运行 MongoDB 服务器，你必须从 MongoDB 目录的 bin 目录中执行 mongod.exe 文件。
C:\Program Files\MongoDB\Server\3.4\bin\mongod --dbpath D:\mongodb\data\db
如果执行成功，会输出如下信息：
2015-09-25T15:54:09.212+0800 I CONTROL Hotfix KB2731284 or later update is not
installed, will zero-out data files
2015-09-25T15:54:09.229+0800 I JOURNAL [initandlisten] journal dir=c:\data\db\j
ournal
2015-09-25T15:54:09.237+0800 I JOURNAL [initandlisten] recover : no journal fil
es present, no recovery needed
2015-09-25T15:54:09.290+0800 I JOURNAL [durability] Durability thread started
2015-09-25T15:54:09.294+0800 I CONTROL [initandlisten] MongoDB starting : pid=2
488 port=27017 dbpath=c:\data\db 64-bit host=WIN-1VONBJOCE88
2015-09-25T15:54:09.296+0800 I CONTROL [initandlisten] targetMinOS: Windows 7/W
indows Server 2008 R2
2015-09-25T15:54:09.298+0800 I CONTROL [initandlisten] db version v3.0.6
……
连接MongoDB
我们可以在命令窗口中运行 mongo.exe 命令即可连接上 MongoDB，执行如下命令：
C:\Program Files\MongoDB\Server\3.4\bin\mongo.exe
MongoDB使用
利用工具：Robomongo(图形化操作)
- 建立一个连接
- 然后进行操作
名词比较：
SQL:MongoDB:解释
database:database:数据库
table:collection:表/集合
row:document:数据行/文档
primary key:primary key 主键/MongoDB自动将_id字段设置为主键
注意:
在mongo中创建一个collection,只需要在该collection中插入第一条记录。由于mongo没有模式，不需要预先定义模式（比如create），可以直接使用。而且，就算你建立了一个新的collection，比如mongo book，你不插入数据，这个collection其实并不存在。
# 命令行下：
> mongo newdb
> use yourdb
> db.towns.insert({
name: "New York",
population: 2220000,
last_census: ISODate("2009-07-31"),
famous_for: ["status of liberty", "food"],
mayor: {
name: "Jack",
party: "I"
}
})
> show collections
> db.towns.find()
插入数据
采用javascript语言写，在mongo控制台：
> function insertCity(name, population, last_census,famous_for,mayor_info){
db.towns.insert({
name: name,
population: population,
last_census: ISODate(last_census),
famous_for: famous_for,
mayor: mayor_info
});
}
> insertCity("Punxsutawney", 6200, '2008-31-01', ["phil the groundhog"], {name: "Jim"})
> insertCity("Portland", 52800, '2007-31-01', ["beer","food"], {name: "Sam"})
> db.towns.find()
> db.towns.find(
{famous_for:'food'},
{_id:0, name:1, famous_for:1}
)
MongoDB配合python使用
import pymongo
建立连接：
from pymongo import MongoClient
client = MongoClient()
#client = MongoClient('localhost', 27017)
#client = MongoClient('mongodb://localhost:27017')
#访问数据库
db = client.newdb
#db = client['pymongo_test']
#不管有没有，自动建立
#插入文档
posts = db.posts
post_data = {
'title': 'Python and MongoDB',
'content': 'PyMongo is fun',
'author': 'jack'
}
result = posts.insert_one(post_data)
print('插入一条记录: {0}'.format(result.inserted_id))
# ServerSelectionTimeoutError: localhost:27017: [WinError 10061] 由于目标计算机积极拒绝，无法连接。
#插入文档
posts = db.posts
post_data = {
'title': 'Python and MongoDB',
'content': 'PyMongo is fun',
'author': 'jack'
}
result = posts.insert_one(post_data)
print('插入一条记录: {0}'.format(result.inserted_id))
#同时插入多组
post_1 = {
'title': 'Python and MongoDB',
'content': 'PyMongo is fun',
'author': 'jack'
}
post_2 = {
'title': 'Virtual Environments',
'content': 'Use virtual environments',
'author': 'alice'
}
post_3 = {
'title': 'Learning Python',
'content': 'Learn Python, 从入门到放弃',
'author': 'alice'
}
new_result = posts.insert_many([post_1, post_2, post_3])
print('插入多条: {0}'.format(new_result.inserted_ids))
#查找
bills_post = posts.find_one({'author': 'jack'})
print(bills_post)
#查找多条
alice_posts = posts.find({'author': 'alice'})
print(alice_posts)
#查找多条
for post in alice_posts:
print(post)
案例分析
针对Ajax异步加载，发现json数据，可以直接入库
import requests
url = 'http://www.guokr.com/scientific/'
# 和花瓣的区别，不用找link，直接把json数据入库
import json
url = 'http://www.guokr.com/apis/minisite/article.json?retrieve_type=by_subject&limit=20&offset=78&_=1492275395425'
html = requests.get(url)
data_list = json.loads(html.text)
print(data_list.keys())
for data in data_list['result']:
#pass
print(data)
输出：
dict_keys(['now', 'ok', 'limit', 'result', 'offset', 'total'])
{'image': '', 'is_replyable': True, 'channels': [], 'channel_keys': [], 'preface': '', 'id': 442811, 'subject': {'url': 'https://www.guokr.com/scientific/subject/biology/', 'date_created': '2014-05-23T16:22:09.282129+08:00', 'name': '生物', 'key': 'biology', 'articles_count': 2617}, 'copyright': 'owned_by_translate', 'author': {'url': 'https://www.smithsonianmag.com/author/joshua-rapp-learn/', 'introduction': '新闻记者，写作领域为科学、文化和环境', 'nickname': 'Joshua Rapp Learn', 'avatar': {'small': 'https://pbs.twimg.com/profile_images/727488838759682048/zK3SAwdF.jpg', 'large': 'https://pbs.twimg.com/profile_images/727488838759682048/zK3SAwdF.jpg', 'normal': 'https://pbs.twimg.com/profile_images/727488838759682048/zK3SAwdF.jpg'}}, 'image_description': '', 'is_show_summary': False, 'minisite_key': 'sciblog', 'image_info': {'url': 'https://3-im.guokr.com/nF4LLMvJ7oittqYCTztIqICCyPHkkg_19Yhd2cqhJblKAQAA6wAAAEpQ.jpg', 'width': 330, 'height': 235}, 'subject_key': 'biology', 'minisite': {'name': '科技评论', 'url': 'https://www.guokr.com/site/sciblog/', 'introduction': '科学与思考是人类前进的两只脚，协同一致，我们才能真正进步', 'key': 'sciblog', 'date_created': '2010-10-20T16:20:44+08:00', 'icon': 'https://3-im.guokr.com/wUTGS9coWHVZatYqlPTFGo1ig-2JKzSeLNm1FHweYXRuAAAAWgAAAEpQ.jpg'}, 'tags': ['生物', '考古', '狼', '狗', '同位素', '食物'], 'date_published': '2018-03-07T12:04:42+08:00', 'video_content': '', 'authors': [{'introduction': '新闻记者，写作领域为科学、文化和环境', 'url': 'https://www.smithsonianmag.com/author/joshua-rapp-learn/', 'nickname': 'Joshua Rapp Learn', 'avatar': 'https://pbs.twimg.com/profile_images/727488838759682048/zK3SAwdF.jpg', 'ukey_author': None}], 'replies_count': 35, 'is_author_external': True, 'recommends_count': 0, 'title_hide': '狗是人类的好朋友，但朋友也曾经只是食物', 'date_modified': '2018-03-07T12:06:55.212594+08:00', 'url': 'https://www.guokr.com/article/442811/', 'title': '狗是人类的好朋友，但朋友也曾经只是食物', 'small_image': 'https://3-im.guokr.com/nF4LLMvJ7oittqYCTztIqICCyPHkkg_19Yhd2cqhJblKAQAA6wAAAEpQ.jpg', 'summary': '狗：啥？你再说一遍！', 'ukey_author': None, 'date_created': '2018-03-07T12:04:42+08:00', 'resource_url': 'https://apis.guokr.com/minisite/article/442811.json'}
from bs4 import BeautifulSoup
import requests
import json
import pymongo
url = 'http://www.guokr.com/scientific/'
def getData(url):
connection = pymongo.MongoClient('localhost', 27017)
guokeDB = connection.guokeDB
guokeData = guokeDB.guokeData
html = requests.get(url)
data_list = json.loads(html.text)
print(data_list.keys())
for data in data_list['result']:
guokeData.insert_one(data)
urls = ['http://www.guokr.com/apis/minisite/article.json?retrieve_type=by_subject&limit=20&offset={}&_=1462252453410'.format(str(i)) for i in range(20, 100, 20)]
for url in urls:
getData(url)
