title: 把维基百科首页词条的数据导入mysql【Python】
date: 2016-09-13 0:59:28
tags:
说明：以下内容学习自：http://www.imooc.com/
1、此文是跟着上一篇来写的，之前，已经完成了对维基百科词条的数据采集工作。
2、本文和作者示范不同的地方是，建立数据库和表格的工具我维持使用了sqlyog软件，作者用的是哪个不确定，因为视频看不清上面的名字。
3、代码如下，已经有一定说明，原作者可没提供代码哦，请把password对应的密码部分，从xxxx修改成你的真实数据库密码：
__author__ = 'Administrator'
# coding:utf-8
# 运行在python 3.5.2
import re
from urllib.request import urlopen
from bs4 import BeautifulSoup as bs
import pymysql.cursors
# 使用urllib的urlopen方法，去打开维基百科的首页，读取，并用utf-8解码
resp = urlopen('https://en.wikipedia.org/wiki/Main_Page').read().decode('utf-8')
# 使用BeautifulSoup去解析，其中html.parser是默认的解析器
soup = bs(resp, 'html.parser')
# 获取所有的/wiki/开头的a标签的href属性。
listUrls = soup.find_all('a', href=re.compile(r'^/wiki/'))
print(listUrls)
# 输出所有的词条对应的名称和URL
for url in listUrls:
# 排除.jpg JPG结尾的
if not re.search('\.(jpg|JPG)$', url['href']):
# 显示名称和网址的格式
# string只能显示一个，而get_text()可显示标签下所有的文字。
print(url.get_text(), '<---->', 'https://en.wikipedia.org'+url['href'])
# 得到数据库的连接
connection = pymysql.connect(host='localhost',
user='root',
password='xxxx',
db='wikiurl',
charset='utf8'
)
try:
# 创建会话指针
with connection.cursor() as cursor:
# 创建sql语句
sql = 'insert into `urls` (`urlname`, `urlhref`) values(%s, %s)'
# 执行sql语句
cursor.execute(sql, (url.get_text(), 'https://en.wikipedia.org' + url['href']))
# 提交
connection.commit()
finally:
connection.close()
4、其中关键的步骤有：
A）：sqlyog中表格的制作和设置，千万注意，id的int类型，需要添加自增，否则运行程序会报错： "Field 'id' doesn't have a default value
B）数据库的插入和执行命令，因为不太熟悉，对着视频敲代码都错误了几次，并且要注意以下代码urls (urlname, urlhref)使用的是Tab键上面的那个上点号
C）当程序没有报错，在sqlyog查看表格要先刷新
D）在之前的帖子，是在python2.7下，通过sqlyog的import MySQLdb 来操作mysql的，并且，代码中的密码对应的是passwd，而这个和直接用python 运行pymysql的对应命令password是不同的，要分清楚。
5、结果图，有一丝喜悦感：
