Python

第8周-程序设计方法学

实例-体育竞技分析

• 程序总体框架及步骤：
  步骤1：打印程序的介绍性信息
  步骤2：获得程序运行参数：proA，proB，n
  步骤3：利用球员A和B的能力值，模拟n局比赛
  步骤4：输出球员A和B获胜比赛的场次及概率

from random import random  #用到随机数，先调用random库
def main():  #主函数main()，实现步骤1-4
  printInfo()  #步骤1：打印程序的介绍性信息
  probA, probB, n = getInputs()  #步骤2：获得程序运行参数：proA，proB，n
  winsA, winsB = simNGames(probA, probB, n)    #步骤3：利用球员A和B的能力值，模拟n局比赛
  printSummary(winsA, winsB, n)  #步骤4：输出球员A和B获胜比赛的场次及概率
def printInfo():
  print("这个程序模拟两个选手A和B的某种竞技比赛")
  print("程序运行需要A和B的能力值（以0到1之间的小数表示）")
def getInputs():
  a = eval(input("请输入选手A的能力值（0-1）："))
  b = eval(input("请输入选手B的能力值（0-1）："))
  n = eval(input("请输入模拟比赛的场次："))
  return a, b, n
def printSummary(winsA, winsB, n):
  print("竞技分析开始，共模拟{}场比赛".format(n))
  print("选手A获胜{}场比赛，占比{:0.1%}".format(winsA, winsA/n))
  print("选手B获胜{}场比赛，占比{:0.1%}".format(winsB, winsB/n))
def simNGames(probA, probB, n):
  winsA, winsB = 0, 0
  for i in range(n):
    scoreA, scoreB = simOneGame(probA, probB)
    if scoreA > scoreB:
      winsA += 1
    else:
      winsB += 1
  return winsA, winsB
def simOneGame(probA, probB):  #模拟单局比赛
  scoreA, scoreB = 0, 0
  serving = "A"  #发球权
  while not gameOver(scoreA, scoreB):
    if serving == "A":  #当A发球时：
      if random() < probA:  #随机值在能力值范围内，A得分
        scoreA += 1
      else:
        serving = "B"  #否则交换发球权
    else:
      if random() < probB:
        scoreB += 1
      else:
        serving = "A"
  return scoreA, scoreB
def gameOver(a, b):  #比赛结束条件，得分15分，返回True或False
  return a==15 or b==15
main()

Python社区——PyPI：Python Package Index
13万个第三方库：https://pypi.org/
pip安装方法
Anaconda集成开发工具及安装方法（数据分析领域）
UCI页面的"补丁"安装方法（Windows）

os库——提供通用的、基本的操作系统交互功能
处理常用路径操作、进程管理、环境参数等几类功能
路径操作——os.path子库，处理文件路径及信息
进程管理——启动系统中其它程序
环境参数——获得系统软硬件信息等环境参数

第9章-Python计算生态

1、从数据处理到人工智能

数据表示->数据清洗->数据统计->数据可视化->数据挖掘->人工智能

• 数据表示——采用合适方式用程序表达数据
• 数据清洗——数据归一化、数据转换、异常值处理
• 数据统计——数据的概要理解，数量、分布、中位数等
• 数据可视化——直观展示数据内涵的方式
• 数据挖掘——从数据分析获得知识，产生数据之外的价值
• 人工智能——数据/语言/图像/视觉等方面深度分析与决策

Python库之数据分析：

• Numpy：表达N维数组的最基础库
  ——Python接口使用，C语言实现，计算速度优异
  ——Python数据分析及科学计算的基础库，支撑Pandas等
  ——提供直接的矩阵运算、广播函数、线性代数等功能

#使用for循环对数组进行运算
def pySum():
  a = [0,1,2,3,4]
  b = [9,8,7,6,5]
  c = []
  for i in range(len(a)):
    c.append(a[i]**2 + b[i]**3)
  return c
print(pySum())
#使用Numpy对数组进行运算
import numpy as np
def npSum():
  a = np.array([0,1,2,3,4])
  b = np.array([9,8,7,6,5])
  c = a**2 + b**3  #将a、b作为变量直接进行运算，简化代码
  return c
print(npSum())

• Pandas：Python数据分析高层次应用库
  ——提供了简单易用的数据结构和数据分析工具
  ——理解数据类型与索引的关系，操作索引即操作数据
  ——基于Numpy开发
  ——通过扩展了对一维和二维数据的表示，形成更高层次对数据的操作，简化数据分析的运行

Series = 索引 + 一维数据
DataFrame = 行列索引 + 二维数据

• SciPy：数学、科学和工程计算功能库
  ——提供了一批数学算法及工程数据运算功能
  ——类似Matlab，可用于如：傅里叶变换、信号处理、线性代数、图像处理等应用

Python库之数据可视化

• Matplotlib：高质量的二维数据可视化功能库
  ——提供了超过100种数据可视化展示效果
  ——通过matplotlib.pyplot子库调用各可视化效果
• Seabron：统计类数据可视化功能库
  ——主要展示数据间分布、分类和线性关系等内容
• Mayavi：三维科学数据可视化功能库
  ——支持Numpy、TVTK、Traits、Envisage等第三方库

Python库之文本处理

• PyPDF2：用来处理pdf文件的工具集
  ——支持获取pdf信息、分隔/整合文件、加密解密等
  ——完全Pyhton语言实现，不需要额外依赖，功能稳定

#将两个pdf文件合并为一个文件
from PyPDF2 import PdfFileReader, PdfFileMerger
merger = PdfFileMerger()
input1 = open("document1.pdf","rb")
input2 = open("document2.pdf","rb")
merger.append(fileobj = input1, pages = (0,3))
merger.merge(opsition = 2, fileobj = input2, pages = (0,1))
output = open("document-output.pdf","wb")
merger.write(output)

• NLTK：自然语言文本处理
  ——支持语言文本分类、标记、语法句法、语义分析等

#将自然语言文本变成树形结构图像，并显示相互之间的关系
from nltk.corpus import treebank
t = treebank.parsed_sents("wsj_0001.mrg")[0]
t.draw()

• Python-docx：创建或更新word文件的第三方库
  ——增加并配置段落、图片、表格、文字等，功能全面

from docx import Document
document = Document()
document.add_heading("Document Title"，0)  #增加标题
p = document.add_paragraph("A plain paragraph having some")  #增加段落
document.add_page_break()  #增加分页符
document.save("demo.docx")  #保存文件

Python库之机器学习

• Scikit-learn：机器学习方法工具集
  ——提供一批统一化的机器学习方法功能接口
  ——提供聚类、分类、回归、强化学习等计算功能
• TensorFlow：AlphaGo背后的机器学习计算框架
  ——谷歌公司推动的开源机器学习框架
  ——将数据流图作为基础，图节点代表运算，边代表张量，形成机器学习的整体模式

import tensorflow as tf
init = tf.global_variables_initializer()
sess = tf.Session()
sess.run(init)
res = sess.run(result)
print("result:", res)

• MXNet：基于神经网络的深度学习计算框架
  ——提供可扩展的神经网络及深度学习计算功能
  ——可用于自动驾驶、机器翻译、语音识别等众多领域

实例-霍兰德人格分析雷达图

• 通用雷达图绘制：matplotlib库
• 专业多位数据表示：numpy库

import numpy as np
import matplotlib.pyplot as plt
import matplotlib
matplotlib.rcParams['font.family']='SimHei'
radar_labels = np.array(['研究型(I)','艺术型(A)','社会型(S)',\
                         '企业型(E)','常规型(C)','现实型(R)']) #雷达标签
nAttr = 6
data = np.array([[0.40, 0.32, 0.35, 0.30, 0.30, 0.88],
                 [0.85, 0.35, 0.30, 0.40, 0.40, 0.30],
                 [0.43, 0.89, 0.30, 0.28, 0.22, 0.30],
                 [0.30, 0.25, 0.48, 0.85, 0.45, 0.40],
                 [0.20, 0.38, 0.87, 0.45, 0.32, 0.28],
                 [0.34, 0.31, 0.38, 0.40, 0.92, 0.28]]) #数据值
data_labels = ('艺术家', '实验员', '工程师', '推销员', '社会工作者','记事员')
angles = np.linspace(0, 2*np.pi, nAttr, endpoint=False)
data = np.concatenate((data, [data[0]]))
angles = np.concatenate((angles, [angles[0]]))
fig = plt.figure(facecolor="white")
plt.subplot(111, polar=True)
plt.plot(angles,data,'o-', linewidth=1, alpha=0.2)
plt.fill(angles,data, alpha=0.25)
plt.thetagrids(angles*180/np.pi, radar_labels,frac = 1.2)
plt.figtext(0.52, 0.95, '霍兰德人格分析', ha='center', size=20)
legend = plt.legend(data_labels, loc=(0.94, 0.80), labelspacing=0.1)
plt.setp(legend.get_texts(), fontsize='large')
plt.grid(True)
plt.savefig('holland_radar.jpg')
plt.show()

2、从Web解析到网络空间

Python库之网络爬虫

• Requests：最友好的网络爬虫功能库
  ——提供了简单易用的类HTTP协议网络爬虫功能
  ——支持连接池、SSL、Cookies、HTTP(S)代理等
  ——Python最主要的页面级网络爬虫功能库

import requests
r = requests.get('http://api.github.com/user', auth=('user', 'pass'))
r.status_code  #获得访问网络的状态
r.headers['content-type']
r.encoding
r.text

• Scrapy：优秀的网络爬虫框架，构建一个专业的网络爬虫系统
  ——提供了构建网络爬虫系统的框架功能，框架可以理解为‘功能的半成品’
  ——支持批量和定时网页爬取、提供数据处理流程等
  ——包含若干的组件
• pyspider：强大的Web页面爬取系统
  ——提供了完整的网页爬取系统构建功能
  ——支持数据库后端、消息队列、优先级、分布式架构等

Python库之Web信息提取

• Beautiful Soup：HTML和XML的解析库
  ——提供了解析HTML和XML等Web信息的功能
  ——又名beautifulsoup4或bs4，可以加载多种解析引擎
  ——常与网络爬虫库搭配使用
  ——将所有的html页面以树形结构进行组织，通过下行遍历、上行遍历和平行遍历的操作来解析其中内容
• Re：正则表达式解析和处理功能库
  ——提供了定义和解析正则表达式的一批通用功能
  ——可用于各类场景，包括定点的Web信息提取
  ——最重要的场景是在Web信息解析中提取特定的内容
  ——Python标准库，无需安装

r'\d{3}-\d{8}|\d{4}-\d{7}'
re.search()
re.match()
re.findall()
re.split()
re.finditer()
re.sub()

• Python-Goose：提取文章类型Web页面的功能库
  ——提供了对Web页面中文章信息/视频等元数据的提取功能

from goose import Goose
url = 'http://www.elmundo.es/elmundo/2012/10/28/espana/1351388909.html'
g = Goose({'use_mata_language': False, 'target_language': 'es'})
article = g.extract(url=url)
article.cleaned_text[:150]

Python库之Web网站开发

• Django：最流行的Web应用框架
  ——提供了构建Web系统的基本应用框架
  ——MTV模式：模型(model)、模板(Template)、视图(Views)
  浏览器--http-->WSGI(Web服务器接口)--URLs-->路由-->功能处理逻辑-->HTML/CSS/JS等文件(数据库)
• Pyramid：规模适中的Web应用框架
  ——提供了简单方便构建Web系统的应用框架
  ——不大不小，规模适中，适合快速构建并适度扩展类应用
  ——Python产品级Web应用框架，起步简单可扩展性好

from wsgiref.simple_server import make_server
from pyramid.comfig import Configuator
from pyramid.response import Response
def hello_world(request):
  return Response('Hello World')
if _name_ == '_main_':
  with Configurator() as config:
    config.add_route('hello', '/')
    config.add_view(hello_world, route_name='hello')
    app = config.make_wsgi_app()
  server = make_server('0.0.0.0', 6543, app)
  server.serve_forever()

• Flask：Web应用开发的维框架
  ——提供了最简单构建Web系统的应用框架
  ——特点是：简单、规模小、快速

from flask import Flask
app = Flask(_name_)
@app.route('/')
def hello_world():
  return 'Hello World!'

• WeRoBot：微信公众号开发框架
  ——提供了解析微信服务器消息及反馈消息的功能
  ——建立微信机器人的重要技术手段

import werobot
robot = werobot.WeRoBot(token='tokenhere')
@robot.handler
def hello(message):
  return 'Hello World'

• aip：百度AI开放平台接口
  ——提供了访问百度AI服务的Python功能接口
  ——语音、人脸、OCR、NLP、知识图谱、图像搜索等领域
• MyQR：二维码生成第三方库
  ——基本二维码、艺术二维码和动态二维码

3、从人机交互到艺术设计

Python库之图形用户界面

• PyQt5：Qt开发框架的Python接口
  ——提供了创建Qt5程序的Python API接口
  ——Qt是非常成熟的跨平台桌面应用开发系统，具备完备的GUI(图形用户界面)
• wxPython：跨平台GUI开发框架
  ——理解数据类型与索引的关系，操作索引即操作数据
  ——最主要的数据分析功能库，基于Numpy开发

import wx
app = wx.App(False)
frame = wx.Frame(None, wx.ID_ANY, 'Hello World')
frame.Show(True)
app.MainLoop()

• PyGObject：使用GTK+开发GUI的功能库
  ——提供了整合GTK+、WebKitGTK+等库的功能
  ——GTK+：跨平台的一种用户图形界面GUI框架
  ——实例：Anaconda采用该库构建GUI

import gi
gi.require_version("Gtk", "3.0")
from gi.repository import Gtk
window = Gtk.Window(title="Hello World")
window.show()
window.connect("destroy", Gtk.main_quit)
Gtk.main()

Python库之游戏开发

• PyGame：简单的游戏开发功能库
• Panda3D：开源、跨平台的3D渲染和游戏开发库
  ——一个3D游戏引擎，提供Python和C++两种接口
  ——支持很多先进特性：法线贴图、光泽贴图、卡通渲染等
  ——有迪士尼和卡尼基梅隆大学共同开发
• cocos2d：构建2D游戏和图形界面交互式应用的框架
  ——提供了基于OpenGL的游戏开发图形渲染功能
  ——支持GPU加速，采用树形结构分层管理游戏对象类型
  ——适合专业级2D游戏开发

Python库之虚拟现实

• VR Zero：在树莓派上开发VR应用的Python库
  ——针对树莓派的VR开发库，支持设备小型化，配置简单化
  ——非常适合初学者实践VR开发及应用
  ——树莓派：Raspberry Pi，小型嵌入式硬件，为学习计算机编程教育而设计，只有信用卡大小，其系统基于Linux
• pyovr：Oculus Rift的Python开发接口
  ——针对Oculus VR设备的开发库
  ——基于成熟的VR设备，提供全套文档，工业级应用设备
• Vizard：基于Python的通用VR开发引擎
  ——专业的企业级虚拟现实开发引擎
  ——提供详细的官方文档
  ——支持多种主流的VR硬件设备，具有一定的通用性

Python库之图形艺术

• Quads：迭代的艺术
  ——对图片进行四分迭代，形成像素风
  ——可以生成动图或静态图像
  ——简单易用，具有很高的展示度
• ascii_art：ASCII艺术库
  ——将普通图片转换为ASCII艺术风格
  ——输出可以是纯文本或彩色文本
  ——可以采用图片格式输出
• turtle：海龟绘图库