https://www.cnblogs.com/wupeiqi/articles/5501365.html
模块
导入自定义模块
-
模块的搜索路径：
- 在python倒入模块，默认是先从当前项目运行的py文件所在文件夹内搜索，如果没有，则去内置模块里搜索，最后去site-package(第三方)模块中搜索
- 通过倒入sys模块，遍历sys.path可以查看具体的搜索路径
- 如果sys.path路径列表没有你想要的路径，可以通过 sys.path.append('路径') 添加。
-
导入模块:
- 如果模块和运行文件在同一层级目录:
import module- 如果导入的模块在运行文件层级的文件(lib)里：
import lib.module # 导入lib文件夹里的module import lib.module as rename form lib import module # 从lib文件夹里导入module from lib import module as rename # 从lib文件夹导入module，取别名为rename from lib import *导入全部- 导入模块其实就是告诉python解析器去哪里解析py文件，把内容解析加载到内存里
- 导入一个py文件，解析器解析该文件
- 导入一个包，解析器解析该包下的init.py文件【python2.7】
-
执行主程序:
- 执行主程序index.py，默认会将主程序文件所在路径放入sys.path中
内置模块sys和os
sys模块存放的是与解析器相关的东西
os模块存放的是与操作系统相关的东西
-
os模块:
- os.getcwd:获取当前工作目录，即当前python脚本工作的目录路径
- os.chdir("dirname"):改变当前脚本工作目录；相当于shell下cd
- os.curdir:返回当前目录: ('.')
- os.pardir:获取当前目录的父目录字符串名：('..')
- os.makedirs('dir1/dir2'):可生成多层递归目录
- os.removedirs('dirname1'):若目录为空，则删除，并递归到上一级目录，如若也为空，则删除，依此类推
- os.mkdir('dirname'):生成单级目录；相当于shell中mkdir dirname
- os.rmdir('dirname'):删除单级空目录，若目录不为空则无法删除，报错；相当于shell中rmdir dirname
- os.listdir('dirname') :列出指定目录下的所有文件和子目录，包括隐藏文件，并以列表方式打印
- os.remove() :删除一个文件
- os.rename("oldname","new"):重命名文件/目录
- os.name:字符串指示当前使用平台。win->'nt'; Linux->'posix'
- os.stat(path/fileName):获取文件信息，大小等
- os.path.dirname(path) 返回path的目录。其实就是os.path.split(path)的第一个元素
- os.path.join(path1[, path2[, ...]]) 将多个路径组合后返回，第一个绝对路径之前的参数将被忽略
s1 = 'D:' s2 = 'home' s3 = 'index.py' path = os.path.join(s1, s2, s3) print(path) # D:/home/index.py -
hashlib模块:
- 用于加密相关的操作，代替了md5模块和sha模块，主要提供 SHA1, SHA224, SHA256, SHA384, SHA512 ，MD5 算法
- md5:最常用的加密方式，不可逆
import hashlib hash = hashlib.md5() # help(hash.update) hash.update(bytes('admin', encoding='utf-8')) print(hash.hexdigest()) print(hash.digest())- sha1
hash = hashlib.sha1() hash.update(bytes('admin', encoding='utf-8')) print(hash.hexdigest())- sha256
hash = hashlib.sha256() hash.update(bytes('admin', encoding='utf-8')) print(hash.hexdigest())- sha384
hash = hashlib.sha384() hash.update(bytes('admin', encoding='utf-8')) print(hash.hexdigest())- sha512
hash = hashlib.sha512() hash.update(bytes('admin', encoding='utf-8')) print(hash.hexdigest())- 以上加密算法虽然依然非常厉害，但时候存在缺陷，即：通过撞库可以反解。所以，有必要对加密算法中添加自定义key再来做加密(加盐)
hash = hashlib.md5(bytes('898oaFs09f',encoding="utf-8")) hash.update(bytes('admin',encoding="utf-8")) print(hash.hexdigest()) python内置还有一个 hmac 模块，它内部对我们创建 key 和 内容 进行进一步的处理然后再加密 import hmac h = hmac.new(bytes('898oaFs09f',encoding="utf-8")) h.update(bytes('admin',encoding="utf-8")) print(h.hexdigest()) -
序列化
- json:用于【字符串】和 【python基本数据类型】 间进行转换
- pickle:用于【python特有的类型】 和 【python基本数据类型】间进行转换
- Json模块提供了四个功能：dumps、dump、loads、load
- pickle模块提供了四个功能：dumps、dump、loads、load
import pickle dic = {'k1': 123, 'k2': 'hello'} p = pickle.dumps(dic) # pickle.dumps将数据转换为只有python才能够识别的字符串 with open('xxx.txt', mode='wb') as file: pickle.dump(dic, file) # 序列化并写入文件import json dic = {'k1': 123, 'k2': 'hello'} json_str = json.dumps(dic) print(json_str) # {"k2": "hello", "k1": 123} # json.dunps()将数据通过特殊的形式转换为所有语言都识别的字符串 with open('xxx.txt', mode='w') as file: json.dump(dic, file) # 序列化并写入文件
网络访问
- 访问网站，返回的数据类型是string
- 如果返回的类型是html，浏览器根据格式进行渲染
- 如果返回的是json格式，函数根据json的格式获取数据
- 如果返回的是xml，则根据xml的格式获取数据
- python访问网络模块:urllib,专门用来发送http请求的模块
f = urllib.request.urlopen('http://www.baidu.com')
data = f.read()
data = f.read().decode('utf-8')
json模块
- json字符串内部一定需要双引号才能解析成功，因为不是所有的语言字符串都可以用单引号表示，但是所有语言表示字符串都用双引号
import json
s = '{"desc":"weather","state":"sun"}'
# s = "{'desc':'weather','state':'sun'}" # 报错
data = json.loads(s)
print(data)
- json也能解析列表，在其他语言里，中括号代表数组，但是不能解析元组，因为元祖的格式只有python自己独有
ls = "[11, 22, 33, 44, 55]"
ls = json.loads(ls)
print(ls) # [11, 22, 33, 44, 55]
ls = ['tony', 'jenny', 'gogo']
ret = json.dumps(ls)
print(ret) # ["tony", "jenny", "gogo"]
dic = {'userName': 'tony', 'gender': 'man', 'age': 23}
ret = json.dumps(dic)
print(ret) # {"age": 23, "userName": "tony", "gender": "man"}
- 元组通过dumps转换后变成[]，因为只有python才有（）这种格式，别的语言都是[]
urllib:
import urllib.request
f = urllib.request.urlopen('http://www.webxml.com.cn//webservices/qqOnlineWebService.asmx/qqCheckOnline?qqCode=424662508')
result = f.read().decode('utf-8')
import urllib.request
req = urllib.request.Request('http://www.example.com/')
req.add_header('Referer', 'http://www.python.org/')
r = urllib.request.urlopen(req)
result = f.read().decode('utf-8')
requests(第三发模块)
-
安装第三方模块有两种方式
- 软件管理工具安装pip3
- 在安装pip3之前需要安装setuptools，因为pip3需要依赖于setuptools
- 但是好的地方是，python3已经自带了pip3了
- 将pip3添加到环境变量
- 安装第三方模块:
- pip3 install requests
- 源码安装
- 在网上搜索python requests源码，下载得到压缩包
- 解压压缩包，点击进入找到setup.py文件
- 然后执行：
- python3 setup.py install
- 安装完成
- 软件管理工具安装pip3
urllib以后会有专门讲，现在讲是为了引出json
-
requests发送http请求：
- 作用：爬虫
response = requests.get('url') response.encoding = 'utf-8' data = response.text print(data) # 底层对urllib进行封装
xml模块
- 在json之前，网络通信用的是xml
from xml.etree import ElementTree as ET
# 使用第三方requests发送请求
r = requests.get('http://web.xml.....')
result = r.text
node = ET.XML(result)
if node.text == "Y":
print('上线')
else:
print('不在线')
- 列车时刻表
- node.tag:当前节点的标签名
- note.attrib:节点属性
- xml的iter可获得子孙节点
- xml的find只能找子节点
- 自己写一个xml文件读取信息：
root = ET.XML(str)
for node in root.iter("FromDetailInfo")
print(node.find('TranStation').text
print(node.find('ArriveTime').text
print(node.tag)
print(node.attrib)
-
xml的另一种解析方式
- 给一个文件名，自动打开进行解析
import xml.etree import ElementTree as ET tree = ET.parse('fileName.xml')#打开并解析里面的内容 root = tree.getroot()#得到根节点 print(root.tag) for child in root: print(child.tag) for i in child: print(i.tag, i.text) # 修改 for node in root.iter('year') new_year = int(node.text) + 1 node.text = str(new_year) node.set('name','yhh') # 设置属性 del node.arrtib['attributerName'] tree.write('fileName') # 回写 #查看节点的方法 print(dir(root)- tag:节点名
- attrib:属性
- find:查找子节点
- set:设置节点属性
- iter:迭代搜索子孙节点
- get:获取节点属性
from xml.etree import ElementTree as ET
from xml.dom import minidom
def prettify(elem):
"""将节点转换成字符串，并添加缩进。
"""
rough_string = ET.tostring(elem, 'utf-8')
reparsed = minidom.parseString(rough_string)
return reparsed.toprettyxml(indent="\t")
# 创建根节点
root = ET.Element("famliy")
# 创建大儿子
# son1 = ET.Element('son', {'name': '儿1'})
son1 = root.makeelement('son', {'name': '儿1'})
# 创建小儿子
# son2 = ET.Element('son', {"name": '儿2'})
son2 = root.makeelement('son', {"name": '儿2'})
# 在大儿子中创建两个孙子
# grandson1 = ET.Element('grandson', {'name': '儿11'})
grandson1 = son1.makeelement('grandson', {'name': '儿11'})
# grandson2 = ET.Element('grandson', {'name': '儿12'})
grandson2 = son1.makeelement('grandson', {'name': '儿12'})
son1.append(grandson1)
son1.append(grandson2)
# 把儿子添加到根节点中
root.append(son1)
root.append(son1)
raw_str = prettify(root)
f = open("xxxoo.xml",'w',encoding='utf-8')
f.write(raw_str)
f.close()
