os模块 操作系统
os模块提供的就是各种 Python 程序与操作系统进行交互的接口。通过使用os模块，一方面可以方便地与操作系统进行交互，另一方面页也可以极大增强代码的可移植性。
shutil 文件目录
shutil可以看作 sh + util，即 shell 工具之意，该模块提供了一些针对文件和文件夹的高级操作，如：拷贝、删除、移动等，shutil 模块是对 os 模块的补充。
sys 系统
“sys” 即 “system”，“系统”之意。该模块提供了一些接口，用于访问 Python 解释器自身使用和维护的变量，同时模块中还提供了一部分函数，可以与解释器进行比较深度的交互。
datetime和time 时间
datetime 模块是 Python 内置的功能模块，它可以实现对日期的算数运算，以指定的方式格式化日期。datetime 模块内含有一个同名的 datetime 类，该类中包含多个操作日期的函数，
与 datetime 模块有所不同，time 模块主要功能是读取系统时钟的当前时间。其中，time.time() 和 time.sleep() 是两个最常用的模块。
queue队列
queue 模块即队列，特别适合处理信息在多个线程间安全交换的多线程程序中。
collections 集合
collections 是 python 的内置模块，提供了很多方便且高性能的关于集合的操作，掌握这些知识有助于提高代码的性能和可读性。
random 随机数
Python 提供的 random 模块实现了各种分布式的伪随机数生成器
logging 日志
logging 模块定义了为应用程序和库实现灵活的事件日志记录的函数和类。
json pickle 序列化
json 是一个文本序列化格式，而 pickle 是一个二进制序列化格式；
json 是我们可以直观阅读的，而 pickle 不可以；
json 是可互操作的，在 Python 系统之外广泛使用，而 pickle 则是 Python 专用的；
默认情况下，json 只能表示 Python 内置类型的子集，不能表示自定义的类；但 pickle 可以表示大量的 Python 数据类型。
dumps() dump() loads() load()
pathlib 文件目录
pathlib 模块提供了表示文件系统路径的类，可适用于不同的操作系统。使用 pathlib 模块，相比于 os 模块可以写出更简洁，易读的代码。pathlib 模块中的 Path 类继承自 PurePath，对 PurePath 中的部分方法进行了重载，相比于 os.path 有更高的抽象级别。使用 pathlib 模块中的 Path 类读写文件、操纵文件路径和基础文件系统，统计目录下的文件类型以及查找匹配目录下某一类型文件等。
calendar 日历
calendar 是与日历相关的模块，该模块定义了很多类型，主要包括：Calendar、TextCalendar、HTMLCalendar，其中 Calendar 是 TextCalendar 和 HTMLCalendar 的基类，这些类有着十分丰富的日历处理方法。
math 数学
math 模块 提供了对 C 标准定义的数学函数的访问，但该模块并不支持复数运算，如果想使用复数预算需使用 cmath 模块，将支持计算复数的函数区分开的目的，来自于大多数开发者并不愿意像数学家一样需要学习复数的概念，说白了就是我们开发工作几乎用不到复数，得到一个异常而不是一个复数结果也能让我们更早地监测到传递的参数中包含复数。我们可以先使用 dir 函数查看 math 中包含的内容。
statistics 数据统计
statistics 模块提供了基本的数据统计操作。
如：mean(data) 用于求给定序列或者迭代器的算术平均数。
import statistics
example_list = [1,2,3,4,5,6]
x = statistics.mean(example_list)
print(x) # 输出结果3.5
paramiko ssh sftp
paramiko 是一个用 Python 语言编写的、遵循 SSH2 协议、支持以加密和认证方式进行连接远程服务器的模块。改模块可以对远程服务器进行一些命令或文件操作。
使用sftp对象上传和下载文件，可以在线修改远程服务器上文件的内容，获取远程服务器上的文件列表。
filecmp&difflib模块
filecmp 模块主要用于比较文件及目录，difflib主要用于比较序列的类和函数。
urllib
urllib 是一个 python 内置包，不需要额外安装即可使用，包里面包含了以下几个用来处理 url 的模块：
urllib.request，用来打开和读取 url，意思就是可以用它来模拟发送请求，就像在浏览器里输入网址然后敲击回车一样，获取网页响应内容。
urllib.error，用来处理 urllib.request 引起的异常，保证程序的正常执行。
urllib.parse，用来解析 url，可以对 url 进行拆分、合并等。
urllib.robotparse，用来解析 robots.txt 文件，判断网站是否能够进行爬取。
掌握以上四个模块，你就能对网站进行简单的爬虫操作
threading 线程
使用 threading 模块创建线程通常有两种方式：1）使用 threading 模块中 Thread 类的构造器创建线程，即直接对类 threading.Thread 进行实例化，并调用实例化对象的 start 方法创建线程；2）继承 threading 模块中的 Thread 类创建线程类，即用 threading.Thread 派生出一个新的子类，将新建类实例化，并调用其 start 方法创建线程。
requests
Requests 是为一个优雅而简单的 Python HTTP 库。
数据库操作
pymongo sqlite3 pymysql redis
爬虫
pyspider Scrapy
urllib 是一个 python 内置包，不需要额外安装即可使用，包里面包含了以下几个用来处理 url 的模块：
urllib.request，用来打开和读取 url，意思就是可以用它来模拟发送请求，就像在浏览器里输入网址然后敲击回车一样，获取网页响应内容。
urllib.error，用来处理 urllib.request 引起的异常，保证程序的正常执行。
urllib.parse，用来解析 url，可以对 url 进行拆分、合并等。
urllib.robotparse，用来解析 robots.txt 文件，判断网站是否能够进行爬取。
掌握以上四个模块，你就能对网站进行简单的爬虫操作
