学习目标
业务场景
金融数据的参数（股票代码、开始时间、结束时间、每隔多少分钟获得一次数据）
时序数据的重采——比如已知每小时数据，怎样得到每天的数据。高频到低频属于降采样，低频到高频是升采样，那么遇到空值得fillna
频率参数
滚动统计法，可以计算五日均线十日均线等等
代码
import pandas as pd
import os
import matplotlib.pyplot as plt
import tushare
stock_code = '002680'
outpath = '/Users/miraco/PycharmProjects/DataMining/output3'
#数据获取，获取每60分钟的数据
stock_df = tushare.get_k_data(code =stock_code,
start = '2008-07-30',
end = '2018-07-30',
ktype= '60'
)
#数据处理
stock_df['date'] = pd.to_datetime(stock_df['date'])
#对时序类型进行操作时，要将时序类型设置成index，才方便操作，否则在统计方面容易有问题
stock_df.set_index('date', inplace = True)
#重采样
resampled_stock_df = stock_df.resample('D').last()
resampled_stock_df.dropna(inplace = True)
#计算收盘价的5日滚动均值（5日均线）、30日均线、60日均线
resampled_stock_df['MA 5'] = resampled_stock_df['close'].rolling(window=5).mean()
resampled_stock_df['MA 30'] = resampled_stock_df['close'].rolling(window=30).mean()
resampled_stock_df['MA 60'] = resampled_stock_df['close'].rolling(window=60).mean()
#存数据
resampled_stock_df.to_csv(os.path.join(outpath,'stock_ext.csv'))
#画折线图、收盘价，五日均线，三十日均线，六十日均线
resampled_stock_df[['close', 'MA 5', 'MA 30', 'MA 60']].plot()
plt.tight_layout()
plt.savefig(os.path.join(outpath,'stock_ext.png'))
plt.show()
运行结果，这里看的是吉林长生生物的股价变动情况
输出文件
总结
image.png
练习：滚动统计PM2.5指标的3日/5日/7日均值
题目描述：滚动统计2015年6月1日以后的PM2.5指标的3日均值、5日均值、7日均值，并对结果进行可视化
题目要求:
使用Pandas进行数据分析及可视化
数据文件：
pm1.csv，包含了2013-2015年某地区每小时的PM2.5值。每行记录为1小时的数据。
共2列数据，分别表示：
- Timestamp: 年月日及小时
- PM: PM2.5值
分析
问题拆解提示：
- 操作时序数据有哪些需要注意的？
- 如何对数据按天进行重采样？
- 如何对数据进行滚动统计？
- 问题解决提示：
- 操作时序数据需要注意以下几点：
- 需要对时间日期列通过Pandas的to_datetime()进行类型转换；
- 需要将时间日期列通过set_index()设为索引；
- 使用Pandas模块中的resample()方法进行重采样，这里的基础频率应为'D'，即按天重采样；
- 使用Pandas模块中的rolling()方法进行滚动统计，参数window为滚动窗口的大小，这里应为3, 5, 7
原始数据是长这个样子的
import pandas as pd
import os
import matplotlib.pyplot as plt
filepath = '/Users/miraco/PycharmProjects/DataMining/data_pd/pm1.csv'
outpath = '/Users/miraco/PycharmProjects/DataMining/output3'
#数据获取
pm1_pd = pd.read_csv(filepath).dropna()
#数据日期转换成时间
pm1_pd['Timestamp'] = pd.to_datetime(pm1_pd['Timestamp'])
#作为数据帧的索引
pm1_pd.set_index('Timestamp',inplace = True)
#先重采样取日平均(再滑动计算3日均值、5日均值、7日均值)
rsp_pm1_pd= pm1_pd.resample('D').mean().dropna()
#滑动计算3日均值、5日均值、7日均值
rsp_pm1_pd['3-day PM2.5 Average'] = rsp_pm1_pd['PM'].rolling(window=3).mean()
rsp_pm1_pd['5-day PM2.5 Average'] = rsp_pm1_pd['PM'].rolling(window=5).mean()
rsp_pm1_pd['7-day PM2.5 Average'] = rsp_pm1_pd['PM'].rolling(window=7).mean()
rsp_pm1_pd.to_csv(os.path.join(outpath,'pm1_ana.csv'))
plt.rcParams['savefig.dpi'] = 300 #图片像素
plt.rcParams['figure.dpi'] = 300 #分辨率
# 默认的像素：[6.0,4.0]，分辨率为100，图片尺寸为 600&400
# 指定dpi=200，图片尺寸为 1200*800
# 指定dpi=300，图片尺寸为 1800*1200
# 设置figsize可以在不改变分辨率情况下改变比例
rsp_pm1_pd[rsp_pm1_pd.index > '2015-06-01'].plot()
plt.tight_layout()
plt.show()
运行结果
输出的数据
image.png
如果不过滤2015年6月1日以后的数据：
使用rsp_pm1_pd.plot()来绘图
如果绘图时候过滤出2015年6月1日以后的数据
使用rsp_pm1_pd[rsp_pm1_pd.index > '2015-06-01'来绘图].plot()
