一、数据下载和查看
使用python中urllib.request模块中的urlretrieve函数下载此文件
from urllib.request import urlretrieve
urlretrieve('https://hub.jovian.ml/wp-content/uploads/2020/09/italy-covid-daywise.csv',
'italy-covid-daywise.csv')
import pandas as pd
covid_df = pd.read_csv('italy-covid-daywise.csv')
#covid_df.info() 基本信息 covid_df.describe() 基本统计信息描述
#covid_df.columns表头信息 covid_df.shape 行数和列数
##获取表中的date和new_cases列
cases_df = covid_df[['date', 'new_cases']]
##covid_df.loc[243] 获取第243行 covid_df.loc[108:113] 获取108到113行
二、分析数据
问：在意大利，与Covid-19相关的报告病例和死亡总数是多少？死亡率是多少？
total_cases = covid_df.new_cases.sum()
total_deaths = covid_df.new_deaths.sum()
print('报告病例是 {} 和死亡人数是 {}.'.format(int(total_cases), int(total_deaths)))
#死亡率是报告的死亡人数与报告的病例数之比
death_rate = covid_df.new_deaths.sum() / covid_df.new_cases.sum()
print("死亡率是 {:.2f} %.".format(death_rate*100))
问：哪些天病例超过了1000？
high_cases_df = covid_df[covid_df.new_cases > 1000]
问：排序找出案例数和死亡人数最多的日子？
covid_df.sort_values('new_cases', ascending=False).head(10)
covid_df.sort_values('new_deaths', ascending=False).head(10)
看起来三月的最后两个星期的每日病例数最多，而在新病例中，似乎每日死亡人数在高峰后约一周就达到高峰。
问：数据中是否有异常数据？如何处理？
covid_df.sort_values('new_cases').head(10)
微信截图_20210301134701.png
通过排序我们发现第172行数据有异常，新案例数为负数，我们可以通过这几种方法处理异常数据：1.替换为0；2.将其替换为整个列的平均值；3.将其替换为上一个和下一个日期的平均值；4.完全舍弃该行。
这里采用第三种方法，替换为上下列的平均值。
covid_df.at[172, 'new_cases'] = (covid_df.at[171, 'new_cases'] + covid_df.at[173, 'new_cases'])/2
三、处理日期
通过covid_df.date看出date的数据类型是object,pandas不好分析，使用pd.to_datetime方法将其转化数据类型datetime64。增加年月日周末这四列。
covid_df['date'] = pd.to_datetime(covid_df.date)
covid_df['year'] = pd.DatetimeIndex(covid_df.date).year
covid_df['month'] = pd.DatetimeIndex(covid_df.date).month
covid_df['day'] = pd.DatetimeIndex(covid_df.date).day
covid_df['weekday'] = pd.DatetimeIndex(covid_df.date).weekday
看下5月份的总体指标。然后使用该sum方法汇总每个选定列的值。
covid_df[covid_df.month == 5][['new_cases', 'new_deaths', 'new_tests']].sum()
一个简单的例子：
看下周日报告的病例数是否高于每天报告的平均病例数。
covid_df.new_cases.mean()
#1096.6149193548388
covid_df[covid_df.weekday == 6].new_cases.mean()
#1247.2571428571428
与其他日子相比，星期天似乎有更多的病例报告。
四、分组和汇总
我们按月创建一个组,用sum，mean进行汇总他们。
covid_month_df = covid_df.groupby('month')[['new_cases', 'new_deaths', 'new_tests']].sum()
covid_month_mean_df = covid_df.groupby('month')[['new_cases', 'new_deaths', 'new_tests']].mean()
