#%%
'''
【项目04】  视频网站数据清洗整理和结论研究
'''

import numpy as np
import pandas as pd 
import matplotlib.pyplot as plt

data = pd.read_csv(r'C:\Users\heart\Documents\Tencent Files\592409588\FileRecv\【非常重要】项目资料\考核项目02_视频网站数据清洗整理和结论研究\爱奇艺视频数据.csv',engine='python')
data

#indx = data.columns
#dic = {}
#for i in indx:
#    dic[i] = data[i].dtype
#    print(data[i].dtype)

def data_clear(data):
    
    for col in data.columns:
        
        if data[col].dtype == 'object':
            data[col].fillna('缺失数据',inplace=True)
        else:
            data[col].fillna(0,inplace=True)
    return data
df = data_clear(data)  
df.head()     

#%%
'''
2、数据清洗 - 时间标签转化
要求：
① 将时间字段改为时间标签
② 创建函数
提示：
需要将中文日期转化为非中文日期，例如 2016年5月24日 → 2016.5.24
'''

def df_col(df,*cols):
    
    for col in cols:
        df[col] = df[col].str.replace('年','.')
        df[col] = df[col].str.replace('月','.')
        df[col] = df[col].str.replace('日','')
        df[col] = pd.to_datetime(df[col])
    return df
df_c = df_col(df,'数据获取日期')
df_c.head(2)
#%%
'''
3、问题1 分析出不同导演电影的好评率，并筛选出TOP20
要求：
① 计算统计出不同导演的好评率，不要求创建函数
② 通过多系列柱状图，做图表可视化
提示：
① 好评率 = 好评数 / 评分人数
② 可自己设定图表风格
'''

df_d = df_c.groupby('导演')[['好评数','评分人数']].sum()
#df_d.head(10)
df_d['好评率'] = df_d['好评数'] / df_d['评分人数']
df_director = df_d.sort_values('好评率',ascending=False)[:20]
df_director['好评率'].plot(kind='bar',
                 color='r',
                 ylim=[0.93,1],
                 rot=20,
                 grid=True,
                 width=0.9,
                 alpha=0.6)
#%%
'''
4、问题2 统计分析2001-2016年每年评影人数总量
要求：
① 计算统计出2001-2016年每年评影人数总量，不要求创建函数
② 通过面积图，做图表可视化，分析每年人数总量变化规律
③ 验证是否有异常值（极度异常）
④ 创建函数分析出数据外限最大最小值）
⑤ 筛选查看异常值 → 是否异常值就是每年的热门电影？
提示：
① 通过箱型图验证异常值情况
② 通过quantile(q=0.5)方法，得到四分位数
③ IQR=Q3-Q1
④ 外限：最大值区间Q3+3IQR,最小值区间Q1-3IQR （IQR=Q3-Q1）
⑤ 可自己设定图表风格
'''

#人、时间、剧的去重及删除无效值
df_year = df_c[['导演','整理后剧名','上映年份']].drop_duplicates()
df_year = df_year[df_year['导演']!='缺失数据']
df_year = df_year[df_year['上映年份']!=0]
df_year

#剧的人数求和
df_sum = df_c.groupby('整理后剧名').sum()[['好评数','评分人数']]
df_sum.head()

#连接 按整理后剧名
df_result = pd.merge(df_year,df_sum,left_on = '整理后剧名',right_index=True)
df_result.head()

df_result1 = df_result.groupby('上映年份').sum()[['好评数','评分人数']]
df_result1.head()

#按照上映年份统计评分人数 
fig = plt.figure(num=1,figsize=(12,4))
df_result1['评分人数'].loc[2000.:].plot.area(figsize=(12,4),grid=True,alpha=0.8)
plt.xticks(range(2001,2016))

fig,axes = plt.subplots(4,4,figsize=(10,16))
start = 2001.
for i in range(4):
    for j in range(4):
        data = df_result[df_result['上映年份']==start]
        data[['评分人数','好评数']].boxplot(whis=3,return_type='dict',ax=axes[i,j])
        start+=1        
#%%
'''提示：
① 通过箱型图验证异常值情况
② 通过quantile(q=0.5)方法，得到四分位数
③ IQR=Q3-Q1
④ 外限：最大值区间Q3+3IQR,最小值区间Q1-3IQR （IQR=Q3-Q1）
⑤ 可自己设定图表风格
'''
#查看异常值
a = df_result[df_result['上映年份'] == 2001.]
a
def f(df,col):
    
    q1 = df[col].quantile(.25)
    q3 = df[col].quantile(.75)
    
    iqr = q3-q1
    tmax = q3+3*iqr
    tmin = q1-3*iqr
    
    return tmax,tmin

t = f(df_result[df_result['上映年份'] == 2001.],'评分人数')

#布尔值判断筛选出极大的异常值
a[a['评分人数'] > t[0]]

for i in range(2001,2016):
    
    datayy = df_result[df_result['上映年份'] == i]
    print('%i年有%i条数据'%(i,len(datayy)))
    
    t = f(datayy,'评分人数')
    print('其中爆款影视剧如下 :\n%s' % (datayy[datayy['评分人数'] > t[0]]),'\n')