可视化链接https://public.tableau.com/profile/.5458#!/vizhome/1_2734/Q2
从The movie DB上获得一份电影数据进行可视化
提出问题：
- 1：电影类型是如何随着时间的推移发生变化的？
- 2：Universal Pictures 和 Paramount Pictures 之间的对比情况如何？
- 3：改编电影和原创电影的对比情况如何？
- 4: 发行年份跟收益的关系
数据各字段的意思
- id：标识号
• imdb_id：IMDB 标识号
• popularity：在 Movie Database 上的相对页面查看次数
• budget：预算（美元）
• revenue：收入（美元）
• original_title：电影名称
• cast：演员列表，按 | 分隔，最多 5 名演员
• homepage：电影首页的 URL
• director：导演列表，按 | 分隔，最多 5 名导演
• tagline：电影的标语
• keywords：与电影相关的关键字，按 | 分隔，最多 5 个关键字
• overview：剧情摘要
• runtime：电影时长
• genres：风格列表，按 | 分隔，最多 5 种风格
• production_companies：制作公司列表，按 | 分隔，最多 5 家公司
• release_date：首次上映日期
• vote_count：投票数
• vote_average：平均投票数
• release_year：发行年份
• budget_adj：根据通货膨胀调整的预算（2010 年，美元）
• revenue_adj：根据通货膨胀调整的收入（2010 年，美元）
导入模块
import pandas as pd
import numpy as np
加载数据
df=pd.read_csv('/Users/zhongyaode/Desktop/movies.csv')
#查看数据基本统计数据
df.describe()
#查看字段的数据类型及行数
df.info()
#显示前五行数据
df.head()
#选取需要的字段
dd=df[['id','budget','revenue','genres','production_companies','vote_count','release_year','keywords','original_title']]
dd.info()
处理缺失值
#删除有缺失值的行
dd.dropna(axis=0).info()
#分列字段 genres字段
split_genres=df['genres'].str.split('|',expand=True)
split_genres['id']=df['id']#把df的id字段赋值给split_genres
merged_back=dd.merge(split_genres)#根据字段id进行连接
#merge相当于mysqle的join 进行表连接
melt的官方文档https://pandas.pydata.org/pandas-docs/stable/generated/pandas.melt.html
melted=pd.melt(
merged_back,id_vars=['id','release_year'],
value_vars=[0,1,2,3,4],value_name='genres').drop('variable',axis=1).dropna()
melted.head()
#输出melted
melted.to_csv('id_year_genres.csv',index=False)
处理production_companies字段
#拆分
dd_production=dd['production_companies'].str.split('|',expand=True)
dd_production['id']=dd['id']
merge_backed=dd_production.merge(dd)
#用melt函数
melted_production=pd.melt(merge_backed,id_vars=['id','budget','revenue','release_year'],
value_vars=[0,1,2,3,4],value_name='production_companies'
).drop('variable',axis=1).dropna()
#筛选数据
melted_U_P=melted_production[(melted_production.production_companies=='Universal Pictures')|(melted_production.production_companies=='Paramount Pictures')]
melted_U_P.to_csv('melted_U_P.csv',index
=False)
处理keywords字段
#拆分字段
dd_keywords=dd['keywords'].str.split('|',expand=True)
dd_keywords['id']=dd['id']
dd_merge_keywords=dd.merge(dd_keywords)
#运用melt函数
if_novel=pd.melt(dd_merge_keywords,id_vars=['id','budget','revenue','release_year','original_title','vote_count'],
value_vars=[0,1,2,3,4],value_name='keywords').drop('variable',axis=1).dropna()
#再对keywords进行处理,值是based on novel的返回based on novel否则返回Not_novel
def peng(data):
if data=='based on novel':
return 'based on novel'
else:
return 'Not_novel'
if_novel['keywords']=if_novel['keywords'].apply(lambda x: peng(x))
#这里用python处理当是练习了，其实用tablea的创建组方法能非常简单的处理好
#输出
if_novel.to_csv('if_novel.csv',index=False)
接下来用非常好玩的tableau探索数据
tableau交互可视化的链接https://public.tableau.com/profile/.5458#!/vizhome/1_2734/Q1
参考资料 melt的官方文档https://pandas.pydata.org/pandas-docs/stable/generated/pandas.melt.html
以及tableau的官网教程
来几张工作仪和story
图片 1.png
图片 2.png
图片 3.png
图片 4.png
图片 5.png
6.png
7.png
以下进行的是尝试把四个文件合并到一起的方式·
df_genres=df['genres'].str.split('|',expand=True)
df_genres.info()
df_genres['id']=df['id']
df_genres['production_companies']=df['production_companies']
df_genres['keywords']=df['keywords']
#df.merge(df_genres).info()
df_pro=pd.melt(df_genresed,id_vars=['production_companies','id','keywords'],value_vars=[0,1,2,3,4],
value_name='genres').drop('variable',axis=1).dropna()
df_product=df_pro['production_companies'].str.split('|',expand=True)
df_product['id']=df_pro['id']
df_product['genres']=df_pro['genres']
df_product['keywords']=df_pro['keywords']
df_genres_pro=pd.melt(df_product,id_vars=['id','genres','keywords'],value_vars=[0,1,2,3,4],
value_name='production_companies').drop('variable',axis=1).dropna()
df_k_g_p=df_genres_pro['keywords'].str.split('|',expand=True)
df_k_g_p['id']=df_genres_pro['id']
df_k_g_p['genres']=df_genres_pro['genres']
df_k_g_p['production_companies']=df_genres_pro['production_companies']
ddd=pd.melt(df_k_g_p,id_vars=['id','genres','production_companies'],value_vars=[0,1,2,3,4],
value_name='keywords').drop('variable',axis=1).dropna()
ddd.info()
ddd.head()
movie=df
merged_split
split_companies=movie['keywords'].str.split('|',expand=True)
split_companies['id']=movie['id']
merged_split=movie.merge(split_companies)
key_df=pd.melt(merged_split,id_vars=['id','revenue','budget','release_date','genres','production_companies'],value_vars=[0,1,2,3,4],value_name='keyword').drop('variable',axis=1).dropna()
split_companies=movie['keywords'].str.split('|',expand=True)
split_companies['id']=movie['id']
merged_split=movie.merge(split_companies)
key_df=pd.melt(merged_split,id_vars=['id','revenue','budget','release_date','genres','production_companies'],value_vars=[0,1,2,3,4],value_name='keyword').drop('variable',axis=1).dropna()
split_companies=key_df['production_companies'].str.split('|',expand=True)
split_companies['id']=key_df['id']
# merged_split=key_df.merge(split_companies,on='id',how='left')
merged_split=key_df.merge(split_companies)
pp=pd.melt(merged_split,id_vars=['id','release_date','genres','keyword','revenue','budget'],value_vars=[0,1,2,3,4],value_name='production_company').drop('variable',axis=1).dropna()
movie=df.drop(['imdb_id','popularity','vote_average','original_title','cast','homepage','director','tagline','overview','runtime','vote_count','release_year','budget_adj','revenue_adj'],axis=1)
split_companies=movie['keywords'].str.split('|',expand=True)
split_companies['id']=movie['id']
merged_split=movie.merge(split_companies)
key_df=pd.melt(merged_split,id_vars=['id','revenue','budget','release_date','genres','production_companies'],value_vars=[0,1,2,3,4],value_name='keyword').drop('variable',axis=1).dropna()
split_genres=key_df['genres'].str.split('|',expand=True)
split_genres['id']=key_df['id']
merged_split=key_df.merge(split_genres)
genre=pd.melt(merged_split,id_vars=['id','release_date','production_companies','keyword','revenue','budget'],value_vars=[0,1,2,3,4],value_name='genre').drop('variable',axis=1).dropna()
genred=genre[:10000]
split_companies=genred['production_companies'].str.split('|',expand=True)
split_companies['id']=genred['id']
#merged_split=genre.merge(split_companies)
merg=genred.merge(split_companies,on='id',how='left')
#merged_split[:1]
pp=pd.melt(merg,id_vars=['id','release_date','genre','keyword','revenue','budget'],value_vars=[0,1,2,3,4],value_name='production_company').drop('variable',axis=1).dropna()
pp.info()
movie=df.drop(['imdb_id','popularity','vote_average','original_title','cast','homepage','director','tagline','overview','runtime','vote_count','release_year','budget_adj','revenue_adj'],axis=1)
split_companies=movie['keywords'].str.split('|',expand=True)
split_companies['id']=movie['id']
split_companies
merged_split=movie.merge(split_companies)
key_df=pd.melt(merged_split,id_vars=['id','revenue','budget','release_date','genres','production_companies'],value_vars=[0,1,2,3,4],value_name='keyword').drop('variable',axis=1).dropna()
split_genres=key_df['genres'].str.split('|',expand=True)
split_genres['id']=key_df['id']
merged_split=key_df.merge(split_genres)
genre_dff=pd.melt(merged_split,id_vars=['id','release_date','production_companies','keyword','revenue','budget'],value_vars=[0,1,2,3,4],value_name='genre').drop('variable',axis=1).dropna()
genre_df=genre_dff[:10000]
split_companies=genre_df['production_companies'].str.split('|',expand=True)
split_companies['id']=genre_df['id']
merged_split=genre_df.merge(split_companies,on='id',how='left')
p=pd.melt(merged_split,id_vars=['id','release_date','genre','keyword','revenue','budget'],value_vars=[0,1,2,3,4],value_name='production_company').drop('variable',axis=1).dropna()
