分析电影数据之前，先来检查一下数据的质量，包括是否有空值、重复值、异常值。
import pandas as pd
movie_pd = pd.read_csv('douban_movie.csv', header=0, sep='\t')
print movie_pd.info()
print movie_pd.describe()
movie_pd.info( ) 输出结果如下：
<class 'pandas.core.frame.DataFrame'>
RangeIndex: 3688 entries, 0 to 3687
Data columns (total 16 columns):
actor_count 3688 non-null int64
actors 3688 non-null object
category 3688 non-null object
cover_url 3688 non-null object
id 3688 non-null int64
is_playable 3688 non-null bool
is_watched 3688 non-null bool
rank 3688 non-null int64
rating 3688 non-null object
regions 3688 non-null object
release_date 3688 non-null object
score 3688 non-null float64
title 3688 non-null object
types 3688 non-null object
url 3688 non-null object
vote_count 3688 non-null int64
dtypes: bool(2), float64(1), int64(4), object(9)
可以看出，共有 3688 行电影数据，所有字段均没有空值。
movie_pd.describe ( ) 会统计数值型变量，输出结果如下：
actor_count id rank score vote_count
count 3688.000000 3.688000e+03 3688.000000 3688.000000 3688.000000
mean 8.418655 3.655456e+06 124.189534 8.522587 71773.012744
std 6.067463 6.095063e+06 116.329492 0.394342 119190.948797
min 0.000000 1.291543e+06 1.000000 7.300000 305.000000
25% 4.000000 1.296384e+06 36.000000 8.300000 3513.000000
50% 7.000000 1.307067e+06 87.000000 8.500000 15786.000000
75% 12.000000 2.150085e+06 177.000000 8.800000 85188.000000
max 54.000000 2.710254e+07 534.000000 9.700000 875424.000000
actor_count 的最小值是 0，说明有些电影在豆瓣中没有列出演员；rank 的最小值是 1 、最大值是 534；score 的最低分是 7.3，最高分是 9.7，看起来也没有问题。
再来研究一下分类型变量，比如 types 字段，先挑几个看看：
print movie_pd[['id', 'types']][1000:1006]
输出如下：
id types
1000 1299026 [剧情, 历史, 犯罪]
1001 1292996 [剧情, 惊悚, 犯罪]
1002 1768214 [剧情, 犯罪, 悬疑]
1003 1421742 [剧情, 悬疑, 犯罪]
1004 10455077 [剧情, 犯罪, 悬疑]
1005 1306987 [剧情, 悬疑, 惊悚, 犯罪]
几乎每部电影都属于多个类型，但实际上在抓取数据的时候，是按照每个分类单独抓的，所以可能存在某些优秀的电影 (在各个分类中排名都比较靠前) 会在不同的分类中多次被抓到，我们来验证一下。
找出 id 为 10455077 的所有电影：
print movie_pd[ movie_pd['id'] == 10455077 ][['types','category', 'rank']]
输出的结果中有两条纪录：
types category rank
752 [剧情, 犯罪, 悬疑] 悬疑 128
1004 [剧情, 犯罪, 悬疑] 犯罪 214
可见，该部电影在悬疑片中排名 128，在犯罪片中排名 214，但在剧情片中并未上榜。
多验证几部电影后发现，确实如此，一部电影可能被抓取多次，除了category ( 某个类别 ) 和 rank ( 在当前类别的排名 ) 两个字段不同之外，同一个电影的其他字段值均是相同的，所以需要对数据进行去重处理。
Pandas 中删除数据使用 drop( ) 函数
- 按列删除，需要设置 axis 值为 1
new_movie_pd = movie_pd.drop(['category', 'rank'], axis = 1)
删除 movie_pd 中的 category、rank 两列，axis = 1 表示按列删除
- 按行删除：一般先获取到需要删除数据的索引，然后根据索引删除
drop_indexes = movie_pd[ movie_pd['regions'] == '[意大利]' ].index
new_movie_pd = movie_pd.drop(drop_indexes)
比如要删除 regions 为 ['意大利'] 的数据，先通过 index 找到索引，然后再做删除的操作，axis ＝0 为默认值，表示按行删除，不需要赋值。
Pandas 中去重使用 drop_duplicates( ) 函数，和删除数据结合起来，最终对电影数据的去重操作如下：
new_movie_pd = movie_pd.drop(['category', 'rank'], axis = 1)
new_movie_pd = new_movie_pd.drop_duplicates()
因为每部电影的 id 字段值是唯一的，所以可以验证一下去重是否成功：
print len(new_movie_pd)
print new_movie_pd['id'].nunique()
输入结果如下：
2163
2152
nunique( ) 函数直接返回 id 去重后的个数，等价于 len(new_movie_pd['id'].unique( ))，即先对id去重，然后求个数。
可见，去重后的数据存在有些电影重复出现的情况，否则电影的行数和 id 去重后的个数是相等的。通过如下操作可以找出这些电影的 id：
movie_count = new_movie_pd.groupby('id').size().reset_index(name='count')
print movie_count[ movie_count['count'] > 1 ]
输出结果如下：
id count
34 1291832 2
40 1291843 2
112 1292287 2
172 1292720 2
183 1292849 2
272 1293544 2
938 1306029 2
1292 1477448 2
1305 1485260 2
2124 26607693 2
2130 26683290 2
groupby 的使用之后会介绍，这里先略过，意思是通过 id 分组后计算每个电影出现的次数，类似于 SQL 中的 这个操作：
select id, count(1) as num
from movie
group by id
having num > 1
挑一个电影 id 看看：
print new_movie_pd[ new_movie_pd['id'] == 1291832 ]
其中注意到 vote_count 字段：
vote_count
329191
329192
vote_count 评价人数不同，考虑到不同分类的电影抓取是有先后顺序的，某个类型既是剧情又是悬疑的电影，在 剧情 分类下抓取时可能有 329191 个人评价，而之后在 悬疑 分类下抓取的时候已经多了个人评价，变成了329192 ，所以去重的同时需要暂时删除 vote_count 字段。
划重点
- drop( ) 按照列名 或 索引 删除数据
- drop_duplicates( ) 删除重复数据
- nunique( ) 返回某个字段去重后的个数
- unique( ) 对某个字段去重
