人生苦短，我用Python
这次我们来看看以豆瓣为例的视频数据如何清洗以及分析研究。
话不多说，导入模块然后开始！
import numpy as np
import pandas as pd
import os
import matplotlib.pyplot as plt
os.chdir('C:/Users/花伦同学/Desktop/test/04/')#设置默认路径，同样可以根据你的文件存放的位置修改
data = pd.read_csv('爱奇艺视频数据.csv',engine='python')#读取数据
print(data.head(5))#先看看前5条数据。
数据还是挺多的，一共有24列（24个字段）。
这里介绍一个简单查看各项数据的类型的方法df.info()，我输入代码查看一下。
data.info()
数据信息
这样是不是一目了然了。
接下来就可以开始数据的清理工作，我们可以在数据里发现有空值的存在，之前的文章里也介绍过，我们还是看看这个函数。另外，我们将数据获取日期也进行一个清理，将其转化为datetime的数据类型。
#建立清洗数据函数
def clean(df):
cols = df.columns
for col in cols:
if df[col].dtype == 'object':
df[col].fillna('缺失数据',inplace = True)
else:
df[col].fillna(0,inplace = True)
return df
#建立时间转换函数
def to_date(df,col):
#df为处理的数据，col为列名
df[col] = df[col].str.replace('年','.')
df[col] = df[col].str.replace('月','.')
df[col] = df[col].str.replace('日','')
df[col] = pd.to_datetime(df[col])
return df
我们使用两个函数进行数据处理，然后在按照导演分类统计，分析各导演的好评率。这里我们只看前20，当然只看前10也是可以的。
data_c = clean(data)
data_c = to_date(data_c,'数据获取日期')
data_1 = data_c.groupby('导演').sum()[['评分人数','好评数']]#按照导演分类统计总数
data_1['好评率'] = data_1['好评数'] / data_1['评分人数']#计算好评率
data_1_top20 = data_1.sort_values('好评率',ascending = False)[:20]
然后做一个简单的柱状图。
fig1 = plt.figure(figsize=(16,4))
data_1_top20['好评率'].plot(kind = 'bar',
width = 0.8,
facecolor = 'g',
ylim = [0.97,1],
fontsize = 12,
rot = 45)
plt.grid(linestyle = '--',axis = 'y')
plt.title('不同导演的影片好评率',fontsize = 14)
看完了导演的好频率，我们再看看2000年至2016年的各类影视剧的情况，分析2000年至2016年影视评论人数的情况，每年的影视剧评论人数的情况
data_21 = data_c.groupby('整理后剧名').sum()[['评分人数','好评数']]
#data_2.head(5)
data_22 = data_c[['导演','整理后剧名','上映年份']].drop_duplicates()
data_22 = data_22[data_c['上映年份'] != 0]
data_2r = pd.merge(data_22,data_21,right_index = True,left_on = '整理后剧名')
data_2r_1 = data_2r.groupby('上映年份').sum()[['评分人数','好评数']]
print(data_2r.head(10))
fig2 = plt.figure(num = 1)
data_2r_1['评分人数'].plot(kind = 'area',
color = 'lightblue',
xlim = [2000,2016],
figsize = (16,4))
plt.grid(linestyle = '--')
plt.title('2000年至2016年影视评论人数统计图',fontsize = 12)
fig3,axe = plt.subplots(4,4,figsize = (10,16))
a1 = 2001
for i in range(4):
for j in range(4):
data_t = data_2r[data_2r['上映年份'] == a1]
data_t[['评分人数','好评数']].boxplot(whis = 3,ax = axe[i,j])
a1 += 1
各年度评分人数和好评人数箱型图
通过这两幅图，我很快就能发现一些数据特征：
1.从评论人数来看，2011年和2015年是影视局的一个大爆发
2.从箱型图可以看出各个年份都存在评分人数的异常值。（思考：这些异常值是当年的热门影视剧吗？）
有了这两个直接印象，我们就一起来看看各年度的异常值，都是什么影视剧，是否是当然的热门剧目。
#建立函数，分析数据，确定数据的外限
def data_yc(df,col):
q1 = df[col].quantile(q=0.25)
q3 = df[col].quantile(q=0.75)
iqr = q3 - q1
tmax = q3 + 3*iqr
tmin = q3 - 3*iqr
return (tmax,tmin)
for i in range(2001,2017):
data_result = data_2r[data_2r['上映年份'] == i]
print('%i年有%i条数据' % (i,len(data_result)))
t = data_yc(data_result,'评分人数')
print(data_result[data_result['评分人数'] > t[0]])
print('-'*20,'\n')
这里我只截取了前3年的数据结果
和我们印象中当时电视上播出的比较精彩好看的影视剧是吻合的，像什么康熙王朝、大汉天子、神医喜来乐等等（╮(╯▽╰)╭好像暴露年龄了），说明异常值反映的就是当时的热门剧目。
