豆瓣高分电影信息分析(数据分析)

时间:2021-1-8 作者:admin

豆瓣高分电影信息分析(数据分析)

1、数据抓取

数据集的获取是我们进行数据分析的第一步。现在获取数据的主要途径一般为:现成数据;自己写爬虫去爬取数据;使用现有的爬虫工具爬取所需内容,保存到数据库,或以文件的形式保存到本地。
博主是用python软件爬取的豆瓣高分电影信息,用以获取其中的数据。

1.1网页分析

1.网页URL地址:https://www.douban.com/doulist/240962/
2.根据URL在浏览器打开网页的首页:
豆瓣高分电影信息分析(数据分析)

3.检查网页:
右击选中检查或按F12,在该窗口中找到存放电影信息的代码
豆瓣高分电影信息分析(数据分析)从检查得到的源代码可以看到:
class=‘title’的div标签文本中存放着电影名称
class=‘rating’的div标签中存放着星级,评分和评价人数
class=‘abstract’的div标签中存放着导演,主演,类型,制片国家/地区和年份的信息

1.2获取信息

通过网页分析可知,我们所需要的信息都在HTML页面里,所以我们只需要获取HTML页面相应class类div中的信息就可以了
1.获得网页所有数据:

r=requests.get(link,headers=headers,timeout=10)
soup=BeautifulSoup(r.text,"lxml")

2.获取电影名称:

div_list=soup.find_all('div',class_='title')
    for each in div_list:
    # 在div中,a标签的text的内容就是中文电影名称
    movie_name=each.a.text.strip() 
    movie_names.append(movie_name)

3.获取电影评分和评价人数:

for each in soup.find_all('div',class_='rating'):
		#在div中,第二个span的text内容为评分,第三个span的text的内容为评价人数
        a=each.text.split('\n') 
        #获取字符串中的数字
        x=''.join(re.findall(r'[0-9]',str(a[3])))
        movie_dis.append(x)
        movie_grade.append(float(a[2]))

4.获取电影导演,主演,类型,制片国家/地区和年份的信息:

for each in soup.find_all('div',class_='abstract'):
        a=each.text
        #.匹配任意字符,除了换行符
        tp = re.search(r'类型: (.*)',a)
        #对空值和字符进行处理
        if tp==None:
            movie_types.append(" ")
        else:
            movie_types.append(tp.group(1))
        actor = re.search(r'主演: (.*)',a)
        if actor==None:
            movie_actor.append(" ")
        else:
            movie_actor.append(actor.group(1))
        director = re.search(r'导演: (.*)',a)
        if director==None:
            movie_director.append(" ")
        else:
            movie_director.append(director.group(1))
        addr = re.search(r'制片国家/地区: (.*)',a)
        if addr==None:
            movie_addr.append(" ")
        else:
            movie_addr.append(addr.group(1))
        year=re.search(r'年份: (.*)',a)
        if year==None:
            movie_year.append(" ")
        else:
            year_str=year.group(1)
            sj=int(year_str[:2])+1
            nd=year_str[2]+'0'
            movie_year.append(str(sj)+'世纪'+nd+'年代')

2.数据清洗

数据得到手,我们就需要对我们爬取的数据进行清洗工作,为之后的数据分析做铺垫,如果清洗的不到位势必会对之后的数据分析造成影响。

2.1空值处理

对于数据中存在的空值,直接用空字符代替空值数据

        #对空值和字符进行处理
        if tp==None:
            movie_types.append(" ")
        else:
            movie_types.append(tp.group(1))
        actor = re.search(r'主演: (.*)',a)
        if actor==None:
            movie_actor.append(" ")
        else:
            movie_actor.append(actor.group(1))
        director = re.search(r'导演: (.*)',a)
        if director==None:
            movie_director.append(" ")
        else:
            movie_director.append(director.group(1))
        addr = re.search(r'制片国家/地区: (.*)',a)
        if addr==None:
            movie_addr.append(" ")
        else:
            movie_addr.append(addr.group(1))
        year=re.search(r'年份: (.*)',a)
        if year==None:
            movie_year.append(" ")
        else:
            year_str=year.group(1)
            sj=int(year_str[:2])+1
            nd=year_str[2]+'0'
            movie_year.append(str(sj)+'世纪'+nd+'年代')

2.2格式统一

由于每个电影年分不同,不便于后面分析,故需将年份替换为世纪、年代

year=re.search(r'年份: (.*)',a)
        if year==None:
            movie_year.append(" ")
        else:
            year_str=year.group(1)
            sj=int(year_str[:2])+1
            nd=year_str[2]+'0'
            movie_year.append(str(sj)+'世纪'+nd+'年代')

3.数据存取

本博客将数据存储到CSV中

3.1存储到CSV文件中

将爬取的信息以列表的形式保存到all_movies_message中,并存储到豆瓣.csv文件中,用以后面的数据分析

movies=get_movies("https://www.douban.com/doulist/240962/")
movies_1=pd.DataFrame({'movie_names':movies[0],'movie_types':movies[1],'movie_director':movies[6],'movie_actor':movies[5],'movie_dis':movies[2],'movie_grade':movies[3],'movie_addr':movies[4],'movie_year':movies[7]})
for i in range(1,4):
    #总共3页,一页25个
    link="https://www.douban.com/doulist/240962/?start="+str(i*25)
    movies=get_movies(link)
    movies_1=movies_1.append(pd.DataFrame({'movie_names':movies[0],'movie_types':movies[1],'movie_director':movies[6],'movie_actor':movies[5],'movie_dis':movies[2],'movie_grade':movies[3],'movie_addr':movies[4],'movie_year':movies[7]}),ignore_index=True)
all_movies_message=movies_1
#将数据写入豆瓣.csv文件中
all_movies_message.to_csv('豆瓣.csv',index=False)
print(all_movies_message)

存储数据截图:
豆瓣高分电影信息分析(数据分析)

4.数据分析及可视化

数据表格的参数信息
豆瓣高分电影信息分析(数据分析)

4.1对每个年代电影上榜数量进行分析

对豆瓣高分电影每个年代上榜电影数量进行分析,可对年代划分为10个等级:
分别为20世纪20年代,20世纪30年代,20世纪40年代,20世纪50年代,20世纪60年代,20世纪70年代,20世纪80年代,20世纪90年代,21世纪00年代,21世纪10年代

y1=len(data[data['movie_year']=='20世纪20年代'])
y2=len(data[data['movie_year']=='20世纪30年代'])
y3=len(data[data['movie_year']=='20世纪40年代'])
y4=len(data[data['movie_year']=='20世纪50年代'])
y5=len(data[data['movie_year']=='20世纪60年代'])
y6=len(data[data['movie_year']=='20世纪70年代'])
y7=len(data[data['movie_year']=='20世纪80年代'])
y8=len(data[data['movie_year']=='20世纪90年代'])
y9=len(data[data['movie_year']=='21世纪00年代'])
y10=len(data[data['movie_year']=='21世纪10年代'])

再通过matplotlib数据库进行数据的可视化得到下图:

# 坐标轴上能显示中文
plt.rcParams['font.sans-serif'] = ['SimHei']
plt.rcParams['axes.unicode_minus'] = False
# 调节图形大小
plt.rcParams['figure.figsize']=[13,8]
#定义标签
labels=['20世纪20年代','20世纪30年代','20世纪40年代','20世纪50年代','20世纪60年代','20世纪70年代','20世纪80年代','20世纪90年代','21世纪00年代','21世纪10年代']
# 每一小块的值
sizes=[y1,y2,y3,y4,y5,y6,y7,y8,y9,y10]
explode=(0,0,0,0,0,0,0,0,0,0)
plt.pie(
    sizes,
    explode=explode,
    labels=labels,
    autopct='%1.1f%%'#数据保留固定小数位
)
# x,y轴刻度设置一致
plt.axis('equal')
plt.title('电影年代上榜数量分布图')
# 右上角显示
plt.legend()
plt.show()

豆瓣高分电影信息分析(数据分析)通过图可以很清晰的看到,20世纪70年代高分电影最少,20世纪90年代和21世纪00年代高分电影最多

4.2对每个年代电影评分分析

对豆瓣高分电影的电影评分进行分析,我们可以求出每个年代的电影平均分,进而进行分析:

import matplotlib.pyplot as plt
# 调节图形大小
plt.rcParams['figure.figsize']=[12,8]
grouped=data.groupby(data['movie_year'])['movie_grade'].mean()
grouped.plot()
plt.xticks(rotation=60)#夹角旋转60度
plt.xlabel('The movie year',fontsize=15)#x轴及字号
plt.ylabel('The movie grade',fontsize=15)#y轴及字号

对数据通过matplotlib数据库进行数据的可视化:
豆瓣高分电影信息分析(数据分析)从折线图中,我们可以看出每个年代的平均评分都在9.0分以上

4.3对电影评论数前十分析

豆瓣高分电影中,评论越多说明该电影观众越活跃,以电影评论人数进行查找

d1=data.nlargest(10,columns='movie_dis')
d1

豆瓣高分电影信息分析(数据分析)对数据通过matplotlib数据库进行数据的可视化:

# 调节图形大小
plt.rcParams['figure.figsize']=[12,8]
grouped=d1.groupby(d1['movie_names']).mean()
grouped.plot.bar()
plt.xticks(rotation=60)#夹角旋转60度
plt.xlabel('The movie of number',fontsize=15)#x轴及字号
plt.ylabel('The movie of names',fontsize=15)#y轴及字号
plt.title('The movies of top 10')
plt.show()

豆瓣高分电影信息分析(数据分析)从图中可以看出,肖申克的救赎评论的人最多,说明该电影观众最为活跃,电影感触最深

4.4对电影类型的分析

豆瓣高分电影类型有很多种,通过各个类型出现的次数,可以判断出那种类型最受欢迎
查找各个类型出现的次数

types='/'.join(data['movie_types'])#转化成以‘/’间隔的字符串
types=types.replace(' ','')#将空格值进行替换
typelist=types.split('/')#进行切割
t=list(set(typelist))#去除重复
count=[]
for i in t:
    count.append(typelist.count(i))#统计出现 次数
plt.bar(range(len(count)),count,width=0.5)

对数据通过matplotlib数据库进行数据的可视化:

# 坐标轴上能显示中文
plt.rcParams['font.sans-serif'] = ['SimHei']
plt.rcParams['axes.unicode_minus'] = False

# 调节图形大小
plt.rcParams['figure.figsize']=[12,8]
plt.xticks(rotation=60)#夹角旋转60度
plt.xlabel('电影类型',fontsize=15)#x轴及字号
plt.ylabel('数量',fontsize=15)#y轴及字号
plt.xticks(range(len(t)),t)
plt.title('电影类型分布情况')
plt.show()

豆瓣高分电影信息分析(数据分析)

由柱状图可知,剧情片最受欢迎,其次为喜剧、爱情、家庭片
用词云进行可视化:

# 解决中文乱码问题
font=r'C:\windows\Fonts\simfang.ttf'
string=' '.join(typelist)
w=wordcloud.WordCloud(background_color='white',font_path=font)
w.generate(string)
w.to_file(r"db.png")

豆瓣高分电影信息分析(数据分析)从词云图中可以看出,剧情、爱情、戏剧、犯罪、家庭、冒险的频率比较高

声明:本文内容由互联网用户自发贡献自行上传,本网站不拥有所有权,未作人工编辑处理,也不承担相关法律责任。如果您发现有涉嫌版权的内容,欢迎进行举报,并提供相关证据,工作人员会在5个工作日内联系你,一经查实,本站将立刻删除涉嫌侵权内容。