学习python第三天—豆瓣电影top250爬虫

补充昨日知识

昨天学习了条形图的绘制,今天学习折线图,饼图,散点图的绘制

绘制折线图

  • 绘制折线图(1)
# 绘制正弦曲线
# [0,2Π]p闭区间等间距100个点
import numpy as np
from matplotlib import pyplot as plt
plt.rcParams["font.sans-serif"] = ['SimHei']
plt.rcParams['axes.unicode_minus'] = False
x = np.linspace(0,2*np.pi,num = 100)
print(x)     #输出[0,2Π]之间的100个点
siny = np.sin(x)   #sin曲线
cosy = np.cos(x)    #cos曲线
plt.xlabel('时间(s)')
plt.ylabel('电压(v)')
plt.title('正弦曲线')
plt.plot(x,siny,color='g',label='sin(x)')
plt.plot(x,cosy,color='r',label='cos(x)')
plt.legend()
plt.show()

绘制图如下所示:


正弦曲线
  • 绘制折线图(2)
import numpy as np
from matplotlib import pyplot as plt
plt.rcParams["font.sans-serif"] = ['SimHei']
plt.rcParams['axes.unicode_minus'] = False
x = np.linspace(0,2*np.pi,num = 100)
print(x)
siny = np.sin(x)
cosy = np.cos(x)
plt.xlabel('时间(s)')
plt.ylabel('电压(v)')
plt.title('正弦曲线')
plt.plot(x,siny,color='g',linestyle='--',marker='+',label='sin(x)') 
 #可以改变曲线颜色,状态,等等 
plt.plot(x,cosy,color='r',label='cos(x)')
plt.legend()
plt.show()
正弦曲线

绘制饼状图

from matplotlib import pyplot as plt
plt.rcParams["font.sans-serif"] = ['SimHei']
plt.rcParams['axes.unicode_minus'] = False
from random import randint
import string
counts = [randint(3500,10000)for i in range(5)]  #在[3500,10000]中随机数
print(counts) #输出员工工资
labels = ['员工{}'.format(i) for i in string.ascii_uppercase[:5]]
print(labels)  #输出员工名字
explode = [0.1,0,0,0,0]
colors = ['red','yellow','green','purple','orange']
plt.pie(counts,labels=labels,explode=explode,shadow=True,
        colors=colors,autopct='%1.1f%%')    #autopct指定百分比
plt.legend(loc = 2)
plt.title('员工工资占比图')
plt.show()
员工工资占比图

绘制散点图

import numpy as np
from matplotlib import pyplot as plt
from random import randint
import string

x = np.random.normal(0,1,100)  #100表示点数
y = np.random.normal(0,1,100)
plt.scatter(x,y,alpha=1)  #透明度
plt.show()
散点图

字典解析和集合解析

它和列表推导式很像

from random import randint
stu_grade = {'student{}'.format(i):randint(50,100) for i in range(1,101)}  #定义100名学生,在[50,100]之间随机数匹配
for k,v in stu_grade.items():
    print(k,v)  #输出一百名学生的成绩
# 筛选出及格的学生
res_dict = {k:v for k,v in stu_grade.items() if v>60}
for k,v in res_dict.items():
    print(k,v)  #输出及格的学生
#集合解析
set1 = {randint(50,100) for i in range(1,101)}
print(set1) #将成绩提取形成字典
#筛选能被三整除的
res = {x for x in set1 if x%3==0}
for x in res:
    print(x)#输出能被三整除的数

爬虫知识预热

首先我们学习一下html,超文本标记语言

html

新建html文件,html文件中都是成对出现的语句。

<!DOCTYPE html>
<html lang="en">
<head>
    <meta charset="UTF-8">
    <title>Title</title>


</head>
<body>
<h1>欢迎来到王者荣耀</h1>
<!--有序列表-->
<ol>
    <li>猪八戒</li>
<!--     src="" alt="" 都是 img这个标签的属性-->
    <li>虞姬</li>
    <li>典韦</li>
</ol>
<!--div + css盒子模型-->
<!--div是无色无味的容器-->
<div id="header" style="background-color: aquamarine" >
    <ul>
       <li>曹操</li>
       <li>吕布</li>
       <li>安琪拉</li>
   </ul>
</div>
</body>
</html>
  • 加入图片
    选择好图片进行添加
    <li><a href="https://pvp.qq.com/web201605/herodetail/513.shtml">
<img src="515.jpg" alt="">上官婉儿</a></li>
  • 加入文字和网址
<div id="container">
    <p>上官婉儿选择一个点,然后以自己的位置为终点进行书写,
落笔的一瞬间对触碰的敌人造成150/180/210/240/270/300(+20%法术加成)
点法术伤害,书写过程中将会对触碰敌人造成300/360/420/480/540/600(+40%法术加成)
点法术伤害和50%减速持续2秒(每12秒储存一次笔势,最多可储备2次)</p>
<!--加入文字-->
    <a href="http://www.baidu.com">点击跳转至百度</a>
<!--加入网址-->

</div>

豆瓣top25爬虫

import  requests
from lxml import etree
def parse():
    '''豆瓣网top250爬虫'''
    # #1.获取url地址
    for i in range(0,226,25):
        url = 'https://movie.douban.com/top250?start={}&filter='.format(i)
        print(url)
        #获取byte的类型的响应
        requests.get(url).content
        resp =requests.get(url)
        data = resp.content
    headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.142 Safari/537.36"}
    url = 'https://movie.douban.com/top250?start={}&filter='
    #获取byte的类型的响应
    resp = requests.get(url, headers=headers)
    data = resp.content
    # 调用etree.HTML获取html对象,然后调用html的xpath语法
    html = etree.HTML(data)

    movie_list = html.xpath('//div[@id="content"]//ol/li')
    print(len(movie_list))
    for movie in movie_list:
        # 获取电影序号
        serial_number = movie.xpath('./div[@class="item"]/div[@class="pic"]/em/text()')
        serial_number = '' if len(serial_number) == 0 else serial_number[0]
        print(serial_number)
        #获取电影名
        movie_name = movie.xpath('./div[@class="item"]/div[@class="info"]/div[@class="hd"]/a/span[1]/text()')
        movie_name = '' if len(movie_name) == 0 else movie_name[0]
        print(movie_name)
        #获取电影介绍
        introduce = movie.xpath('./div[@class="item"]/div[@class="info"]/div[@class="bd"]/p/text()')
        introduce = '' if len(introduce) == 0 else introduce[0]
        print(introduce)
        #获取电影星级
        star = movie.xpath('./div[@class="item"]/div[@class="info"]/div[@class="bd"]/div[@class="star"]/span[2]/text()')
        star = '' if len(star) == 0 else star[0]
        print(star)
        #获取电影评价
        evalute = movie.xpath('./div[@class="item"]/div[@class="info"]/div[@class="bd"]/div[@class="star"]/span[4]/text()')
        evalute = '' if len(evalute) == 0 else evalute[0]
        print(evalute)
        #获取电影描述
        describe = movie.xpath('./div[@class="item"]/div[@class="info"]/div[@class="bd"]/p/span/text()')
        describe = '' if len(describe) == 0 else describe[0]
        print(describe)
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 215,794评论 6 498
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 92,050评论 3 391
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 161,587评论 0 351
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 57,861评论 1 290
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 66,901评论 6 388
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 50,898评论 1 295
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,832评论 3 416
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,617评论 0 271
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 45,077评论 1 308
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,349评论 2 331
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,483评论 1 345
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,199评论 5 341
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,824评论 3 325
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,442评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,632评论 1 268
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 47,474评论 2 368
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,393评论 2 352

推荐阅读更多精彩内容