爬取百度搜索关键字对应的内容

当我们搜索关键字的时候,计算机并不能直接读懂我们的语言,需要转化之后才能交给计算机识别,

urllib.parse.urlencode()

  • 编码工作使用urllib.parse的urlencode()函数,帮我们将key:value这样的键值对转换**"key=value"这样的字符串
  • 解码工作可以使用urllib.parse的unquote()**函数。
import urllib.parse

word = {"wd" : "美女"}

# 通过urllib.urlencode()方法,将字典键值对按URL编码转换,从而能被web服务器接受。
result = urllib.parse.urlencode(word)  
print(result)

# 通过urllib.unquote()方法,把 URL编码字符串,转换回原先字符串。
result = urllib.parse.unquote(result)
print(result)
image

当我们使用Get方式,向服务器发起请求的时候,我们输入的中文是不能直接被计算机识别的, 如: 我们从百度搜索美女,链接如下:
https://www.baidu.com/s?wd=美女
最后会被转换成 十六进制的数据:https://www.baidu.com/s?wd =%E7%BE%8E%E5%A5%B3

url = "http://www.baidu.com/s"
word = {"wd":"美女"}
word = urllib.parse.urlencode(word) #转换成url编码格式(字符串)
newurl = url + "?" + word    # url首个分隔符就是 ?

headers={ "User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/51.0.2704.103 Safari/537.36"}

request = urllib.request.Request(newurl, headers=headers)

response = urllib.request.urlopen(request)

print (response.read())

Post请求,跟Get请求很像,就是多了一个data参数,data首先需要进行编码,然后转换类型

import urllib.parse as parse
import ssl

#https://httpbin.org/post为自带的测试url,可以返回我们发送到服务器的相关参数
url = 'https://httpbin.org/post'

#发起post请求要构造表单数据
from_data = {
    'name':'某某某',
    'password':'xxxx12345',
    'age':18,
    'sex':1,
}

#post请求在给服务器传参数的时候,
# 1.首先要使用urlencode编码
# 2.最后传的参数一定是一个字节类型的

#1.首先要使用urlencode编码
from_data = parse.urlencode(from_data)
#2.最后传的参数一定是一个字节类型的
from_data = from_data.encode('utf-8')
print(from_data)
print(type(from_data))

request = urllib.request.Request(url, data = from_data)
response = urllib.request.urlopen(request)
print (response.read())

©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容

  • 爬虫的基本流程 一、发送HTTP请求(Request)通过Python库向目标站点发送HTTP请求,等待服务器响应...
    晓枫_0544阅读 799评论 0 0
  • Spring Cloud为开发人员提供了快速构建分布式系统中一些常见模式的工具(例如配置管理,服务发现,断路器,智...
    卡卡罗2017阅读 135,001评论 19 139
  • https://www.cnblogs.com/xiao-apple36/p/8433400.html urlli...
    长风哥哥阅读 5,258评论 0 1
  • 1. 网页抓取 所谓网页抓取,就是把URL地址中指定的网络资源从网络流中抓取出来。在Python中有很多库可以用来...
    rhlp阅读 995评论 0 0
  • ——文/半糖果汁分你一半 喜欢一个人,从一颦一笑到一言一语,从眼角到眉稍,喜欢的没有理由也喜欢的一败涂地。 她会爱...
    半糖果汁分你一半阅读 537评论 4 5