当 URL 路径，或者查询参数中带有中文、特殊字符的时候，就需要对 URL 进行编码（采用十六进制编码格式）。URL 编码的原则是使用安全字符（即没有特殊用途或者特殊意义的字符）去表示那些不安全的字符。
为什么需要URL编码
URL 之所以需要编码，是因为 URL 中的某些字符会引起歧义，比如若 URL 查询参数中包含”&”或者”%”就会造成服务器解析错误，再比如，URL 的编码格式采用的是 ASCII 码而非 Unicode，这表明 URL 中不允许包含任何非 ASCII 字符（比如中文），否则就会造成 URL 解析错误。
URL基本组成
一个 URL 的基本组件包括协议、域名、端口号、路径和查询字符串，其中路径和查询字符串之间使用问号?隔离，示例如下：
http://www.biancheng.net/index?param=10
其中域名为 http://www.biancheng.net，路径为 index，查询字符串为 param=1。
URL 中规定了一些字符（：/ ? # [ ] @）用来分隔不同的 URL 组件，这些字符被称为保留字符。例如：
- 冒号：用于分隔协议和主机组件，斜杠用于分隔主机和路径
- 问号：用于分隔路径和查询参数等。
还有一些保留字符（! $ & * + , ; =）起到分割 URL 不同组件的作用，比如：
-
=用于表示查询参数中的键值对 -
&符号用于分隔查询多个键值对。
哪些字符需要编码
URL 编码协议规定（即 RFC3986 协议）：URL 中只允许包含英文字母、数字、以及这 4 个 - _ . ~ 特殊字符和所有的保留字符。协议中规定了以下保留字符：
！ * ’ ( ) ; : @ & = + $ , / ? # [ ]
但是当组件中的普通数据包含这些特殊字符时，它们就变成了不安全字符，此时就需要对其进行编码处理。比如查询字符串中包含了特殊字符：
http://www.biancheng.net/index?param=10*¶m1=20*
下表列出了一些 URL 特殊字符及其编码：
为了让您思路更清晰，下面简单总结一下，哪些字符需要编码。主要分为以下三种情况：
- ASCII 表中没有对应可显示字符的，例如汉字。
- 不安全字符，包括：# ”% <> [] {} | \ ^ ` ~ 。
- 不当做保留字符来使用的保留字符，即& / : ; = ? @ 。
URL在线编码解码
通过浏览器可以搜索到许多在线 URL 编码解码工具，比如编码转换工具(点击访问)，这些工具能够很方便的实现 URL 的编码与解码。示例如下：
编码前： http://www.biancheng.net/s?ie=utf-8&f=8&tn=baidu&wd=hell 编程帮
编码后： http://www.biancheng.net/s?ie=utf-8&f=8&tn=baidu&wd=hell%20%B1%E0%B3%CC%B0
在我们编写爬虫程序的过程中，需要处理各式各样的 URL，因此学习本节内容有助于您掌握处理 URL 的知识。
