原为地址：https://blog.csdn.net/weixin_41779359/article/details/86184148
感谢原作者：昵称用刘昊也不行 的分享，很实用的能跟着一步一步做的教程，容易理解
简介：
编程就是通过写代码，来让计算机实现你的想法。你解决问题的想法，就会影响你编程时写的代码。
爬虫的目的是从网上获取对你有需要的数据，那么目的确定，思路就能确定。思路确定，代码就能确定。
爬虫的思路就是：
1、获取url（网址）。2、发出请求，获得响应。3、提取数据。4、保存数据。
1、什么是爬虫
通俗理解：爬虫是一个模拟人类请求网站行为的程序。可以自动请求网页、并数据抓取下来，然后使用一定的规则提取有价值的数据。
在爬虫的思路中，需要获得url，发送请求获得响应，提取数据。有时发送请求不只是发送一次请求，提取数据不仅是提取一次数据，需要多次提取。那这是就需要要定义相对应的函数，比如定义一个发送请求的函数。
这是一个通用的代码，每一行代码的意思我已经标注出了它们的含义。每次写爬虫代码的时候，基本上都可以把这段代码复制上去，有时候需要稍加修改一点，那就是如果我们请求的网页数据是动态生成的，那么return后面的r.text需要改成r.json()。大多数时候是根本不需要修改的。
对于爬虫这件事情，就是从网上获取数据，那么相对应的代码就不会有太大的变化。比如你爬取58同城的求职和爬猫眼电影的电影数据的代码并不会有太大的差别。原作者写过的每个关于爬虫的代码，基本60%以上的部分是一样的
2、实现过程归纳
爬虫的思路就是：
1、获取url（网址）。2、发出请求，获得响应。3、提取数据。4、保存数据。
1.获取url（网址）：
url是统一资源定位符，对可以从互联网上得到的资源的位置和访问方法的一种简洁的表示，是互联网上标准资源的地址。就是我们平时所说的网址。
2.发送请求，获得响应
服务器里有大量的信息，浏览器是没有信息的，它只负责发送请求和得到响应。但是我们写爬虫并不是通过浏览器获得数据，而是通过python写的爬虫代码来获得数据。但是如果服务器识别出了发送给它的请求时爬虫发出的，那么服务器就会停止返回数据。这就需要写一些代码将我们写的爬虫包装成浏览器，向服务器发送请求，并获得响应。响应就是该网页的源代码，可以在网页中右击选择网页源代码看到。
3.提取数据。
提取数据就是在第二步中，我获得了服务器给我的响应，但这些响应大多数不是我想要的，我只需要其中的一部分，比如说服务器给我返回了如下所示的信息
但这些信息看起来眼花缭乱，我只想要下图所示的信息：
或者如下图所示看起来更整齐的数据，这个过程就需要进行数据的提取，也是爬虫最需要设计的地方。
4.数据的保存
数据的保存就是将第三步提取的信息保存到Excel或数据库中，方便下次使用时查看和分析。数据保存这一步需要写的代码几乎是固定不变的，没什么技术含量，也不需要刻意去记，每次使用复制粘贴就可以。
总结
爬虫就四步，1、获得url。2、发送请求，获得响应。3、提取数据。4保存数据。
第二步和第四步过程的代码几乎是不变的，不需要多深的理解，看几个例子就可以记下来了，每次写代码这两个部分可以直接复制。第三步提取数据是每次写爬虫变化最大的地方，也是写爬虫代码最需要时间的和思考的地方，我觉得也是爬虫的核心，需要认真学习和理解。第一步获得url主要就是看翻页之后网址的变化，然后根据变化的规律去把每一页的url构造出来。
