Python爬虫库的安装

        首先,安装request爬虫库:

            作用 : 相当于浏览器 客户端发送请求

            安装:pip install requests

requests安装

        res=requests.get('http://www.baidu.com')      向百度发送一个请求

        res.status_code                                             返回请求的状态码

        200                                                                请求成功

        res.text                                                          网页的源代码

requests代码

其次,安装beautifulsoup4爬虫库

    作用 : 网页分析器

    安装 : pip install beautifulsoup4


beautifulsoup4安装

        from bs4 import BeautifulSoup                      引入库

        res=BeautifulSoup('<html><title>HelloWorld</title></html>','html.parser')    这个后面会仔细讲的

        res.title                                                          获取标题

        res.title.text                                                    获取标题内容

beautifulsoup4代码

    再次,安装pyquery库

        作用 :和beautifulsoup4差不多 不过和jquery差不多

        安装 : pip install pyquery

pyquery安装

    from pyquery import PyQuery as pq                 引入pyquery

    res=pq('<html>ttt</html>')

    res('html')                                                         取到html标签

    res('html').text()                                                 取到html标签里面的值

pyquery代码

        最后,安装pymongo库

        作用 : python对mongodb数据库的操作

        安装 :  pip install pymongo

pymongo安装

        import pymongo

        res=pymongo.MongoClient('localhost')             链接本机数据库

         db=res['local']                                                   请求local数据库 要是没有的话 就重新创建

        db['student'].insert({'name':'lisi','age':25})          插入数据

        db['student'].find_one({'name':'lisi'})                  查找数据

pymongo代码
©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成,浏览时请结合常识与多方信息审慎甄别。
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

相关阅读更多精彩内容

友情链接更多精彩内容