python模拟百度搜索

一:必须要懒

import requests
from bs4 import BeautifulSoup
import urllib


ip = input("请输入代理ip(无需要请输入127.0.0.1):")

proxies = {
    'https': ip,
}
headers = {
    'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_5) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36',
    'Connection': 'keep-alive',
    'accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8'}

content = input('请输入搜索内容:')
initial_content = content
content_code = urllib.request.quote(content)  # 解决中文编码的问题
var = 1
while var > 0:
    print('输入 1 即退出')
    page = int(input('请输入页数:')) - 1
    pn = page * 10
    url = 'https://www.baidu.com/s?wd=' + content_code + '&pn=' + str(pn)
    r=requests.get(url,headers=headers,proxies=proxies)

    soup = BeautifulSoup(r.text,features="html.parser")

    #页数,需要改进
    target = soup.find(id="page")
    ye_list = target.find_all('a')
    for y in ye_list:
        s = y.find_all(class_='pc')
        print(s)

    url_list=soup.select('div.result > h3 > a')
    for i in url_list:
        print(i.getText())
        print(i.attrs.get("href"))
    var = page
else:
    print("Good bye!")

小编QQ:944420535

Github

页数需要改进
最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容

  • 请允许我借鉴前辈们的东西~~~~ 感激不尽~~~~~ 以下为Android 框架排行榜 么么哒~ Android...
    嗯_新阅读 6,584评论 3 32
  • 一、全局API 何为全局API? 通俗的说就是在构造器之外,Vue提供的一些API函数,可以使我们定义新的功能。 ...
    一蓑烟雨任平生_cui阅读 7,338评论 1 5
  • 我原本以为知了也会在夏季的夜晚静寐,
    qd姜尚阅读 1,261评论 0 0
  • 相见时难别亦难,东风无力百花残。 李商隐一生写了不少的无题爱情诗,而他自己,正是一首欲说还休的无题诗。 一、 时逢...
    是豆砸吖阅读 1,800评论 0 0
  • 今天给大家推荐一款 Paul Human的贝拉黑想要拥有自然鲜明的大眼睛朋友不容错过哦
    MOMOcolor_GIRL阅读 702评论 0 0