Python 26 Programming Tutorial - How to Build a Web Crawler

import requests
from bs4 import BeautifulSoup

def get_info(max_page):
   page= 1
   while page<=max_page:
       url = r'http://www.buckyslockerroom.com/Wisconsin-Men-s-Apparel-s/180.htm?searching=Y&sort=5&cat=180&show=90&page=' + str(page)
       source_code = requests.get(url)
       plain_text= source_code.text
       txt = BeautifulSoup(plain_text)
       for link in txt.findAll('a', {'class':'v-product__title productnamecolor colors_productname'}):
           href = link.get('href')
           print(href)



get_info(1)
最后编辑于 ：
©著作权归作者所有,转载或内容合作请联系作者
平台声明：文章内容（如有图片或视频亦包括在内）由作者上传并发布，文章内容仅代表作者本人观点，简书系信息发布平台，仅提供信息存储服务。

推荐阅读更多精彩内容