def get_links_from(channel, pages, who_sells=0):
list_view = '{}{}/pn{}/'.format(channel, str(who_sells), str(pages))
wb_data = requests.get(list_view)
time.sleep(1)
soup = BeautifulSoup(wb_data.text, 'lxml')
if soup.find('td', 't'): #判断页面是否是要爬的正常页面
for link in soup.select('td.t a.t'):
item_link = link.get('href').split('?')[0]
if 'zhuanzhuan' in item_link:
pass
else:
url_list.insert_one({'url': item_link})
print(item_link)
# return urls
else:
# It's the last page !
pass
内容url获取蜘蛛
最后编辑于 ：
©著作权归作者所有,转载或内容合作请联系作者
- 文/潘晓璐 我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
- 文/花漫 我一把揭开白布。 她就那样静静地躺着，像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上，一...
- 文/苍兰香墨 我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
推荐阅读更多精彩内容
- 一、背景。 将以下地址请求服务器时，如果postUrl中某个参数值包含符号+ 那么在服务器获取到这个参数值时，其加...
- Node.js读取文件内容包括同步和异步两种方式。 1、同步读取，调用的是readFileSync varrf=r...
- 我遇到的问题，和这个外国人问题一样，因为app有名字，导致restframework使用HyperlinkedMo...
