初识python urllib爬取百度云连接

翻看自己以前写的程序,发现写过一个爬取盘多多百度云资源的东西,完全是当时想看变形金刚才自己写的,而且当时第一次接触python大概写了有2天才搞出来这个程序,学习python语言,可以看得出来那时候的代码写的真的low。虽然现在也不怎么样,哈哈,一直学习中,不做过多解释,上图上代码,因为变量的声明是什么我自己也忘了(手动傲娇),连写入文件当时都不会哈哈哈哈哈哈哈哈,也不知道class中可以通过init初始化,唉学习python原来我学到了这么多东西,感谢python

cmd图片
from bs4 import BeautifulSoup
import urllib
import requests
import re

adr =[]

''''对搜素资源名字进行url编码'''
search_text =raw_input('请输入搜索资源名:')
search_text = search_text.decode('gbk')
search_text = search_text.encode('utf-8')
search_text = urllib.quote(search_text)


''''获取文件地址'''
home = urllib.urlopen('http://www.panduoduo.net/s/name/'+search_text)


'''获取百度云地址'''
def getbaidu(adr):
    for i in adr:
        url = urllib.urlopen('http://www.panduoduo.net'+i)
        bs = BeautifulSoup(url)
        bs1 = bs.select('.dbutton2')
        href = re.compile('http\%(\%|\d|\w|\/\/|\/|\.)*')
        b = href.search(str(bs1))
        name = str(bs.select('.center')).decode('utf-8')
        text1 = re.compile('\<h1\sclass\=\"center"\>[\d|\w|\D|\W]*\</h1\>')
        text2 = text1.search(name)
        rag1 = re.compile('\>[\d|\w|\D|\W]*\<')
        if text2:
            text3 = rag1.search(text2.group())
            if text3:
                print text3.group()
        if b:
            text = urllib.unquote(str(b.group())).decode('utf-8')
            print text

'''初始化'''
def init(adr):
    soup = BeautifulSoup(home)
    soup = soup.select('.row')
    pattern = re.compile('\/r\/\d+')
    for i in soup:
        i = str(i)
        adress = pattern.search(i)
        adress = adress.group()
        adr.append(adress)


print 'running---------'        
init(adr)
getbaidu(adr)
最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容

  • Android 自定义View的各种姿势1 Activity的显示之ViewRootImpl详解 Activity...
    passiontim阅读 173,381评论 25 708
  • 一、异同对比选择1、Python和ruby的相同点: * 都强调语法简单,都具有更一般的表达方式。python是缩...
    沃伦盖茨阅读 4,195评论 2 24
  • PPT 视频链接 一、背景介绍: 传统的it架构的缺陷: 使用传统的整体式架构(Monolithic Archit...
    LeeZer阅读 21,767评论 2 6
  • 你好建树
    连畅阅读 130评论 0 0