【Py大法系列--03】Python如何自动下载文件

问题描述

Python自动下载文件,通用文件,包括但不限于压缩文件、图片等。

解决方法

一般情况下,Python下载文件的方式有以下几种:

  1. 利用urlliburllib2,即Python爬虫用的最多的库;
import urllib
import urllib2
import requests

url = "你的下载链接"
urllib.urlretrieve(url, demo.zip)

urllib.urlretrieve(url, demo.zip)这个函数还可以接受另外一个参数,比如这样用:
urllib.urlretrieve(url,local,Schedule),其中Schedule为:

def Schedule(a,b,c):
    '''''
    a:已经下载的数据块
    b:数据块的大小
    c:远程文件的大小
   '''
    per = 100.0 * a * b / c
    if per > 100 :
        per = 100
    print '%.2f%%' % per

这样程序可以即时打印出下载的进度。

  1. 利用urllib2.urlopen(url);
import urllib2
print downloading with urllib2
url = "您的链接"
f = urllib2.urlopen(url)
data = f.read()
with open ("demo2.zip", "wb" ) as code:  
    code.write(data)
  1. 利用requests,划重点,我女神推荐的!
import requests
url = "您的链接"
r = requests.get(url)
with open ("demo3.zip", "wb") as code:
    code.write(r.content)

这三种下载方式一般都可以,根据自己的喜好选择。

问题升级

我推荐了第一种方法给女神,然后用她给我的链接试了下,链接为:https://n5eil01u.ecs.nsidc.org/DP5/MOST/MOD29P1D.006/2017.02.28/MOD29P1D.A2017059.h12v28.006.2017060080442.hdf,最后下载下来的文件发现为一个html文件:

第一次下载下来的文件
仔细看发现,这是一个请求登录的表单:

  <div id="masthead-logo">
    <h1><a class="ir" href="/">Earthdata Login</a></h1>
    <span class="eui-badge badge daac">Earthdata Login</span>
  </div>

于是手动复制地址到浏览器,跳转到EARTHDATA的登录页

跳转到的登录页.png
果断申请账号登录。

问题解决,Python携带cookie下载文件

登录之后,跳转至下载链接,发现文件可以正常下载。
打开https://n5eil01u.ecs.nsidc.org,在页面打开调试模式(F12),选择Console,输入document.cookie,可以看到自己登录之后的Cookie:

如何获取网站的cookie.png
那么剩下的就是下载了,用了女神推荐的函数:

  • 第一种
# --------------------第一种:使用headers携带cookie-----------------------------
# coding = utf-8
import requests


headers = {
    'User-Agent':'Mozilla/5.0 (Windows NT 6.1; Win64; x64),  
    'Cookie':'_ga=GA1.2.1096053304.1523154394; googtrans=/en/zh-CN; _ceg.s=p6uhnx; _ceg.u=p6uhnx',
}
# 发起请求,获取二进制数据
html_str = requests.get(url,headers=headers).content
# 写入文件,采用二进制写入文件
with open('路径/文件名.后缀','wb') as f:
    f.write(html_str)
  • 第二种
# --------------------第二种:在requests直接携带--------------------------------
# coding = utf-8
import requests
 
headers = {
    'User-Agent':'Mozilla/5.0 (Windows NT 6.1; Win64; x64)'  
}
# cookies = {你的cookies,这里必须是以键值对,也就是字典的形式}
cookies = {"_ga": "GA1.2.1096053304.1523154394", "googtrans": "/en/zh-CN", "_ceg.s": "p6uhnx", "_ceg.u": "p6uhnx", " CIsForCookie_OPS": "Wss4tcCozd0AANFW49YAAABM"}
# 发起请求,获取二进制数据
html_str = requests.get(url,headers=headers,cookies = cookies).content
# 写入文件,采用二进制写入文件
with open('路径/文件名.后缀','wb') as f:
    f.write(html_str)

最后成功的下载了文件。

Python大法系列文章

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容

  • urllib and urllib2 区别 –博主提示:下面的是python2中的用法,python3需要做出相应...
    sunnyRube阅读 1,420评论 0 1
  • Python学习网络爬虫主要分3个大的版块:抓取,分析,存储 另外,比较常用的爬虫框架Scrapy,这里最后也详细...
    楚江数据阅读 1,478评论 0 6
  • Python爬虫入门(urllib+Beautifulsoup) 本文包括:1、爬虫简单介绍2、爬虫架构三大模块3...
    廖少少阅读 9,928评论 0 6
  • 夏天到了 拉开窗帘 把阳光放进来屋子 聆听几声鸟鸣 观赏窗外美丽的风景 云朵在和云朵说话 树叶在与树叶亲吻 阳光在...
    卓君务阅读 272评论 0 3
  • 爱情是一个人对另一个人习惯的认同,爱到最高境界就是认同了他的习惯,一个女人习惯了一个男人的鼾声,从不适应到习惯再到...
    罗掌柜real阅读 135评论 0 0