Python爬虫使用MD5加密的坑

由于公司的业务需要，需要爬取很多的国外网站图片，然后兄弟我一路正则杀过去，总共匹配到658张链接，心里美滋滋开始写下载的代码。然后就有了这次坑的记录。
然后爬虫跑完后，美滋滋准备去看图片的时候，发现了
然后兄弟瞬间傻眼，卧槽？难道有反扒？继续测试,加了状态看看
怎么特么还是这么多？我的图呢，被狗吃了？然后进行了持续8小时的旷日的持久BUG之旅，前前后后各种信息都尝试了，还是没找出来，就在我特么快绝望的时候，突然想起一种情况
会不会是MD5的加密，导致前后两张图片的命名一样，虽然它们的请求链接不一样，但是没准加密后命名一样呢？如果一样，就会在保存的时候替换掉已经下载好的一样命名的图片。这样就会导致图片大量减少。
然后改代码
心里一万个曹尼玛奔腾而过，这个坑死人的MD5,还是老老实实改成时间戳把

Python爬虫使用MD5加密的坑

©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成，浏览时请结合常识与多方信息审慎甄别。
平台声明：文章内容（如有图片或视频亦包括在内）由作者上传并发布，文章内容仅代表作者本人观点，简书系信息发布平台，仅提供信息存储服务。

相关阅读更多精彩内容

  • Android - 收藏集
    Android 自定义View的各种姿势1 Activity的显示之ViewRootImpl详解 Activity...
    passiontim阅读 180,356评论 25赞 708
  • Android - 收藏集
    用两张图告诉你，为什么你的 App 会卡顿? - Android - 掘金 Cover 有什么料？ 从这篇文章中你...
    hw1212阅读 14,534评论 2赞 59
  • iOS 面试宝典 没有比这更全的了（持续更新）
    1.ios高性能编程 (1).内层 最小的内层平均值和峰值(2).耗电量 高效的算法和数据结构(3).初始化时...
    欧辰_OSR阅读 30,403评论 8赞 265
  • 2018-05-22思考四句话92
    工作： 还是想的和记录的不能同步，思想不停的转，但是却没有办法把所有想到的都记录下来。 今天下午开了体系审核完成后...
    俏村姑阅读 142评论 0赞 0
  • CSS学习笔记（二）
    选择器 一、标签选择器 格式： 标签名称{ 属性名称：属性值 } 二、id选择器 格式： #id名{ 属性名...
    fight_阅读 277评论 0赞 0

友情链接更多精彩内容