2019-07-01—Tesseract,Scrapy

验证码识别

安装:参考https://blog.csdn.net/weixin_43849588/article/details/89922327


image.png

遇到的问题:环境变量配置好了后,输入tesseract没反应。。。这时重启一下powershell就好了。


image.png

可以直接识别英文,中文要指定


image.png
import pytesseract
from PIL import Image

pytesseract.pytesseract.tesseract_cmd = r"D:/Tesseract-OCR/tesseract.exe"
image = Image.open('04.jpg')
text = pytesseract.image_to_string(image,lang='chi_sim')
print(text)
image.png


pip install scrapy和pip install pypiwin32

pip install pypiwin32报错:
ERROR: THESE PACKAGES DO NOT MATCH THE HASHES FROM THE REQUIREMENTS FILE. If you have updated the package versions, please update the hashes.
因为网速太慢了,再试几次
pip install scrapy报错:
install for Twisted ... error
ERROR: Command "'c:\users\asus\appdata\local\programs\python\python36\python.exe' -u -c 'import setuptools, tokenize;__file__='"'"'C:\\Users\\ASUS\\AppData\\Local\\Temp\\pip-install-eo8g5wdm\\twisted\\setup.py'"'"';f=getattr(tokenize, '"'"'open'"'"', open)(__file__);code=f.read().replace('"'"'\r\n'"'"', '"'"'\n'"'"');f.close();exec(compile(code, __file__, '"'"'exec'"'"'))' install --record 'C:\Users\ASUS\AppData\Local\Temp\pip-record-s4l52cbr\install-record.txt' --single-version-externally-managed --compile" failed with error code 1 in C:\Users\ASUS\AppData\Local\Temp\pip-install-eo8g5wdm\twisted\
因为没有装twisted,要找对应python版本的twist下载,放到python安装目录的Scripts 目录下
网址:https://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted
但是这个很慢。。
我传到了网盘:Twisted-19.2.1-cp36、37、38—64位的
链接:https://pan.baidu.com/s/1kn59Wsrv3OHllgSEYu2svg
提取码:j7dg
复制这段内容后打开百度网盘手机App,操作更方便哦
然后再pip install 这个whl(要么到这个路径下,要么写上绝对路径\文件名)安装这个
之后再pip install scrapy就能成功了

image.png

爬取糗事百科

image.png

image.png

image.png

优化:
image.png

image.png

转化成字典
image.png

image.png

image.png

image.png

另一种:数据量多的时候
image.png

image.png

image.png
最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容

  • python****网络编程常用库使用手册 一、urllib3 ** Urllib3****是一个功能强大,条理清...
    奕剑听雨阅读 1,560评论 0 0
  • # Awesome Python [![Awesome](https://cdn.rawgit.com/sindr...
    emily_007阅读 6,600评论 0 3
  • Joshua Centos/Linux 下升级python2.7至3.5.0 (一) 安装Python3.5 (1...
    一灰丶阅读 5,183评论 0 0
  • CentOS 7.2安装手册 一、系统安装 1. 系统引导 (1)成功引导系统后,会出现下面的界面 <v:shap...
    全宇宙最帅De男人阅读 4,101评论 0 1
  • “好學者日新而不失。” 今天去上班的路上,看到一个瓶子横在小区路中间,觉得会挡到过往车辆,我脑补了一下一个画面,电...
    瑀墨阅读 936评论 0 0