更新calibre-web豆瓣插件calibre-web-douban-api

最近豆瓣更新了反爬政策,连封面图片也不允许直接访问,越来越严格了,以前的calibre-web-douban-api插件不能正常获取封面,因此只能想其他办法来实现封面的获取。

插件已更新到最新,本文是记录插件获取封面的技术实现,使用参考:https://fugary.com/?p=238

源码地址:https://github.com/fugary/calibre-web-douban-api/blob/main/src/NewDouban.py

如何实现

其实获取封面只需要指定Refer=https://book.douban.com头信息就可以了。

calibre-web是第三方开源服务,在不能修改其源码的情况下,要实现豆瓣封面需要处理两个问题:

  1. 封面的预览
  2. 封面下载

封面预览

封面预览实际是从浏览器根据豆瓣的封面url直接发起请求,没有办法增加头信息(Chrome浏览器插件倒是可以实现),因此只能通过本地服务代理访问豆瓣url

代理地址

calibre-web是用flask开发,可以考虑引入flask的蓝图对象,自己添加一个路由地址,在路由中转发请求,参考代码:

from cps.search_metadata import meta
from flask import request, Response

@meta.route("/metadata/douban_cover", methods=["GET"])
def proxy_douban_cover():
    cover_url = urllib.parse.unquote(request.args.get('cover'))
    res = requests.get(cover_url, headers=DEFAULT_HEADERS)
    return Response(res.content, mimetype=res.headers['Content-Type'])

这样就实现了,通过本地的/metadata/douban_cover?cover=https://xxxx地址显示封面了。

服务地址

有了本地代理服务,然后就需要在返回封面数据的时候把这个代理服务替换原始的豆瓣封面地址。

这里有点麻烦,因为flaskrequest对象是通过线程本地变量实现,元数据服务又是通过线程池去获取元数据,线程池中是获取不到request对象的,尝试获取将会报错。

{RuntimeError}RuntimeError('Working outside of request context.\n\nThis typically means that you attempted to use functionality that needed\nan active HTTP request. Consult the documentation on testing for\ninformation about how to avoid this problem.')

因此只有在元数据获取之后、往外输出之前来修改封面地址,这里通过继承MetaRecord重写魔法函数__getattribute__来实现封面url地址的替换,参考代码:

@dataclasses.dataclass
class DoubanMetaRecord(MetaRecord):

    def __getattribute__(self, item):  # cover通过本地服务代理访问
        if item == 'cover' and DOUBAN_PROXY_COVER:
            cover_url = super().__getattribute__(item)
            if cover_url:
                try:
                    host_url = DOUBAN_PROXY_COVER_HOST_URL
                    if not host_url and request.host_url:
                        host_url = request.host_url
                    if host_url and host_url not in cover_url:
                        self.cover = host_url + DOUBAN_PROXY_COVER_PATH + urllib.parse.quote(cover_url)
                except BaseException:
                    pass
        return super().__getattribute__(item)

这样就实现了豆瓣封面预览功能了。

如果获取的服务器地址不正确,可以手动指定DOUBAN_PROXY_COVER_HOST_URL='http://nas_ip:8083/'

封面下载

这个本地代理地址不能实现封面下载,因为如果在保存封面的flask路由中再次访问其他flask路由会卡死,感觉是因为没有开启flask的多线程处理请求的原因,在不修改calibre-web的情况下,要实现封面下载,可以覆盖calibre-webhelper.save_cover_from_url方法,用自己写的方法去替换掉save_cover_from_url,在检测到是douban的封面地址的情况下,用requests去下载封面数据,代码如下:

    @staticmethod
    def hack_helper_cover():
        save_cover = helper.save_cover_from_url
        def new_save_cover(url, book_path):
            if DOUBAN_COVER_DOMAIN in url:
                cover_url = url
                if DOUBAN_PROXY_COVER:
                    component = urllib.parse.urlparse(url)
                    query = urllib.parse.parse_qs(component.query)
                    cover_url = urllib.parse.unquote(query.get('cover')[0])
                res = requests.get(cover_url, headers=DEFAULT_HEADERS)
                return helper.save_cover(res, book_path)
            else:
                return save_cover(url, book_path)
        helper.save_cover_from_url = new_save_cover

这样就实现了封面预览和下载了。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 217,657评论 6 505
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 92,889评论 3 394
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 164,057评论 0 354
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 58,509评论 1 293
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 67,562评论 6 392
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 51,443评论 1 302
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 40,251评论 3 418
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 39,129评论 0 276
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 45,561评论 1 314
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,779评论 3 335
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,902评论 1 348
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,621评论 5 345
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 41,220评论 3 328
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,838评论 0 22
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,971评论 1 269
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 48,025评论 2 370
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,843评论 2 354

推荐阅读更多精彩内容