58同城个人房源.png

检查页面元素，WHAT!!!，什么时间把价格这些关键字段变成这些鬼字符了。
查阅了相关资料，发现这是CSS3的一个新特性，允许在页面中使用自己定义的字库显示。那好，我就把你的字库存储下来。

字库.png

image.png

原来 閏对应的是8,其他的依次类推。

通过几次测试发现，鬼字符都是一样的，只不过每次对应的数字顺序不同，这时我们可以想到获取字库中的所有鬼字符，然后把这些字符使用PIL绘制出来，然后使用pytesseract识别一下不就拿到对应关系了吗？剩下的就是正则替换👌

image.png

完整代码github地址

# coding=utf-8

import re

import requests
from PIL import ImageDraw, ImageFont, Image
from fontTools.ttLib import TTFont
import pytesseract
import base64
from scrapy.selector import Selector


def get_html():
    url = 'https://bj.58.com/hezu/35762485615942x.shtml?from=1-list-2&iuType=z_0&PGTID=0d3090a7-0000-1d18-cd0c-225cc1843040&ClickID=2&adtype=3'
    r = requests.get(url)
    html = r.content
    with open('test.html','w') as f:
        f.write(html)
    return html

def get_origin_price(html):
    '''
    获取html中的租金信息
    '''
    sel = Selector(text=html)
    price = sel.xpath('//span[@class="c_ff552e"]/b/text()').extract_first()
    return price

class Font(object):
    def __init__(self,html):
        self.html = html
        self.regex = re.compile(r'base64,(.*)\'\) format')
    
    def save_ttf(self,ttf_path='test.ttf'):
        '''
        存储字库
        '''
        font_content = base64.b64decode(self.regex.search(html).group(1))
        with open(ttf_path,'wb') as f:
            f.write(font_content)
        return font_content

    def save_ttf_xml(self, ttf_path='test.ttf', xml_path='test.xml'):
        '''
        存储字体库的xml
        '''
        font = TTFont(ttf_path)
        font.saveXML(xml_path)

    def get_all_char(self, ttf_path='test.ttf'):
        '''
        获取字库中的所有字符
        '''
        font = TTFont(ttf_path)
        uni_char_list = []
        for table in font['cmap'].tables:
            for char_code, glyph_name in table.cmap.items():
                uni_char_list.append(unichr(char_code))
        uni_char_list = list(set(uni_char_list))
        return ''.join(uni_char_list)

    def get_mapping(self, content, ttf_path='test.ttf'):
        '''
        获取字库映射
        '''
        font = ImageFont.truetype(ttf_path, size=21, encoding="unic")
        width = 150
        height = 20
        image = Image.new('RGB', (width, height), (255, 255, 255))
        draw = ImageDraw.Draw(image)
        draw.text((10, 10), content, font=font, fill="#000000")
        image.save('test.jpg', dpi=(300.0, 300.0))
        mapping_value = pytesseract.image_to_string(image, config='-psm 3')
        result = dict(zip(content, mapping_value))
        return result

if __name__ == '__main__':
    html = get_html()
    price = get_origin_price(html)
    print u'原始租金：{}'.format(price)
    font_instance = Font(html)
    font_instance.save_ttf()
    font_instance.save_ttf_xml()
    process_string = font_instance.get_all_char()
    print u'奇葩字符是：{}'.format(process_string)
    mapping_value = font_instance.get_mapping(process_string)
    print mapping_value
    for each_str in price:
        price = re.sub(each_str, mapping_value[each_str], price)
    print u'处理后租金:{}'.format(price)