import hashlib,re,time
from urllib import parse
#根据特定字符串生成MD5
def md5_num(value):
s = hashlib.md5()
s.update(value.encode('utf-8'))
return s.hexdigest()
#网址解码
def url_decode(url):
new_url = parse.unquote(url)
format_str = re.match('(^http.*?\.html).*?',new_url,re.S)
return format_str[0]
#时间戳转化为固定格式时间
def time_now(timer):
return time.strftime("%Y-%m-%d %H:%M:%S", time.localtime(timer))
#提取详情页URL的数字ID
def id_number(url):
number = re.search('.*?(?P<number>\d+).*?',url)
return number.group('number')
scrapy 常用自定义函数一
最后编辑于 ：
©著作权归作者所有,转载或内容合作请联系作者
- 文/潘晓璐 我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
- 文/花漫 我一把揭开白布。 她就那样静静地躺着，像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上，一...
- 文/苍兰香墨 我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
