新建一个utils文件存放我们常用的函数
md5干嘛用的？
把url变成固定长度的值
import hashlib
defget_md5(url):
ifisinstance(url,str):#py3中没有unicode关键是，判断如果为string，就encode成utf8形式
url = url.encode("utf-8")
m = hashlib.md5()
m.update(url)
returnm.hexdigest()
defextract_num(text):
#从字符串中提取出数字
match_re = re.match(".*?(\d+).*", text)
ifmatch_re:
nums =int(match_re.group(1))
else:
nums =0
returnnums
if__name__ =="__main__":
print(get_md5("http://jobbole.com".encode("utf-8")))
jobbole.py需要调用frommm.untils.commonimportget_md5
article_item["url_object_id"] = get_md5(response.url)
