提示

我代码里面用到的2.csv是一个关于基因id的一部分文件，csv格式

import requests
from lxml import etree
from selenium import webdriver
import time
import os

headers = {
    'User-Agent': "PostmanRuntime/7.20.1",
    'Accept': "*/*",
    'Cache-Control': "no-cache",
    'Postman-Token': "4847ea30-a4b1-4f98-bd3d-c5f41c8ed792,8906cc9c-db81-4f9d-9a3e-4e89ffac7404",
    'Host': "omim.org",
    'Accept-Encoding': "gzip, deflate",
    'Connection': "keep-alive",
    'cache-control': "no-cache"
}

with open('2.csv', 'r', encoding='utf-8') as f:
    ids = f.readlines()
for id in ids:
    id = id.replace('\n', '')
    url = "https://omim.org/entry/" + str(id)
    querystring = {"search": str(id), "highlight": str(id)}
    response = requests.request("GET", url, headers=headers, params=querystring)
    time.sleep(1)
    data = response.content.decode('utf-8')
    if 'Error 403' in data:
        print('Error 403')
        break
    filename = './htmldata/' + str(id) + '.html'
    if not os.path.exists('./htmldata/'):
        os.mkdir('./htmldata/')
    with open(filename, 'a', encoding='utf-8') as f:
        f.writelines(data)
        print(id, url)

这里的爬虫我用到的是最简单的爬虫，我只需要把全网页的html给抓取下来然后生成html格式的文件就可以了

里面有一个sleep(1)，是为了让OMIM的服务器不至于封禁我的ip加上的，可以根据自身情况代理，可以写个方法随机代理或者写一个方法随机休眠几秒，没必要和我一样完全写死休眠一秒