前提是这样的，有人找帮忙爬个网站。当时没当回事，后来发现这个网站防爬虫放了好多奇淫异巧，就是绕不过去。坚持了3天，我就转变思路了，找其他方案，就发现了Selenium、PhantomJS、SlimerJS、Playwright，最后感觉Playwright北京牛逼，实力牛逼，就用他了。用了后感觉，以后爬虫就是它了，什么动态页面、各种验证都是浮云了，因为它就是浏览器操作，无敌了。

• 搭建环境

python 3.9 安装，在winserver上装python 3.10后运行出现 'DLL load failed while importing _greenlet'问题解决不了。

2023年3月12日更新。
先 pip install msvc-runtime 试试效果
不行再在这个网站找匹配的msvc包安装，肯定解决
https://www.lfd.uci.edu/~gohlke/pythonlibs/

pip install playwright #安装playwright
playwright install chromium #安装浏览器驱动 支持chromium webkit firefox,如果直接playwright install 则安装三家drive edge浏览器msedge

• 用到了mysql

涉及到长连接问题。声明了全局的连接实例

db = pymysql.connect(host='ip', user='root',  password='123', database='database')

但是到使用时，连接已经中断了。这就需要ping一下，然后根据判断结果，断了就重连。

def test_conn():
    try:
        db.ping()
    except Exception as e:
        logging.info("数据库失去连接{}".format(e))
        db = pymysql.connect(host='ip', user='root',  password='123', database='database')
        logging.info("重新连接数据库")
    return db

• pyinstaller打包

因为使用playwright安装chromium驱动，打包时找的是本地路径？反正到其他机器上就提示下面这个，找不到chromuim，安装了环境也没有。

Looks like Playwright Test or Playwright was just installed or updated. 
Please run the following：playwright install

解决方案是把chromeium打包进exe

项目文件位置，【Shift+右键】打开本地位置的 PowerShell，输入$env:PLAYWRIGHT_BROWSERS_PATH="0"
playwright install chromium  #这就把chromium带到包内了？
pyinstaller -F main.py #执行打包，这就把chromium打进来了
稀里糊涂，还不知道什么都是什么，尤其$env。为什么这就下载到项目里了也不知道。反正这样就解决了。

• 关于logging模块

事情是这样的，之前一直正常运行，正常输出和记录日志
今天突然没反应了，不创建文件，也不在屏幕输出
查到这个博文才解决
问题原因
logging模块是不支持追加配置的，就是说第一次使用后配置就固定了，后续再通过logging.basicConfig()配置是无法生效的。
举例说明: 先用后配置 这样配置就不生效了

logging.info('{}'.format('先用一下'))
logging.basicConfig(level=logging.INFO, format='%(asctime)s %(filename)s[line:%(lineno)d] %(levelname)s %(message)s', filename=name+'_'+str(int(time.time()))+'.log',  filemode='w')
logger = logging.getLogger()
kzt = logging.StreamHandler()
kzt.setLevel(logging.INFO)
logger.addHandler(kzt)
logging.info('{}'.format('日志初始化完成'))

• 对抗Cloudflare的包

cloudscraper  #目前不管用了
cf_clearance  #这个现在可以  嵌在playwright中用还有效
pip install cf_clearance
from cf_clearance import sync_cf_retry, sync_stealth
with sync_playwright() as playwright:
        browser = createBrowser(playwright)
        con = createContex(browser)
        con.set_default_timeout(30000) 
        page = con.new_page()
        url = 'https://url/'
        sync_stealth(page, pure=True)
        try:
            page.goto(url)
        except Exception as e:
            return ua, ck
        res = sync_cf_retry(page)
        print('-----------------------new Cookies-------------------------------')
        print(con.cookies())
        logging.info('new cookies:{}'.format('-----------------------new Cookies-------------------------------'))
        logging.info('new cookies:{}'.format(con.cookies()))
        if res:
            cookies = page.context.cookies()
            for cookie in cookies:
                if cookie.get('name') == 'cf_clearance':
                    cf_clearance_value = cookie.get('value')
                    #print(cf_clearance_value)
                    ua = page.evaluate('() => {return navigator.userAgent}')
                    ua = {"user-agent": ua}
                    ck = {"cf_clearance": cf_clearance_value}
                    break
            #print(ua)
        else:
            print("cf challenge fail")
            logging.info('new cookies:{}'.format("cf challenge fail"))