老师上几周布置的爬虫作业,虽然当周就完成了,不过一直有个问题没有解决,写入CSV的时候数据会自动覆盖,导致只能保留10条爬取的数据。
就在昨晚,为了完成另一个作业,请同学帮忙把python库弄了个底朝天,对于代码白痴的我来说也总算明白了一些原理,非常感谢这位同学!
然而就在今天重新把爬虫代码拿出来修改的时候,程序一运行,问题就出现了:
pycharm报错:
bs4.FeatureNotFound: Couldn’t find a tree builder with the features you requested: html_parser. Do you need to install a parser library?
经过一轮查找终于找到了解决方案:
先用pip uninstall lxml卸载,再用pip install lxml安装,这么做就可以了。
简直完美解决问题!
方法来自CSND博客:
谢谢这位码友!!
想说一下关于系统环境变量的事情,其实也没什么好说的,如果碰到这种问题,一般就是pip所在的路径没有添加到环境变量中去。
当然,不添加到环境变量中也行,就需要在cmd命令行中手动输入跳到pip的路径下来执行pip
环境变量个人理解就是,让系统帮保持打开这些已经添加的路径,方便运行某一程序。