星辰大海的碎片

我这大概是神仙般的自知之明了

判断生成器对象是否在字符串中

any() 函数any() 函数用于判断给定的可迭代参数 iterable[可以是元组或者列表] 是否全部为 False。如果全部是False则返回 False，如果有一个为...

星辰大海的碎片

355 2 0

星辰大海的碎片

作为一个python半吊子选手，在经过一轮正经的python面试之后，我终于对自己的定位有了清晰地认知：我学的非常肤浅。python的高级语言特性我只是了解，从来没用过。很遗...

星辰大海的碎片

any() 函数any() 函数用于判断给定的可迭代参数 iterable[可以是元组或者列表] 是否全部为 False。如果全部是False则返回 False，如果有一个为...

星辰大海的碎片

LevelDB是谷歌开源的一个键值数据库，速度非常快，同时自动压缩数据。 起因是直接写入文本不方便第二次查找；写入MySQL等关系型数据虽然利于查找但是速度非常慢，使用键值数...

星辰大海的碎片

1.URL的清洗 2.cchardet模块该模块是chardet的升级版，功能和chardet完全一样，用来检测一个字符串的编码。由于是用C和C++实现的，所以它的速度非常快...

星辰大海的碎片

请说说从你在浏览器地址栏输入网站到你看到网页中间都发生了什么？ 浏览器发出请求 服务器做出响应 浏览器接收响应 网址是否有效判断URL的合法性基本URL包含协议(模式)+服务...

星辰大海的碎片

基本URL包含协议(模式)+服务器名称(IP地址)+（路径+文件名） 关于协议它告诉浏览器如何处理将要打开的文件。最常用的模式是超文本传输协议（Hypertext Trans...

星辰大海的碎片

原因未知解决办法就是不要一次插入大量数据产生环境：我在更新数据库，从旧的数据库更新到新的数据库，第一次出现这个消息是在我插入一千多条数据的时候，然后我减小了数据量，这个错误就...

星辰大海的碎片

是原始的url

python请求状态码的问题

背景是用scrapy来抓取一个网站的列表页的时候有一个url是404，其它url是200，但是我在判断状态码的时候发现了一些问题 这是基本逻辑demo（别傻了，我会提交完整代...

星辰大海的碎片

1048 3 0

星辰大海的碎片

背景是用scrapy来抓取一个网站的列表页的时候有一个url是404，其它url是200，但是我在判断状态码的时候发现了一些问题 这是基本逻辑demo（别傻了，我会提交完整代...

星辰大海的碎片

在做增量爬虫的时候，会经常遇到网址打不开的情况，为了方便统计监控，我们用状态码来做简单判断，非200都是异常 更换域名 网页结构改变 请求方式换了 服务器挂了 网站维护 被检...

星辰大海的碎片

看文档的笔记，请多指教！ 1、五个级别，在分析log的时候我选择把阈值从WARNING开始（官方也是这么建议的）如果你非要从头开始也没关系。2、这个log的配置方法2.x和3...

星辰大海的碎片

数据库去重MySQL 有唯一字段可以去重（这不是数据库去重的唯一方法），但是这种太过依赖MySQL，会导致 MySQL 压力大从而崩溃。 Scrapy 去重Scrapy 自带...

星辰大海的碎片

反爬就是区别人类行为和机器行为 通过访问频率来判断是人还是机器，他们会通过监测你的访问频率来判断，比如一分钟之内的访问次数，但是这个有一个弊端就是局域网，因为同一个局域网对外...

星辰大海的碎片

原因是环境里安装了python3.x和python2.x，这俩在一起会冲突因为目前项目使用的2.x于是开始卸载3.x但是发现会报错误 安装时发生错误 0x8007064...