工作中遇到的一个问题 为方便去重，爬虫起始链接及爬虫结果数据都存放在redis中。 代理是爬虫小组共用的，同样存在redis里面。 爬虫过程中，由于深度抓取会产生很多新的链接...
发简信
IP属地：北京
-
scrapy多模块复用同一个数据库链接
-
已迁移平台：segmentfault，简书发什么都锁定，广告一堆，趁早倒闭吧
-
做过职业经理人的码农<br>在做IT职业讲师的大叔<br>喜欢编程<br>喜欢逆向<br>浸淫于金融 安全 电商 社区 教育等领域
-
pandas数据表合并merge pd.merge(left, right, on=None, left_on=None, right_on=None, left_index=False, rig...
-
pandas层次化索引Series 多层次索引Series的索引是MultiIndex结构 根据最外层索引取数时，可直接通过series[outer_index_m]完成 根据内层索引取数时，需要...
-
pandas处理缺失值相关函数 df.dropna() # 删除缺失值 df.fillna() # 填充缺失值 df.isnull() # 判断是否确实值，下同 df.notnull...
-
pandas统计import pandas as pd import numpy as np 汇总与计算描述统计 Series 在describe中，count为非NaN的数量，mean为平...
-
pandas排序排名import numpy as np importpandas as pd 函数应用 apply, map, applymap map()只能用于Series apply()...
-
pandas索引取数
注：《利用python进行数据分析》的学习笔记-pandas import pandas as pd import numpy as np Series 一维数组，包含一个数...
-
docker安装
下载地址 http://mirrors.aliyun.com/docker-toolbox/windows/docker-toolbox/ 其中，CE是免费版本 下载完成后点...
-
win10下Docker基本使用
一、换源 右键桌面右下角docker图标选择setting，选择docker engine，在 下方json中找到Registrymirrors 一栏，填写加速器地址http...
-
numpy中的random模块
numpy.random对python内置numpy做了补充，可用于生成多种概率分布的函数 import numpy as np 随机数 1.rand 均匀分布的随机样本值 ...
-
Ubuntn安装pip的坑重装了windows下的ubuntn子系统 其中，在更换国内源之后，安装pip时遇到了坑，网上千篇一律的解决方案是错的，坑了我一下午，这里记录一下 1.下载pip wget ...
-
ubuntn替换源
1.查看版本代号： 使用如下命令： lsb_release -c 得到本系统的系统代号 Ubuntu 14.04 (LTS)代号为trusty。 Ubuntu 16.04 (...
-
写的很好，翻了一些资料看了文档自己总结了点东西，发现作者这篇文章比我总结的透彻。
有几个问题没有搞懂。生产消费模型能不能写成两个事件循环，一个负责生产一个负责消费？Python黑魔法 --- 异步IO（ asyncio） 协程
本文是17年写的，至今过去多年，有一篇更好的文档： https://superfastpython.com/python-asyncio/[https://superfast...
-
艺术极客流氓
-
-
隐约雷鸣，阴霾天空。但盼风雨来，能留你在此。<br>隐约雷鸣，阴霾天空，即使天无雨，我亦留此地。<br>微信公众号： Python爬虫与算法（微信号为：easy_web_scrape）
-
-
如果你是程序员，或者有一颗喜欢写程序的心，喜欢分享技术干货、项目经验、程序员日常囧事等等，欢迎投稿《程序员》专题。 专题主编：小彤花园 http://www.jianshu.com/users/4a4eb4feee62/ 【程序员】专题拒稿指北：http://www.jianshu.com/p/7c8b33b5f63b 投稿须知： 1.收录相关技术文章，但不限于技术，也可以是项目经验类的文章和程序员日常。 2.文章內不得有任何推广信息。包括但不限于公众号、微博、微信，更不得在通过投稿后再修改文章加入推广信息。你可以将这些推广以及个人信息放在个人主页介绍里。 3.字数极少，段落混乱，大段代码没有放到代码框的文章不收录 4.不相关的内容不收录，请确认文章内容和本专题相关 目前针对优质作者及爱好者，开设了官方程序员微信群，希望加入请发简信给主编小彤花园索取个人微信，主编会将你加入到【程序员】微信群，分享内容，收获知识。添加微信时备注昵称。
