原文请移步我的博客：TCMalloc解密 写在前面 本文首先简单介绍TCMalloc及其使用方法，然后解释TCMalloc替代系统的内存分配函数的原理，然后从宏观上讨论其内存...
发简信
IP属地：甘肃
-
TCMalloc解密 -
最简单的，各个截图计算phash，10张图合并出一个大的hash值作为视频的hash值，然后算距离；不过如果是想拿来做视频相似度分析的话，这种效率很差，效果也不好，最多只能找出加了水印的视频，如果视频稍微加了个片头改变了时长，就没办法了；
较大规模图片 使用phash去重
起因 先说下为什么要做这个事。做的图片站的图片来源为很多美女图片站，自然地，会有很多重复的图片，而我的目标就是要把重复的图片找出来，剔除掉或者是做其他处理。 什么样的图片属于...
-
是指result 中会有重复吗？理论上是会有的，但是也没啥问题吧；如果要不重复，list换成set就完事了
较大规模图片 使用phash去重
起因 先说下为什么要做这个事。做的图片站的图片来源为很多美女图片站，自然地，会有很多重复的图片，而我的目标就是要把重复的图片找出来，剔除掉或者是做其他处理。 什么样的图片属于...
-
如果只是两两对比的话，可以考虑下sift，无视旋转之类的变化
较大规模图片 使用phash去重
起因 先说下为什么要做这个事。做的图片站的图片来源为很多美女图片站，自然地，会有很多重复的图片，而我的目标就是要把重复的图片找出来，剔除掉或者是做其他处理。 什么样的图片属于...
-
scons 简单入门
简单入门 hello world scons由Sconstruct 作为入口，控制如何进行编译操作。Sconstruct 本身是一个python文件，故需要遵循python的...
-
布隆过滤器扩容及删除过期数据
我们知道，布隆过滤器是不可变的，但如果布隆过滤器容量确实不够了，该怎么办呢？或者如果要每个月都删除几个月前的去重数据，该如何处理呢？这边要记录一种布隆过滤器的巧用，多个布隆过...
-
golang hijack打开方式
简介Hijack Hijack()可以将HTTP对应的TCP连接取出，连接在Hijack()之后，HTTP的相关操作就会受到影响，调用方需要负责去关闭连接。看一个简单的例子。...
-
groupcache源码中几个有趣的点
简介 groupcache is a caching and cache-filling library, intended as a replacement for mem...
-
对go中function type的一点思考
function type 可以理解为一组拥有相同参数类型和结果类型的方法的集合。我看也有人管他叫接口型函数。 A function type denotes the set...
-
品读 werkzeug reloader 实现机制
werkzeug使用reloader可以在文件被改变时自动加载更改过的文件，使用方法也很简单，run_simple('localhost', 4000, applicatio...
-
TIME_WAIT状态存在的意义
什么时候会TIME_WAIT TCP在关闭的时候有个四次挥手的过程，主动关闭方在四次挥手的最后一个ACK发送之后会变成TIME_WAIT状态。 主动关闭方 跟握手不同，挥手可...
-
简析pyspider
pyspider优势所在 pyspider非常适合那种很小很杂的爬虫的管理，比如有100个小网站，规则又各不相同，我要获取他的一些很简单的内容，如标题，所有的图片，正文内容。...
-
基于asyncio实现的异步协程爬虫
前言 以下内容是看500 lines or less中 A Web Crawler With asyncio Coroutines这个章节后做的一些记录。 一个最简单的爬虫 ...
-
kubernetes中部署spark集群
在写这个的时候，spark版本为2.2.1。 基于kubernetes部署的两种方式 直接使用kubernetes作为集群管理器(Cluster Manager)，类似与me...
-
优雅关闭以及机器kubernetes pods
优雅启动 很常见的一个场景，一个服务刚启动，可能会有一堆东西要加载（比如我这边需要读数据库中一堆东西）需要一些时间，而这段时间里，我不希望kubernetes 把请求打到这些...
-
一种神奇的批量创建类的方法--参照namedtuple
namedtuple是一个很神奇的东西，在看kafka-python的时候看到了很多地方用到了这玩意。用法也非常简单 很方便的创建一个父类为tuple的类，且可以用kv对的方...