最近工作上需要处理文本相似度的问题，一共5万多个文档；第一步，是先是要进行颗粒度较粗的，发现基本相似的文档，进行基本的 “聚类”；第二步，针对相似的文档，然后进行详细的比较；...
IP属地：广东
-
simhash的中文实现(python)
-
Scala中下划线“_”的用法小结下划线符号“_”在Scala语言中经常会用到，并且出现的场景千变万化。本文就列举出在一些主流情境下，“_”这个魔法符号分别是什么用法。 匿名函数参数占位符当匿名函数传递给方法...
-
入门HBase，看这一篇就够了团队内部要分享HBase的知识，之前研究了一段时间，知识比较零散，这一次就系统化的整理一番，之后在想到Hbase的时候，看着一篇就够了。 阿里陶系技术部招人，目前大把机会，H...
-
spark算子1：repartitionAndSortWithinPartitions
repartitionAndSortWithinPartitions算是一个高效的算子，是因为它要比使用repartition And sortByKey 效率高，这是由于它...
-
Spark Repartition 使用
看到一些同学的Spark代码中包含了很多repartition的操作，有一些不是很合理，非但没有增加处理的效率，反而降低了性能。这里做一个介绍。 repartition 从字...
-
基于用户的协同过滤算法（UserCF）原理以及代码实践
简介 协同过滤（collaborative filtering）是一种在推荐系统中广泛使用的技术。该技术通过分析用户或者事物之间的相似性，来预测用户可能感兴趣的内容并将此内容...
-
什么是 JWT -- JSON WEB TOKEN什么是JWT Json web token (JWT), 是为了在网络应用环境间传递声明而执行的一种基于JSON的开放标准（(RFC 7519).该token被设计为紧凑且安...
-
Java基础系列-Comparable和Comparator
原创文章，转载请标注出处：《Java基础系列-Comparable和Comparator》 一、概述 Java中的排序是由Comparable和Comparator这两个接口...
