设备指纹技术

1.两项关键技术

     1.1大规模在线概率式记录关联

  设备指纹的核心技术是,给定两条请求事件,给出这两条请求事件是否来自同一台设备。设备指纹的一项关键技术是概率式记录关联(Probabilistic Record Linkage),它的非概率式版本确定式记录关联(Deterministic Record Linkage)确实和self join很像。

SELECT column_name(s)

FROM table1 T1, table1 T2

WHERE P(T1.a, T1.b, T2.a, T2.b) > threshold;(贝叶斯)

设备指纹的原理很简单,那么难点在哪里呢?

第一在于设备指纹的典型应用场景反欺诈、营销追踪等都需要实时地给出匹配结果,也就是要在线,这就意味着数据来源不是数据库,而是数据流。

第二,传统的数据库的记录规模往往不是特别大,而在线反欺诈,每一个页面访问(PV)都会产生一条请求,要匹配的请求数,每天至少是亿级的。熟悉数据库的人都知道,一个一亿条记录的表格self join的复杂度是多高。这还只是简单的确定式的匹配。

第三,概率式模型,我会放在后面详细介绍。

  所以做好设备指纹的第一步就是建立起一个大规模在线概率式记录关联平台。它牵涉到流数据的处理、分布式内存计算、算法优化、高效的信息搜索等多个环节。

  对于设备指纹技术,机器学习的方法从数据中学习,让数据说话,摒除了人工规则方法的偏见和不稳定性。但是机器学习的方法也面临一定的挑战,最重要的挑战就是在很多场景下,标注数据是不足的。

  近年来,半监督学习的兴起给设备指纹的机器学习带来了新的思路。半监督学习可以认为是监督学习的扩展,与一般监督学习不同的是,监督学习只能在标注数据上训练,而半监督学习可以同时利用标注数据和未标注数据。

  生成式模型是一种典型的半监督学习方法,对设备指纹技术有很好的效果。

       1.2 机器学习

  就像每个人都有独一无二的指纹一样,每一台终端设备也都拥有独特的特征。这些独特的属性,在终端设备与外界通讯的过程中都会体现出来。追踪设备通信行为,并用先进的数据模型分析其特性,就能准确识别和关联设备,实现线上欺诈行为的识别和预警,这就是设备指纹技术的原理。被动式才是未来!


参考文献:

1.https://wenku.baidu.com/view/46aab9558f9951e79b89680203d8ce2f006665ad.html?from=search

2.https://wenku.baidu.com/view/cfaed0e2524de518964b7d71.html?from=search

3.https://www.ishumei.com/product/device.html?e_creative=20093221523&e_pagenum=1&e_keywordid=76681965462;

4.https://www.cnblogs.com/jeffen/p/6855485.html;

5.https://www.2cto.com/kf/201606/516044.html;

6.https://www.jianshu.com/p/b6f4b0aca6b0;

7.https://blog.csdn.net/allen_cn/article/details/5186832;

8.https://www.jianshu.com/p/057d60649c58;

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容

  • 专业考题类型管理运行工作负责人一般作业考题内容选项A选项B选项C选项D选项E选项F正确答案 变电单选GYSZ本规程...
    小白兔去钓鱼阅读 12,939评论 0 13
  • 文章图片上传不正常,如需文档,可联系微信:1017429387 目录 1 安装... 4 1.1 配置探针... ...
    Mrhappy_a7eb阅读 11,634评论 0 5
  • 孩童绘画叙述作品: 有一只瘦瘦长长的蜗牛,背上长着3栋彩色房子,其中一栋是爱心❤形状,代表着这是一只非常有爱心的蜗...
    奈乖阅读 3,304评论 0 50
  • ¥LI260tmrPMs¥
    竹林听雨_550f阅读 1,001评论 0 0
  • 那种思念 牵动着我的心房 仿佛失去她就失去一切 表面的平静不代表内心的坚强 那颗脆弱的心 又怎么能承受这暴风雨的洗...
    onlyx11阅读 2,047评论 0 0