浅谈现代化指纹识别及工具编写

前言

对于庞大的网络空间来说,存在着各式各样的应用、设备等等资产,而对这些资产进行识别,无论拿来做扫描器还是批量分析,都是非常有价值的,高效的应用指纹识别是一个长久可研究的课题,本文主要探讨如何建立高效可靠的指纹识别方法。

传统的指纹识别

一些扫描器里面使用的比较多的都是通过特殊路径 静态文件的md5 值或者大小 关键词等,例如使用比较广泛的一个指纹数据库 。

img

存在几个问题

  1. 效率太低,每一个路径都需要访问一次。容易被waf拦截
  2. 目前很多网站的静态资源 cdn于gzip 压缩,md5 其实是不一样的 ,识别率很低

现代化指纹识别

怎么来快速的精确的指纹识别,观察了大部分的web系统发现,访问首页并且获取response header 能识别出80% 的app
例如WordPress,discuz 会把独特的cookie放到header 里面。
discuz 的关键词 _saltkey=


img

默认首页也会有很多固定的关键词, WordPress wp-conetnt


img

剩下的指纹再去特殊url提取,这样效率和准确率会提高很多很多。

现代化指纹识别方案

指纹库设计

数据库结构

[图片上传失败...(image-7b51e8-1532176739869)]
指纹库类型目前有3种 ,当然后续还需要加上正则。
finger 规则是一个 string 之后的python 字典,里面有例如状态吗,规则等字段,例如 weblogic 的指纹规则

{'port':7001,'url': '/console/login/LoginForm.jsp', 'code': 200, 'grep': 'WebLogic Server'}

下面介绍每一种指纹库实例

指纹规则

web_header_contain

首页 response 里面的 header 查找特征符
速度最快,优先极最高。很多web cms 都会写特殊的cookie 键值。
例如 discuz,jboss,wordpress 等。
规则编写,以discuz 为例

➜  tools  curl  -I    www.cctry.com
HTTP/1.1 200 OK
Server: Microsoft-IIS/6.0
Connection: keep-alive
Date: Thu, 07 Jan 2016 18:22:34 GMT
Content-Type: text/html; charset=gbk
Content-Length: 0
X-Powered-By: PHP/5.2.17
Set-Cookie: Vguy_2132_saltkey=O6srsEYk; expires=Sat, 06-Feb-2016 18:22:22 GMT; path=/; httponly
Set-Cookie: Vguy_2132_lastvisit=1452187342; expires=Sat, 06-Feb-2016 18:22:22 GMT; path=/
Set-Cookie: Vguy_2132_sid=MwE6e0; expires=Fri, 08-Jan-2016 18:22:22 GMT; path=/
Set-Cookie: Vguy_2132_lastact=1452190942%09index.php%09; expires=Fri, 08-Jan-2016 18:22:22 GMT; path=/
X-Daa-Tunnel: hop_count=1

经过分析,字符串 _saltkey= 为discuz header 中的规则
具体规则如下
[图片上传失败...(image-9dae8f-1532176739869)]

web_index_contain

在缓存的首页里面查找关键词或者正则匹配
优先级次之,只需要 get请求一次即可。
例如Office Anywhere 指纹 编写流程
数据包分析

➜  tools  curl  http://125.91.218.186:8000/   |  grep   '/images/tongda.ico'
  % Total    % Received % Xferd  Average Speed   Time    Time     Time  Current
                                 Dload  Upload   Total   Spent    Left  Speed
100  2001  100  2001    0     0  11795      0 --:--:-- --:--:-- --:--:-- 11840
<link rel="shortcut icon" href="/images/tongda.ico">

规则编写
[图片上传失败...(image-a6e555-1532176739869)]

web_url_contain

特殊url 查找指定的关键词(返回状态码也指定)。
优先级最低。
例如 weblogic 的指纹 finger 过程
数据包分析

➜  tools  curl  -I     http://202.97.194.9:7001/console/login/LoginForm.jsp
HTTP/1.1 200 OK
Cache-Control: no-cache
Date: Thu, 07 Jan 2016 18:53:28 GMT
Pragma: no-cache
Content-Type: text/html; charset=UTF-8
Expires: Thu, 01 Jan 1970 00:00:00 GMT
Set-Cookie: ADMINCONSOLESESSION=XQXrWT0LQTvpf8Jv75nMnQB9vN0cGppy7bTfJxfH9S673VTGP1Wl!1715621632; path=/
Content-Language: zh-CN
X-Powered-By: Servlet/2.5 JSP/2.1

规则

{'url': '/console/login/LoginForm.jsp', 'code': 200, 'grep': 'WebLogic Server'}


[图片上传失败...(image-524889-1532176739869)]

程序编写

指纹识别模块代码

# coding:utf-8
"""
 *@Projet  Yafinger
 *@Author  yaseng@uauc.net
 *@Desc    playweb finger modules
"""
import ast,time
import config
from   lib                import util

def get_web_app(url):
    rsp_index = util.http_get(url)
    str_index = ""
    if rsp_index == None :
        return None
    list_app=[]
    fingers=config.get('fingers');
    for  finger  in   fingers :
        rule = ast.literal_eval(finger['finger'])
        if finger['type'] == 'web_index_contain': 
            # limit header and  body and code  exp : {'header':'jsessionid=','code': 200, 'grep': '.action'}
            if rule.has_key('header') and  rule['header'] not in   str(rsp_index['headers']).lower()  : 
                continue
            if rsp_index['code'] == rule['code'] and  rule['grep']  in rsp_index['data'] :
                list_app.append({'app_id':finger['id'], 'url':url})
                util.log("url:%s app:%s" % (url, finger['app_name']))
    
        elif finger['type'] == 'web_url_contain' :
             rsp_tmp = util.http_get(url + rule['url'])
             if rsp_tmp == None :
                 continue
             if rsp_tmp['code'] == rule['code'] and  rule['grep']  in rsp_tmp['data'] :
                 list_app.append({'app_id':finger['id'], 'url':url})
                 util.log("url:%s app:%s" % (url + rule['url'], finger['app_name']))
        elif  finger['type'] == 'web_header_contain' :

            if  rule['grep']  in  str(rsp_index['headers']).lower() :
                list_app.append({'app_id':finger['id'], 'url':url})
                util.log("url:%s app:%s" % (url , finger['app_name']))
                        
            
        time.sleep(0.01)
    return  list_app

单独识别

简单调用指纹识别模块代码

# coding:utf-8
"""
 *@Projet  Yafinger
 *@Author  yaseng@uauc.net
 *@Desc    yafinger test 
     __    __            ___                                         
    /\ \  /\ \         /'___\  __                                    
    \ `\`\\/'/   __   /\ \__/ /\_\     ___       __       __   _ __  
     `\ `\ /'  /'__`\ \ \ ,__\\/\ \  /' _ `\   /'_ `\   /'__`\/\`'__\
       `\ \ \ /\ \L\.\_\ \ \_/ \ \ \ /\ \/\ \ /\ \L\ \ /\  __/\ \ \/ 
         \ \_\\ \__/.\_\\ \_\   \ \_\\ \_\ \_\\ \____ \\ \____\\ \_\ 
          \/_/ \/__/\/_/ \/_/    \/_/ \/_/\/_/ \/___L\ \\/____/ \/_/ 
                                                 /\____/             
                                                 \_/__/ 
"""
import   os, time, sys, Queue, threading, ast
import config
from   lib                import util
from   lib.db             import *
from   optparse           import OptionParser
from   modules            import finger

if __name__ == "__main__":
    usage= '''%prog --host  host --port  port --finger  <all|app_name>   \r\nExample:%prog  --url  http://127.0.0.1    --finger phpmyadmin  '''
    parser = OptionParser(usage=usage)
    parser.add_option("-u", "--url", dest="url", help="target url")
    parser.add_option("-f", "--finger", dest="finger", help="finger_db app_name,default all ", default="all")
    options, arguments = parser.parse_args()
    if options.url == None :
        parser.print_help() 
        exit(0)
    db = MySQL(config.db_config)
    sql_finger_where=' '  if options.finger == 'all' else "  and  app_name='%s' "  % options.finger
    db.query("SELECT  * from  pw_finger_db  where  `enable`=1   %s "  % sql_finger_where)
    fingers = db.fetch_all()
    if len(fingers) == 0 :
        util.log('finger app_name %s not found' % options.finger ,3,'finger') 
    config.set("fingers",fingers)
    util.log("load fingers count %d" % len(fingers),1,'finger')
    finger.get_web_app(options.url)

img

批量识别

可以使用线程池来实现批量指纹识别。

指纹结果

融合到系统中指纹保存在数据库中,本模块可以快速整合到扫描器或者其他项目中。

yafinger

yet another web fingerprinter
https://github.com/yaseng/yafinger

issue

  1. 指纹库需要补充
  2. 可以不局限于web指纹
  3. 某些情况可能目前的指纹规则不符合,还需要添加新的指纹规则,例如正则
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 214,904评论 6 497
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 91,581评论 3 389
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 160,527评论 0 350
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 57,463评论 1 288
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 66,546评论 6 386
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 50,572评论 1 293
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,582评论 3 414
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,330评论 0 270
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,776评论 1 307
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,087评论 2 330
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,257评论 1 344
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,923评论 5 338
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,571评论 3 322
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,192评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,436评论 1 268
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 47,145评论 2 366
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,127评论 2 352

推荐阅读更多精彩内容

  • 1、通过CocoaPods安装项目名称项目信息 AFNetworking网络请求组件 FMDB本地数据库组件 SD...
    阳明先生_X自主阅读 15,979评论 3 119
  • Spring Cloud为开发人员提供了快速构建分布式系统中一些常见模式的工具(例如配置管理,服务发现,断路器,智...
    卡卡罗2017阅读 134,647评论 18 139
  • 下班回家吃完饭,和烁妈带着大烁转了一大圈,小伙子感觉挺美的
    易如人生阅读 96评论 0 0
  • 那是一个夏日午后,天气太热了,天空却蓝的出奇,知了不停地叫,吵得人很烦。我坐在小镇唯一的咖啡馆里,却喝着喜欢的冰橘...
    透明的橙阅读 132评论 1 4