netstream是什么?

netstream提供报文统计功能,它根据报文的目的ip地址、目的端口号、源ip地址、源端口号、协议号和tos来区分流信息,并针对不同的流信息进行独立的数据统计。

系统组成

1、NDE(NetStream Data Exporter,网络流量采样)。NDE负责对网络流进行采集和发送,提取符合条件的流进行统计,并将统计信息输出给NSC设备。输出前也可对数据进行一些处理,比如聚合。配置了NetStream 功能的设备在NetStream 系统中担当NDE 角色。

2、NSC(NetStream Collector,网络流量采集)。NSC通常为运行于Unix 或者Windows 上的一个应用程序,负责收集和存储来自NDE的报文,把统计数据收集到数据库中,可供NDA进行解析。NSC可以采集多个NDE设备输出的数据,对数据进行进一步的过滤和聚合。

(3)NDA(NetStream Data Analyzer,网络流量分析)。NDA是一个网络流量分析工具,它从数据库中提取统计数据,进行进一步的加工处理,生成报表,为各种业务提供依据(比如流量计费、网络规划,攻击监测)。通常,NDA具有图形化用户界面,使用户可以方便地获取、显示和分析收集到的数据。

工作机制

(1)交换机把采集到的流的详细信息定期发送给nsc(netstream collector,网络流数据收集器);

(2)信息由nsc初步处理后,发送给nda(netstream data analyzer,网络流数据分析器);

(3)nda对数据进行分析,分析结果用于计费和网络规划等。

Netstream的实现

启用Netstream功能后,流信息首先被存储在netstream缓冲区中进行统计,当到达设定的老化(aging)时间后,系统就将流统计信息通过netstream统计输出报文(即,流信息经过udp封装以后产生的报文)发送给nsc,并将该流信息删除。

分类

这是一种基于"流"来实现对报文统计的技术,网络流就是IP报文,可以是TCP报文、UDP报文、ICMP报文等。

对于IPv4报文:网络流会根据IPv4的源目IP地址、源目端口号、协议号、ToS服务类型、输出/入接口来定义流,相同的七元组标识为同一条流。

老化方式

Netstream流老化

网络流老化是向NSC输出统计信息的前提,当Netstream缓存区达到符合输出的条件时,网络流才会输出至NSC,让NSC进行进一步的分析的做表。

流老化有五种方式

1、按活跃时间老化:当一条流的活跃时间(从流创建起到当前时间)超过所配置的时限时,流信息将被老化。

2、按不活跃时间老化:当一条流的不活跃时间(从最后一个报文流过到当前时间)超过所配置的时限时,流信息将被老化。

3、按TCP连接的FIN和RST报文触发老化:对于TCP连接,当有FIN或者RST报文发送时,说明一次会话的结束,因此,当一条已经存在TCP协议Netstream流中流过一条有FIN或者RST标志的报文时,会立即该流老化。

4、统计字节超过限制时老化:Netstream缓存区中的流需要记录流过的报文字节数,当字节数超过自定义的变量时,就会造成流溢出,所以系统在检测到某条流的字节数超过限制时,为了避免发生计数错误,会立即对该流进行老化。

5、强制老化:管理员可以通过手工输入命令的方式对流进行老化处理。该功能主要是对未满足老化条件的流进行老化,比如未到老化时间但又需要最新的老化流来统计信息,或者Netstream业务出现故障,需要对缓存区中的流进行全部老化处理。

输出方法

网络流输出指的是当Netstream缓存区中的流达到老化条件时,向NSC输出老化流的过程,方便NSC形成数据库便于后续分析。

Netstream流输出方式

1、原始流输出:所有流信息都要被统计,在达到流老化的条件后,Netstream缓存区中的流全部都要输出到Netstream服务器。优点是可以知道每条流的详细统计信息。缺点是消耗大量的网络资源与CPU资源。

2、聚合流输出:在原始流的基础上,对流进行分类和聚合,抽取能"代表"大部分流的流上传到Netstream服务器,从而得到聚合后的统计信息,能节省网络资源的开销和CPU的负荷。

3、灵活流输出:这种方式最为灵活,可以自定义形成流的条件,这些条件可以是协议号、源目IP地址、源目端口号等方式,从而进行分类的流统计,可以得到"最想要"得到的流统计信息。同时也减少了对网络带宽的消耗。

版本格式

一共有V5、V8、V9和V10四个版本。

版本5:根据七元组产生原始的数据流,但报文格式固定,不易扩展。

版本8:支持聚合输出格式,但报文格式固定,不易扩展。

版本9:基于模板方式,使统计信息的输出更为灵活,可以灵活输出各种组合格式的数据。版本9支持对BGP下一跳、MPLS等统计输出。

版本10:基于模板方式,根据数据流特征输出统计信息。具有很强的可扩展性,对于不同的需求输出不同格式的数据。

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 213,616评论 6 492
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 91,020评论 3 387
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 159,078评论 0 349
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 57,040评论 1 285
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 66,154评论 6 385
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 50,265评论 1 292
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,298评论 3 412
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,072评论 0 268
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,491评论 1 306
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,795评论 2 328
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,970评论 1 341
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,654评论 4 337
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,272评论 3 318
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,985评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,223评论 1 267
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 46,815评论 2 365
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 43,852评论 2 351

推荐阅读更多精彩内容