工作小结(二)

准备入职这家公司,在元旦期间研究了下mirai代码,元旦结束入职的一周就看dpdk的文档,然后看了下example下的几个代码试着修改了下,然后需要写针对tcp相关的syn,ack等发包程序,需要达到一定的性能。对于10Gbits/s的光纤口,小包64字节的,需要达到1480w+每秒,然后写了多线程发包和收包,达不到最佳,然后又改,里面有好些点不是很清楚,随着思考的深入,后来对于一个线程处理一个port的端口,性能就达到要求了,使用这个主要是构造攻击包测试。

第二/三周开发了数据库相关接口并测试;接着就对另外一个同事写的程序,也就是现在做的项目,进行优化;主要是针对框架,业务处理部分进行调优[开始的业务不是很复杂,与目前做的没有重合],一开始使用的是gprof,但不支持多线程,后面改用了perf。原有框架有很大问题,到目前为止一共尝试了五种框架,不断的测试,再加上后面的具体业务,选择了目前的框架,也算是更优的。到目前为止,在业务代码方面的优化主要作了如下几种工作,还算不错的:
1 代码中有很多的判断,比如判断一个包的合法性,把很多的if判断改用了switch;
2 在不改变业务正确性的前提下,尽量减少不必要的计算,比如延迟再计算;
3 怎么合并计算,即利用上一次计算结果来避免后面的计算;
4 充分利用cache,服务器的架构等特点;
5 避免多线程之间的竞争,变量局部化,减少锁的使用等;
6 还有一些关于dpdk自身的一些参数,这个需要不断调整测试;
以上调优过程比较漫长,需要不断的测试与对比,还要保证原有的功能正确。

年后就开始真正的研究常见的攻击手段和防御了。
有攻击才有针对性的防御,是检测到了具体的攻击类型才触发对应的防御策略,前者开发工作量不是很重,有些是想不到的,需要抓取真实的攻击包分析提取特征。防御攻能的开发需要保证不误杀的情况下能防住,不然会被打趴。然后就是具体的策略了,比如对于syn攻击,对于真实源发起的怎么判断,如果是非真实的呢?里面有很多点是需要注意的。

后来经过了两轮线上测试,一次是169G的流量,一次是199G的流量,前一个在测试的时候把一个判断给注释了,资源回收的时候没有考虑其他一些点,所以导致了syn大包没防住,且后面正常业务不通。然后修改了并调整了相关的代码自测,后一次测试最后放行流量为700多兆,其中有些包被网卡miss掉了,在白名单中的能正常业务,非白名单不行,那会框架还是有些问题,且逻辑有点复杂,导致了线程处理不过来。

后来针对以上出现的问题分析制作相应修改,调整框架,分析包的特征,然后在linux上是没问题了,不管是真实源还是非真实的,都能正常处理,且业务正常,后来发现在mac和windows下该特征不同,所以得重新考虑...现在一期差不多完成了,剩下的就是测试和优化,再加上未考虑全面的攻击类型。

怎么说呢,以前对tcp/ip协议方面没有往底层深入了解过,只知道网络编程模型原理和基本的三次握手和四次挥手的过程及一些问题。有次客户端发起连接,发了syn包后,服务器回了个错误的syn ack且并没有checksum[这个过程比较费时],然后客户端没有回rst包,看tcp三次握手的源码时才知道它会先检查checksum,不正确就不会接着检查ack了,接着对错误的ack回rst包,所以服务器这边要checksum,客户端那边checksum正确后检查ack发现不对就回rst包了。

过程中也面试了一些候选人,出了一套基础笔试题,还是感觉基础很重要。

做这个项目成长很多,对知识点和考虑问题不走常规路线,反其道而行,有很大的提升,虽然一天到晚工作,很少看手机,而且就和我和另一位同事在开发,比较紧的,但有些成就感,希望把它做好。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 215,539评论 6 497
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 91,911评论 3 391
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 161,337评论 0 351
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 57,723评论 1 290
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 66,795评论 6 388
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 50,762评论 1 294
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,742评论 3 416
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,508评论 0 271
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,954评论 1 308
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,247评论 2 331
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,404评论 1 345
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,104评论 5 340
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,736评论 3 324
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,352评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,557评论 1 268
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 47,371评论 2 368
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,292评论 2 352

推荐阅读更多精彩内容