一次服务器异常事件记录 Ubuntu ntpd进程cpu利用率过高

笔者ubuntu小小小白,p都不懂。现在问题虽然解决了,但是仍然不知道是怎么造成的,应该怎么加密端口,是不是被弄成矿机了。。。只能常备份文件多观察系统状态了。


操作系统: Ubuntu 16.04

问题:一个叫ntpd的进程占用cpu利用率过高

top截图
htop截图

pid 4313显示ntpd,用了400%的cpu。

Network Time Protocol daemon(ntpd) 常驻进程,应该是用来对时的。我尝试kill 4313进程,过不了几秒钟,这个进程换了一个pid,又出来了。重启系统该进程自动启动。当时第一反应是进程可能自己死循环了。。

上网学习了一下ubuntu的ntpd相关,找到了有人有macOS的类似问题,有可能是对时的进程链到旧的server上了[1][2]。所以我打开settings -> date & time ->  Automatic Date & Time, Automatic Time Zone, 没有效果。Cpu利用率还是居高不下。失败!

后来看stackoverflow上有人说ntpd有很多种,Ubuntu默认用的不是ntp/ntpd,而应该是叫ntpdate(当然到现在我也不知道这是不是真的),并且建议用命令设置ntpd[3]。这时候我发现我没有ntp/ntpd/ntpq的命令:

man ntpd # No manual entry for ntpd

which ntpd  #显示为空,我根本没安装ntpd

我本以为这种对时的东西是系统里自带的,在找安装包的时候发现也没有:

dpkg -l | grep ntp  #只有这个显示有Network Time Protocol Daemon,ntpd没有

我以为ntp,ntpd这些东西是相互调用的,因为我没装ntpd所以出问题了,于是我就

sudo apt-get install ntpd

安装上了这个包,重启了服务器。结果cpu还是400%居高不下。失败!于是又删了。


再深入调查的时候发现有点不对头了。。没有安装东西在运行,怎么可能呢?

终于在中文网站找到了有人和我一样的问题,root下的ntpd利用率过高[4].  他最后的结论是被攻击了。于是我按照他的步骤一步一步做(有些当时没截图已经找不到了,就笔录了):

ps -ef | grep ntpd  #输出有一个root下的进程

但是没有/usr/sbin/ntpd这东西。

pstree -p  #显示开了8个进程(kill了以后又自动生成了14503的ntpd进程,仍然占400%cpu)


pstree -p截图

跟上面网站里的人遭遇很相似。

在进程目录下找执行的程序:

cd /proc/14503

sudo ls -l exe

输出:

定位到执行文件

strace的输出,看不懂。。但是应该不是什么好东西。。因为和那哥们儿的输出结果类似:

sudo strace -p

sudo strace -cp

找到 /cpu/,只有/bin一个文件夹,里面是些实行文件和奇奇怪怪的东西,“?”文件是啥。。有的打开了也看不了。。

这里面也有cron.d文件。虽然看不懂,但是估计伪装进程的程序都在这儿了。

把bin文件夹全TM删了,杀掉进程:

sudo rm -rv bin

sudo kill 14503

cpu利用率回复了,并且进程没有再复活。


目前没有重启,不知道删没删干净,会不会重启后再次出现。htop的界面一直开着观察。



ref: 

1, https://discussions.apple.com/thread/7390949

2, https://apple.stackexchange.com/questions/275453/macos-ntpd-uses-more-than-100-of-cpu

3, https://askubuntu.com/questions/254826/how-to-force-a-clock-update-using-ntp

4, https://lax.v2ex.com/t/471499

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 212,029评论 6 492
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 90,395评论 3 385
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 157,570评论 0 348
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 56,535评论 1 284
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 65,650评论 6 386
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 49,850评论 1 290
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,006评论 3 408
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 37,747评论 0 268
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,207评论 1 303
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,536评论 2 327
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,683评论 1 341
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,342评论 4 330
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 39,964评论 3 315
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,772评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,004评论 1 266
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 46,401评论 2 360
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 43,566评论 2 349

推荐阅读更多精彩内容