记一次排查服务器被挖矿记录_如何判断服务器被挖

背景

1. 服务器是在本地，通过云服务器透传访问的
2. 前面已经出现几次被挖矿，导致模型训练很慢，以前仅仅kill完事

下面仅记录 找+删 执行文件，为何被侵入还没懂

情况及处理步骤

显卡被占用

输入

watch -d -n 1 nvidia-smi
1

发现有程序将GPU占用100%（正常人写的模型很难一直100%吧，总要跟磁盘、CPU交互，暂停GPU）

查询执行用户

输入

ps -ef | grep 20453
1

下面是我找到文件后，重新执行，复现的，pid不是同一个（原来的kill忘截图了）

可以看到，程序名还搞的python3，贼鸡贼

找程序的文件位置

输入

cd /proc/20453
ll -l exe  
1
2

这文件位置藏得深，名字也是极具欺骗

查看文件情况

可以看到有4个文件

1. main.js*
2. python*
3. train.py
4. x*

【后面我直接把这个文件复制到home下，珍藏起来慢慢看，然后把源位置的文件删除了】

文件分析查看

到珍藏位置看文件情况

python:是个挖矿程序
x:貌似是个伪装程序名的工具，提供各种name、用户名修改
train.py：只是存pid号
main.js：执行脚本。包含伪装程序（python3）、pid保存文件制定（train.py）、挖矿程序python、以太坊的矿池、用户地址

如果想复现，执行

./main.js
1

思考

1. 看文件日期，挖矿的文件在7月就放到我主机了，那次好像也有挖矿的
2. 看了我用户下的history，看不到执行的命令，难道被删了
3. 我用户的密码才改，强度还阔以，暴力没那么容易，怀疑是有root权限的账号被破解了，进入我的账号执行的
4. 查看了lastb，有很多暴力破解ssh 的记录，一直有。除了改密码暂时不晓得咋应对