前言
业余之外,个人负责一个网站的技术支持:ssk字幕组
该站点近期出现故障,记录一下该故障的解决过程。
问题
五一假期的早上，字幕组的校对找我。
我尝试访问了下网站,果然挂了。
解决
- 先确保服务是否异常。该网站是基于apache+php+mysql 开发的。
依次检查服务是否正常工作。
ps -aux | grep 80
ps -aux | grep 3306
我执行之后发现3306异常。mysql服务挂了。
- 查询mysql服务故障日志。
mysql的错误日志在哪里？这是个难点。- 首先去寻找mysql的配置文件。查看配置文件是否记录。
mysql的配置文件名字是my.cnf
- 首先去寻找mysql的配置文件。查看配置文件是否记录。
find / -name my.cnf 常用的查询文件
locate my.cnf 速度快。我推荐这个。
执行之后,会出现文件列表。
[root@iZ226c7td97Z ~]# locate my.cnf
/etc/my.cnf
/etc/my.cnf.old
/root/conf/com_my.cnf
/root/conf/innodb_my.cnf
/root/conf/my.cnf
/root/conf/vps_my.cnf
....
mysql的配置文件生效规则是
1、mysql启动时直接指定的具体参数
2、mysql 启动时直接指定位置的配置文件，优先级次
3、mysql 数据目录下的my.cnf 文件
4、mysql 读取 /etc/my.cnf
5、mysql 默认的参数
这里我依次查看了配置文件。没有找到错误日志的文件位置。
- 登录mysql。去查询配置。
root@iZ226c7td97Z ~]# mysql -uroot -p
Enter password:
Welcome to the MySQL monitor. Commands end with ; or \g.
Your MySQL connection id is 20549
Server version: 5.5.27 Source distribution
Copyright (c) 2000, 2011, Oracle and/or its affiliates. All rights reserved.
Oracle is a registered trademark of Oracle Corporation and/or its
affiliates. Other names may be trademarks of their respective
owners.
Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.
mysql> show variables like 'log_%';
+---------------------------------+-----------------------------------------+
| Variable_name | Value |
+---------------------------------+-----------------------------------------+
| log_bin | OFF |
| log_bin_trust_function_creators | OFF |
| log_error | /www/sites/mysql/var/iZ226c7td97Z.err |
| log_output | FILE |
| log_queries_not_using_indexes | OFF |
| log_slave_updates | OFF |
| log_slow_queries | OFF |
| log_warnings | 1 |
+---------------------------------+-----------------------------------------+
8 rows in set (0.00 sec)
mysql>
其中log_error就是日志位置。
- 浏览错误日志，寻找出错的原因。
浏览的时候,发现70408 23:40:15 InnoDB: Fatal error: cannot allocate memory for the buffer pool
说明是分配内存失败，导致异常。
使用下面的命令可以查看系统内容。
[root@iZ226c7td97Z ~]# free -m
total used free shared buffers cached
Mem: 996 822 173 0 122 293
-/+ buffers/cache: 406 589
Swap: 0 0 0
服务器配置很低,内存不太足。
问题已经找到了。这里可以解决的方法那就是升级内存配置即可。
这里选择暂时不升级。直接重启mysql服务即可。
/etc/init.d/mysqld start
其他问题
在解决这个问题的过程中,遇到一个问题，忘记了root用户密码。
于是需要找回下root密码。这个问题费时较久。遇到一些坑。记录一下。
该站点的服务器使用了wdcp进行管理。而wdcp提供了找回密码的工具。
路径是 /www/sites/wdlinux/tools下。
[root@iZ226c7td97Z wdlinux]# cd tools/
[root@iZ226c7td97Z tools]# ls
httpd_restart.sh mysql_root_chg.sh mysql_wdcp_chg.sh pureftp_conf_check.sh wdcp_cdip.sh wdcp_disk_xvdb.sh wdcp_env.sh wdcp_login_cbip.sh wdcp_login_chp.sh wdcp_ntp.sh wdcp_perm_check.sh web_logs.sh
其中mysql_root_chg.sh 就是找回root密码。
这个工具在我这里无法正常工作。这里我的wdcp版本wdcp_v2.5.15(20150826)
[root@iZ226c7td97Z tools]# ./mysql_root_chg.sh
Running..., Please Wait...
ERROR 2002 (HY000): Can't connect to local MySQL server through socket '/tmp/mysql.sock' (2)
Change root password is OK
Current root password is:DlprEUad
于是我这里选择另外一个方法找回密码。
找回mysql的root密码通用方案。
- 先停止mysql服务。
ps -aux | grep 3306
ps -aux | grep mysql
kill -9 pid
- 以不检查权限的方式启动mysql
/www/sites/wdlinux/mysql/bin/mysqld_safe -skip-grant-tables &
- 此时登录root不需要密码.
mysql -u root
MySQL> update mysql.user set password=PASSWORD('新密码') where User='root';
MySQL> flush privileges;
MySQL> quit
- 停止mysql服务。以正常模式启动。即可了。
意外情况
原本整个过程很流畅。我遇到一个异常情况:
重置后的root密码无法登陆普通模式下的mysql。
经过检查,发现正常启动的mysql服务和跳过权限的mysql服务数据不一致。
我猜测是datadir不同导致的.查看配置文件/etc/my.cnf 没有配置该参数。
于是这里我先使用普通账号登录数据库。找到datadir的配置。
show variables like 'data%';
+---------------+-------------------------+
| Variable_name | Value |
+---------------+-------------------------+
| datadir | /www/sites/wdlinux/mysql/var/ |
+---------------+-------------------------+
1 row in set (0.00 sec)
然后将该配置写入/etc/my.cnf
mysqld]
port = 3306
socket = /tmp/mysql.sock
datadir=/www/sites/wdlinux/mysql/var
再次按上面的步骤操作。结果成功。
最后
获得认可还是很开心的。
