周日的早晨本应该舒舒服服睡个懒觉,然而自从有了孩子以后就再也没有享受过如此待遇。7点多揉着朦胧的睡脸的到隔壁屋子拿起正在充电的手机,发现有个未接来电,时间凌晨1:30,某东打来的,小心脏咚的一声,然后菊花一紧…隐隐感觉要出事,赶紧一个电话拨了过去…
一个小前奏:昨天带儿子去上英语课,途中接到隔壁老王电话,有台oracle数据库挂了,牵连了几个直接用oracle的系统,间接的影响了其他有业务关联的系统…事情有点严重,关键是没人能够恢复这个受伤的数据库…挂了电话赶紧登录一把,系统确实访问不了了,心里一阵慌乱,定了定神,系统烂了找厂家找开发,服务器down了找运维,我一个搞需求的操啥心…或许是自己已然成了惊弓之鸟…过了几分钟,群里有人报系统访问不了…又过了几分钟运维回复系统恢复了,又赶紧登录一把,确实正常了…这才踏实的把孩子送到教室去…
早上打通了某东电话,显然是还没睡醒的声音。大意是试运行的a系统有两个服务,频繁操作数据库,把oracle拖挂了,最终影响了所有使用该数据库的系统。问题排查过程也是遇到了各种奇葩的事:
1、a系统用了b系统数据库账号连了oracle…
2、a系统服务用了b系统用户名c…
3、把用户名为c的服务器关了居然仍然存在c用户连接数据库…
4、再一查,有n个用户名为c的克隆机…
最终根据ip找到了那台有问题的服务器,停了之后整个世界终于都清净了…索性这次事件没有造成太大影响,但临近结束某东强调要时刻保持电话处于待机状态…
个人心里有太多羊驼在嚎叫。鸡蛋不能放在一个篮子里是大家都知道的道理;如果确实篮子有限,为何不给篮子上几个保险措施,篮子破了也不至于鸡蛋全打了;拎鸡蛋的明明是个孩子,还要弄那么多给他拎着…
仰天长叹,自己略用过几年oracle,只是懂点增删改查,前段时间浅研了下oracle下的sql性能调优,面对oracle挂了这事确实还是束手无策。或许真的该好好学习下,对于一个33岁的过气程序员,做个oracle数据库dba也不失为一条好的去路…