场景：线上服务因为某些原因宕机了n小时，导致一大堆的数据有问题，日志中有把关键信息打出来，问如何修复数据？

思路：把日志中所有的关键信息都找出来，然后重新处理消息，比如消费者重新消费。那么问题就是：怎么把所有的消息都找出来？下面根据日志的存储介质分两种情况讲解。

一、日志在服务器的log文件中

1. 根据关键字定位某条日志

16:10:16.909 [ERROR] [Thread: http-nio-9530-exec-6340] com.xxx.xxx.xxx.xx.web.controller.PayController:165 
- PAY refundOrderV3 fail, dbId = 11111, refundReq={"orderid":1111,"refundid":0,"refundFee":540,"reason":
"xxxx","payway":null,"mchid":null,"appid":null,"orderidPrefix":null}, responseMap = {"refundFee":"540",
"orderid":"1111","refundorderid":"1111","transactionid":"1111"}

假如我们根据相关的id定位到了这样一段日志，现在我们要找出所有报这个错的日志，并且把 refundReq=后面那串json给截取下来，有了这串json，我们就可以重新去请求 refundOrderV3方法。

2. 找出所有报这个错的日志

cat xxx-error.log.xxx | grep  'PayController:165 - PAY refundOrderV3 fail'

我们直接cat对应日期的日志文件，然后grep关键字即可，这样就会列出所有报这个错的日志。

3. 截取日志

但其实我们要的不是这一整段日志，而是要refundReq=之后，responseMap之前的那一串json，所以要对日志进行截取。那么可以使用 awk和sed命令。

方式一：cat xxx-error.log.xxx  | grep 'PayController:165 - PAY refundOrderV3 fail' | awk -F 'refundReq=' '{print $2}' | sed 's/, responseMap.*//'
方式二：cat xxx-error.log.xxx | grep 'PayController:165 - PAY refundOrderV3 fail' | awk -F 'refundReq=' '{print $2}' | awk -F ', responseMap' '{print $1}'

这里解释一下这条命令的意思，先grep命令拿到所有报这个错的日志，用 awk -F '分割标志' '{print $需要分割的第几段}'命令进行分割，这里就是根据refundReq=分割，在它之前的是1，之后的是2，我们要取之后的，因此是{print $2}，拿到的结果就是：

{"orderid":1111,"refundid":0,"refundFee":540,"reason":"xxxx","payway":null,"mchid":null,"appid":null,"orderidPrefix":null}, 
responseMap = {"refundFee":"540","orderid":"1111","refundorderid":"1111","transactionid":"1111"}

我们还想把, responseMap之后的内容去掉，两种思路：

• 把, responseMap之后的内容替换成空白字符，即用sed命令实现。sed 's/内容/新内容/'，要替换的是 , responseMap之后的所有内容，那就用, responseMap.*，新内容是空白字符，所以直接空着就行，因此就是：sed 's/, responseMap.*//'。
• 针对第一次awk拿到的内容，再awk分割一下，根据, responseMap分割，这次我们要取它之前的内容，因此是awk -F ', responseMap' '{print $1}'。
  这样就可以轻松拿到所有所需要的json串了。

4. 输出到文件

直接用 > xxx.log命令，将刚才命令的执行结果输出到xxx.log文件中。

cat xxx-error.log.xxx  | grep 'PayController:165 - PAY refundOrderV3 fail' | awk -F 'refundReq=' '{print $2}' | sed 's/, responseMap.*//' > xxx.log

拿到这个文件，就好处理了，可以用notepad++之类的工具，根据需要进行操作，比如在每一行的前面加 curl 之类的命令，然后文件名改成 xxx.sh，回传到服务器执行就好了。

二、日志在clickhouse中

有人可能要问了，日志在clickhouse中，用不了 linux 的命令，咋整？别慌，问题不大。

1. 查找日志，导出到文件

image.png

比如根据关键字找到的日志如上图所示，我们要截取 msg=后面的那一串，首先点击左上角的双箭头，进入如下页面：

image.png

所有的message