引子
最近笔者在项目中用到了opentsdb，用于存放采集数据指标，并提供实时的图表、曲线展示功能。
opentsdb提供了自己的指标收集工具tcollector，故事就要从这里说起。
tcollector解决不了的事
笔者编写了一个抓包程序，用于实时分析MySQL中的请求情况，每10秒会输出一行记录到日志文件中，数据内容包括：
- 时间点
- 查询次数，查询响应时长，查询错误次数，查询影响的行数
- 插入次数，插入响应时长，插入错误次数，插入影响的行数
- ......
总之，指标我放到一个日志文件了，如果用tcollector去做的话，要采集这些指标就非常困难了。
主要的实现思路和要解决的问题有：
- 文件变化通知
- 新的日志文件的发现和通知
- 每个文件上次处理的位置的记录
- 接到文件和目录变化通知后，需要根据文件上次处理的位置来读取新的数据，并输出到opentsdb
- 解决tcollector重启问题，需要持久化每个文件上次处理的位置记录信息
笔者开始确实写了一个版本出来，测试跑起来也没问题，但是批量上线后发现有大量的无法工作，笔者有些气馁了。因为大家都知道，上面的东西都是logstash的强项。
于是决定用logstash来解决这个问题。
logstash解决问题
缺省情况下logstash是没有opentsdb的插件的，需要下载插件并进行安装，我们可以在github上找到logstash-output-opentsdb插件，并按照官方知道的安装方法，把logstash-output-opentsdb插件进行安装。因为logstash的每个官方插件的README文件都介绍了具体安装步骤，笔者这里就不赘述了。
logstash-output-opentsdb插件存在的问题
安装好了插件，笔者于是写好配置文件，启动logstash。
output {
opentsdb {
host => "127.0.0.1"
port => 4242
metrics => [
"%{metris_name}",
"%{value}",
"ip",
"%{ip}",
"port",
"%{port}"
]
}
}
数据果然进到logstash之中了，一起看起来都很简单顺畅，然而，大家可能也想到了一个问题，数据的时间戳呢？？？，我们并没有输入时间戳，那么插件是否帮我们正确的完成了呢？
这里就不得不检查一下插件的代码，这里我只展示关键的部分：
# The first part of the message
message = ['put',
event.sprintf(name),
event.sprintf("%{+%s}"),
event.sprintf(value),
].join(" ")
从上面的代码我们可以看出，该插件在每次输出metrics到opentsdb时，实时生成时间戳。这显然无法达到笔者的目的，而且在多数据日志抓取中，都会存在日志文件中已经有自己的时间戳，这时候希望输出到opentsdb的数据的时间戳是该日志中的时间戳。否则，一旦因为某些原因logstash重启，需要处理历史日志数据的时候，真实生成的时间戳数据就会与我们期望的大相近庭了。
改造logstash-output-opentsdb插件
从前面的代码看起来，我们除了改造以外，别无他法。
首先，logstash本身自带了@timestamp，而且是一个通用的变量；
其次，logstash提供了各种版本可以修改@timestamp的值；
所以，笔者决定在输出的时候，直接输出@timestamp的值作为opentsdb指标的时间戳。
改动的代码很简单，如下所示：
# The first part of the message
message = ['put',
event.sprintf(name),
event.get("@timestamp").to_i.to_s,
event.sprintf(value),
].join(" ")
当然我们还需要捕获日志中的时间，方法很多，这里列举一个例子：
grok {
match => [ "message", "^%{NUMBER:@timestamp}" ]
}
上述改造后的logstash-output-opentsdbb插件，笔者已经在生产系统使用，同时上传到了笔者的github中，如果不想改造的话，可以直接下载使用。
