名词解释
项目(Project)
日志服务中的资源管理单元,用于资源隔离和控制
日志空间(Logstore)
是日志服务中日志数据的采集、存储和查询单元。
机器组
需要采集数据的服务器。需要先在服务器中安装 Logtail客户端。
机器组心跳
反应采集日志的服务器与日志服务之间的通讯是否正常
Logtail客户端
客户端根据日志路径、日志规则等 Logtail配置 在服务器中采集日志,并将日志发送到 日志空间。
Logtail配置
记录日志采集的规则,包括 日志路径、日志格式、日志时区等。
配置流程
1. 根据阿里云的 接入数据 流程,将 项目、日志空间、机器组、Logtail配置 设置好。
2. 机器组中包含服务器装上 Logtail客户端。
如果服务器是阿里云ECS,同时ECS和日志服务的Project位于同一区域,则可以使用该方式。
- 通过公网下载 Logtail 安装器
wget http://logtail-release-cn-hangzhou.oss-cn-hangzhou.aliyuncs.com/linux64/logtail.sh -O logtail.sh;chmod 755 logtail.sh
- 使用auto参数进行安装。
./logtail.sh install auto
- 添加阿里云账号白名单
如果ECS与日志服务不属于同一个阿里云账号,则需要执行该步骤
现在服务器安装了数据采集工具Logtail,服务器能将日志向外发送了。由于我们不希望不属于我们的账号能拿到这个日志,所以需要配置一个类似白名单的东西,告诉Logtail哪个阿里云账号能从我这里获取日志(当前ECS所属阿里云账号无需手动加入白名单)。
登录日志服务所在阿里云账号,在个人中心中找到并复制 账号ID。进入待采集数据的ECS,创建白名单:
# 把 ${AliUid} 替换为上面复制的 账号ID
touch /etc/ilogtail/users/${AliUid}
更多白名单配置上的问题,查看:参考文档
配置完后,需登录阿里云的日志服务,查看该机器组有没有心跳。
无心跳的情况可通过Logtail快速诊断工具查找原因。文档
3. 至此准备工作已完成
进入日志服务->项目->日志空间,即可查看配置结束后的新增的数据。
导入历史日志文件
Logtail默认只采集增量的日志文件
Logtail基于事件进行文件采集,事件通常由监听或定期轮询文件修改产生。除以上方式外,Logtail还支持从本地文件中加载事件,以此驱动日志采集。历史文件采集就是基于本地事件加载实现的功能。具体导入步骤查看:导入历史日志文件
注:导入成功后,Logtail的诊断页面,会出现一条错误类型为 LOAD_LOCAL_EVENT_ALARM 的错误。这是正常现象,文档中有写明:
由于加载本地配置属于特殊行为,Logtail会向服务器发送LOAD_LOCAL_EVENT_ALARM以提醒用户。