fluentd out_forward翻译

td-agent server配置
官网：http://docs.fluentd.org/articles/out_forward
翻译：
out_forward缓冲输出插件将事件转发到其他fluentd节点。此插件支持负载平衡和自动故障转移（又名主动 - 主动备份）。对于复制，请使用out_copy插件。

out_forward插件使用“φaccrual failure detector”算法检测服务器故障。您可以自定义算法的参数。当服务器故障恢复时，插件使服务器在几秒钟后自动可用。

out_forward插件支持最多一次和至少一次语义。默认值为最多一次。
{请勿在没有安全连接的情况下使用此插件进行DC或公共互联网数据传输。所有数据未加密，并且此插件不是为高延迟网络环境设计的。如果需要节点之间的安全连接，请考虑使用in_secure_forward。}

Example Configuration:
out_forward包含在Fluentd的核心中。无需额外的安装过程。
<match pattern>
@type forward
send_timeout 60s
recover_wait 10s
heartbeat_interval 1s
phi_threshold 16
hard_timeout 60s

<server>
name myserver1
host 192.168.1.3
port 24224
weight 60
</server>
<server>
name myserver2
host 192.168.1.4
port 24224
weight 60
</server>
...

<secondary>
@type file
path /var/log/fluent/forward-failed
</secondary>
</match>

Parameters
类型（必需）

该值必须为forward。

<server>（至少需要一个）

目标服务器。每个服务器必须具有以下信息。

name：服务器的名称。此参数用于错误消息。
host（必需）：服务器的IP地址或主机名。
port：主机的端口号。默认值为24224.请注意，TCP数据包（事件流）和UDP数据包（心跳消息）都会发送到此端口。
重量：负载平衡重量。如果一个服务器的权重为20，另一个服务器的权重为30，则事件以2：3的比率发送。默认权重为60。
require_ack_response

将协议更改为至少一次。插件等待来自目标的in_forward插件的ack。

ack_response_timeout

当require_ack_response为true时，使用此选项。默认值为190.此默认值基于常用的tcp_syn_retries。

如果设置为0，这个插件不等待ack响应。
<secondary>（可选）

所有服务器不可用时使用的备份目标。
send_timeout

发送事件日志的超时时间。默认值为60秒。

recover_wait

接受服务器故障恢复之前的等待时间。默认值为10秒。

心跳类型

用于心跳的传输协议。默认值为“udp”，但您也可以选择“tcp”。设置“none”以禁用心跳。

heartbeat_interval

心跳包装器的间隔。默认值为1秒。

phi_failure_detector

使用“Phi应计故障检测器”检测服务器故障。默认值为true。

phi_threshold

用于检测服务器故障的阈值参数。默认值为16。

hard_timeout

用于检测服务器故障的硬超时。默认值等于send_timeout参数。

standby
将节点标记为Fluentd节点之间的活动 - 备用模型的备用节点。当活动节点关闭时，备用节点将升级到活动节点。在此之前，out_forward插件不使用备用节点。

<match pattern>
@type forward
...

<server>
name myserver1
host 192.168.1.3
weight 60
</server>
<server> # forward doesn't use myserver2 until myserver1 goes down
name myserver2
host 192.168.1.4
weight 60
standby
</server>
...
</match>
expire_dns_cache

设置TTL以秒为单位过期DNS缓存。设置为0不使用DNS缓存。默认值为nil（表示持久性缓存）。

dns_round_robin

启用客户端DNS轮循。统一随机选择IP地址以在主机名具有服务器IP地址时发送数据。

Buffered Output Parameters
对于高级用途，您可以使用这些参数调整Fluentd的内部缓冲机制。

buffer_type

默认情况下，缓冲区类型是内存（buf_memory）。也可以选择文件（buf_file）缓冲区类型。如果使用文件缓冲区类型，则需要使用buffer_path参数。

buffer_queue_limit，buffer_chunk_limit

块队列的长度和每个块的大小。请参阅缓冲区插件概述文章了解基本缓冲区结构。默认值分别为64和8m。后缀“k”（KB），“m”（MB）和“g”（GB）可以用于buffer_chunk_limit。

flush_interval

数据刷新之间的间隔。默认值为60s。可以使用后缀“s”（秒），“m”（分钟）和“h”（小时）。

flush_at_shutdown

如果设置为true，Fluentd会在关闭时等待缓冲区刷新。默认情况下，它对于内存缓冲区设置为true，对于文件缓冲区设置为false。

retry_wait，max_retry_wait

写重试之间的初始和最大间隔。默认值为1.0秒，未设置（无限制）。间隔加倍（+/- 12.5％随机性），每次重试，直到达到max_retry_wait。在默认配置中，最后一次重试等待大约131072秒，大约36小时。

retry_limit，disable_retry_limit

缓冲数据之前的重试次数的限制被丢弃，并且有一个选项禁用该限制（如果为true，则忽略retry_limit的值，没有限制）。默认值为17和false（不禁用）。如果达到限制，则丢弃缓冲数据，并将重试间隔重置为其初始值（retry_wait）。

num_threads

刷新缓冲区的线程数。此选项可用于将写入并行到输出插件指定的输出中。增加线程数可提高刷新吞吐量，以隐藏写入/网络延迟。默认值为1。

slow_flush_log_threshold

用于检查块冲洗性能的阈值。默认值为20.0秒。注意，参数类型是float，而不是时间。

如果chunk flush需要比这个阈值更长的时间，fluentd日志警告消息如下：

2016-12-19 12:00:00 +0000 [warn]：缓冲区刷新花费的时间比slow_flush_log_threshold更长：elapsed_time = 15.0031226690043695 slow_flush_log_threshold = 10.0 plugin_id =“foo”
log_level选项

log_level选项允许用户为每个插件设置不同级别的日志记录。支持的日志级别是：致命，错误，警告，信息，调试和跟踪。

故障排除
“没有节点可用”

请确保您可以使用不仅TCP，而且UDP与端口24224通信。这些命令将有助于检查网络配置。

有关更多详细信息，请参阅日志记录文章。
$ telnet host 24224
$ nmap -p 24224 -sU主机
请注意，有一个已知的问题，VMware会偶尔丢失用于心跳的小UDP数据包。 td-agent server配置
官网：http://docs.fluentd.org/articles/out_forward
翻译：
out_forward缓冲输出插件将事件转发到其他fluentd节点。此插件支持负载平衡和自动故障转移（又名主动 - 主动备份）。对于复制，请使用out_copy插件。