全链路追踪意味着能够追踪到每一个调用请求的完整调用链路、收集性能数据并反馈异常。Databend 使用 tracing 赋能可观测性，实现全链路追踪。
Databend 与 Tracing
初步了解 Databend 怎么实现全链路追踪。
初识 Tracing
Tracing 是由 Tokio 团队维护的 Rust 应用跟踪框架，用来收集结构化的、基于事件的诊断信息。
项目地址：https://github.com/tokio-rs/tracing
示例：
use tracing::{info, Level};
use tracing_subscriber;
fn main() {
let collector = tracing_subscriber::fmt()
// filter spans/events with level TRACE or higher.
.with_max_level(Level::TRACE)
// build but do not install the subscriber.
.finish();
tracing::collect::with_default(collector, || {
info!("This will be logged to stdout");
});
info!("This will _not_ be logged to stdout");
}
Databend 中的 Tracing
Databend 的 tracing-subscriber 被统一整合在 common/tracing，由 query 和 meta 共用。
// Use env RUST_LOG to initialize log if present.
// Otherwise use the specified level.
let directives = env::var(EnvFilter::DEFAULT_ENV).unwrap_or_else(|_x| level.to_string());
let env_filter = EnvFilter::new(directives);
let subscriber = Registry::default()
.with(env_filter) # 根据环境变量过滤
.with(JsonStorageLayer) # 利用 tracing-bunyan-formatter 格式化为 json
.with(stdout_logging_layer) # 标准输出
.with(file_logging_layer) # 输出到文件，默认位于 `_logs` 目录下
.with(jaeger_layer); # opentelemetry-jaeger
#[cfg(feature = "console")]
let subscriber = subscriber.with(console_subscriber::spawn()); # tokio console
tracing::subscriber::set_global_default(subscriber)
.expect("error setting global tracing subscriber");
具体到内部的 tracing 记录，大致有两类：
- 普通：与其他 log 方式一样，利用 info!、debug! 来收集信息。
use common_tracing::tracing;
tracing::info!("{:?}", conf);
tracing::info!("DatabendQuery {}", *databend_query::DATABEND_COMMIT_VERSION);
- Instruments：在调用函数时创建并进入 tracing span（跨度），span 表示程序在特定上下文中执行的时间段。
use common_tracing::tracing::debug_span;
#[tracing::instrument(level = "debug", skip_all)]
async fn read(&mut self) -> Result<Option<DataBlock>> {
...
fetched_metadata = read_metadata_async(&mut self.reader)
.instrument(debug_span!("parquet_source_read_meta"))
.await
.map_err(|e| ErrorCode::ParquetError(e.to_string()))?;
...
}
示例：
{
"v": 0,
"name": "databend-query-test_cluster@0.0.0.0:3307",
"msg": "Shutdown server.",
"level": 30,
"hostname": "dataslime",
"pid": 53341,
"time": "2022-05-11T00:51:56.374807359Z",
"target": "databend_query",
"line": 153,
"file": "query/src/bin/databend-query.rs"
}
观测 Databend 追踪的方式
Databend 原生提供了多种观测方式，以方便诊断和调试：
http tracing ：访问 localhost:8080/v1/logs（根据配置）
stdout/filelog ：检查终端输出或 _logs 目录（根据配置）
system.tracing 表 ：执行 select * from system.tracing limit 20;
jaeger ：运行 jaeger ，访问 http://127.0.0.1:16686/
console ：按特定方式构建后，运行 tokio-console
Jaeger 分布式追踪
使用 Jaeger 对 Databend 进行全链路追踪。
Opentelemetry & Jaeger
OpenTelemetry 是工具、API 和 SDK 的集合。使用它来检测、生成、收集和导出遥测数据（度量、日志和追踪），以帮助您分析软件的性能和行为。Jaeger 是一个开源的端到端分布式追踪系统。由 Uber 捐赠给 CNCF 。它可以用于监视基于微服务的分布式系统，提供以下能力：
- 分布式上下文传播
- 分布式事务监视
- 根本原因分析
- 服务依赖性分析
- 性能/延迟优化
Step by Step
遵循下述步骤，即可使用 Jaeger 探索 Databend ：
- 构建二进制程式：cargo build（可以使用 --bin 指定）
- 将日志级别设定为 DEBUG ，运行需要调试的应用程式。例如，LOG_LEVEL=DEBUG ./databend-query
- 运行 jaeger ：docker run -d -p6831:6831/udp -p6832:6832/udp -p16686:16686 jaegertracing/all-in- one:latest
- 打开 http://127.0.0.1:16686/ 以查看 jaeger 收集的信息
结果探索
x 轴是执行时刻，y 轴是持续的时间，圆点反映 span 的聚集程度。
执行下述语句即可得到上图所示追踪结果：
CREATE TABLE t1(a INT);
INSERT INTO t1 VALUES(1);
INSERT INTO t1 SELECT * FROM t1;
Timeline
下图是点击最大的圆点得到的追踪情况：
使用 timeline 模式来展现 tracing 的各个跨度之间的关系。以时间为主线进行分析,方便使用者观看在某个时间点观看程序信息。
点开第一个跨度，可以看到这是执行 INSERT INTO t1 SELECT *FROM t1 查询时的情况。
Graph
切换到 graph 模式，可以看到各个 span 之间的调用链，每个 span 具体用时 ,以及百分比。
通过这个视图使用者很容易知道系统瓶颈,快速定位问题。
Compare
连起来的各个部分形成整个 trace 的调用链。因为比较时一般会比较两个相同类型的调用，所以看到的会是重合后的视图。
对于颜色的一个说明：
- 深绿色，表示这个 span 只存在于 trace-B 中，A 没有这个 span
- 深红色，表示这个 span 只存在于 trace-A 中，B 没有这个 span
- 浅绿色，表示这个 span 在 trace-B（右边这个）的数量多
- 浅红色，表示这个 span 在 trace-A（左边这个）的数量多
tokio-console 诊断
tokio-console 诊断
tokio-rs 团队出品的诊断和调试工具，可以帮助我们诊断与 tokio 运行时相关的问题。
console 是什么
tokio-console 是专为异步程序设计的调试与诊断工具，能够列出 tokio 的任务，提供对程序的任务和资源的实时、易于导航的视图，总结了它们的当前状态和历史行为。主要包含以下组件：
- 传输诊断数据的协议
- 用于收集诊断数据的仪器
- 当然，用于展示和探索诊断数据的实用工具\
项目地址：https://github.com/tokio-rs/console
Step by Step
- 使用特定的 rustflags 和 features 来构建：RUSTFLAGS="--cfg tokio_unstable" cargo build --features tokio-console ，也可以只构建单个二进制程式，使用 --bin 进行指定。
- 将日志级别设定为 TRACE ，运行需要调试的应用程式 LOG_LEVEL=TRACE databend-query 或者 databend-meta --single --log-level=TRACE。可以使用 TOKIO_CONSOLE_BIND 指定端口，以避免潜在的端口抢占问题。
- 运行 tokio-console，默认连接到 http://127.0.0.1:6669
结果探索
任务
先看什么是 tokio 任务：
- 任务是一个轻量级的、非阻塞的执行单元。类似操作系统的线程，但是是由 tokio 运行时管理，一般叫做“绿色线程”，与 Go 的 goroutine，Kotlin 的 coroutine 类似。
- 任务是协同调度的。大多数操作系统实现抢占式多任务。操作系统允许每个线程运行一段时间，然后抢占它，暂停该线程并切换到另一个线程。另一方面，任务实现协同多任务。一个任务被允许运行直到它让出执行权，运行时会切换到执行下一个任务。
基础视图
通过左右切换，可以得到总忙时间或轮询次数等指标对任务进行排序。控制台通过高亮来提示较大差异，比如从毫秒到秒的切换。
控制台还实现了一个“警告”系统。通过监视应用程序中任务的运行时操作，控制台可以检测可能提示 bug 或性能问题的行为模式，并突出显示这些行为模式供用户分析。比如已经运行了很长时间而没有让步的任务，唤醒的次数比被其他任务唤醒的次数还要多的任务。
任务视图
上下切换选中任务，enter 查看关于每个任务的翔实数据，比如轮询持续时间的直方图。
不仅列出任务。console 还会插入异步互斥和信号量等资源。Tokio Console 的资源详细信息视图显示了哪些任务已经进入临界区，哪些任务正在等待获得访问权限。
还能做什么
还能做什么
与分布式追踪和日志系统相关的一些其他内容。
可观测性 + +
目前还有一系列关于可观测性和 Tracing 的 Issue 有待解决：
- Integrate tokio metrics for query task based tokio runtime monitoring #4205
- Configure on jaeger tracing address similar to metrics api server #3633
- Summary of todos about distributed tracing #1227
- Query traces and analysis, based on user behavior. #1177
- Http stack traces #1085
- Shuffle read/write metrics #1004
另外，更进一步的考量是，如何基于可观测性来自动/半自动地发现问题并对系统进行调优。了解更多
了解更多
Tracing
Jaeger
tokio-console
