Functions Debug 终极指南

作者:冉小龙

审校:Jennifer

编辑:Anonymitaet

阅读本文需要约 10 分钟。

问:什么比七个工作日更让人不爽?

答:第八个(debug)。

image

行话说得好,开发 5 分钟,调试 2 小时。

大兄弟,你咋调试 Pulsar Function 阿?

image

重启?

image

撸鸭?

image

意念?

image

这也太随缘了吧 🤪

image

今天, Apache 龙就来教教大家,debug 是一件多么舒坦的事!🐉

image

--------正经分界线--------

在之前的文章 Java FunctionPython FunctionGo Function 中,向大家详细介绍了如何基于自己的场景快速编写并部署 Pulsar Functions。这篇文章将介绍如何利用 Pulsar 提供的 CLI 对 Functions 进行 Debug。

使用 LogTopic

Pulsar Functions 在设计之初,就考虑到如何对 Pulsar Functions 进行 Debug。

如下图所示,Pulsar Functions 允许用户将自己在 Functions 中定义好的日志信息输出到指定的 LogTopic 中,如果有遇到相关的问题需要从日志信息中获取,用户可以编写 consumer 从指定的 LogTopic 中消费消息,即可查看相关日志信息。

image

具体使用如下:

import org.apache.pulsar.functions.api.Context;
import org.apache.pulsar.functions.api.Function;
import org.slf4j.Logger;

public class LoggingFunction implements Function<String, Void> {
@Override
public void apply(String input, Context context) {
Logger LOG = context.getLogger();

   String messageId = new String(context.getMessageId());

if (input.contains("danger")) {
LOG.warn("A warning was received in message {}", messageId);
} else {
LOG.info("Message {} received\nContent: {}", messageId, input);
}

   return null;

}
}

如上述代码所示:

用户可以通过 context.getLogger() 获取 logger 对象并将其赋值给 slf4j 的 LOG 字段,这样用户就可以使用 LOG 字段在 Pulsar Functions 中定义自己想要的日志信息。

当你有日志信息需要输出时,在启动过程中,需要告诉 Pulsar Functions 你期望将日志信息输出到哪个 topic 中,具体使用如下:

bin/pulsar-admin functions create \

--log-topic persistent://public/default/logging-function-logs \

Other function configs

Functions CLI

除了使用 LogTopic 通过自定义日志信息的方式来追踪 Functions 的问题外,用户还可以通过使用 Functions CLI 对 Pulsar Functions 进行调试。

Pulsar 将 Pulsar Functions 相关的 CLI其集成到 pulsar-admin 中;

使用 ./bin/pulsar-admin 和 Functions,可以执行和 Pulsar Functions 相关的操作。

为了方便用户定位问题,Pulsar Functions 提供了如下几种 CLI:

  • get

  • stats

  • trigger

  • list

  • status

01

get

使用 get 命令可以获取当前 Pulsar Functions 的详细信息,它提供了如下参数:

  • FQFN

  • name

  • tenant

  • namespace

需要说明的是,

FQFN(Fully Qualified Functions Name)

是由 tenant、namespace 和 name 这三个字段组成,它可以唯一标识一个 Pulsar Functions。

用户使用时,可以使用 FQFN 或者同时指定 tenant、namespace 和 name 这三个字段。示例如下:

./bin/pulsar-admin functions get \

--tenant public
--namespace default
--name ExclamationFunctio6

执行如上命令之后,输出如下:

{

"tenant": "public",
"namespace": "default",
"name": "ExclamationFunctio6",
"className": "org.example.test.ExclamationFunction",
"inputSpecs": {
"persistent://public/default/my-topic-1": {
"isRegexPattern": false
}
},
"output": "persistent://public/default/test-1",
"processingGuarantees": "ATLEAST_ONCE",
"retainOrdering": false,
"userConfig": {},
"runtime": "JAVA",
"autoAck": true,
"parallelism": 1
}

通过 get 命令,可以获取到当前 Pulsar Functions 具体的输入、输出,运行的 runtime 是什么,当前 Functions 中有多少个 instance 在运行等信息。

02

list

list 命令可以获取当前 namespace 下有哪些 Functions 在运行,会返回运行的 Functions 的 name 列表,它提供了如下参数:

  • tenant

  • namespace

参考示例如下:

./bin/pulsar-admin functions list \

--tenant public
--namespace default

执行如上命令后,输出如下:

ExclamationFunctio1

ExclamationFunctio2
ExclamationFunctio3

上述输出说明,在 default 这个 namespace 下,运行了三个 Pulsar Functions。

03

trigger

trigger 命令会模拟 Functions 执行的过程,可以用来验证当前 Functions 运行的整个链路是否正常,它提供了如下参数:

  • FQFN

  • tenant

  • namespace

  • name

  • topic

  • trigger-file

  • trigger-value

参考示例如下:

./bin/pulsar-admin functions trigger \

--tenant public
--namespace default
--name ExclamationFunctio6
--topic persistent://public/default/my-topic-1
--trigger-value "hello pulsar functions"

执行成功后会输出 This is my function!

注意

使用 --topic 指定具体的 topic 时,需要使用 topic 的全称,否则会出现如下错误:

Function in trigger function has unidentified topic

Reason: Function in trigger function has unidentified topic

04

status

使用 status 命令可以查看当前 Functions 运行的状态信息,它提供了如下参数:

  • FQFN

  • tenant

  • namespace

  • name

  • instance-id

参考示例如下:

./bin/pulsar-admin functions status \

--tenant public
--namespace default
--name ExclamationFunctio6 \

执行上述命令后,输出如下:

{

"numInstances" : 1,
"numRunning" : 1,
"instances" : [ {
"instanceId" : 0,
"status" : {
"running" : true,
"error" : "",
"numRestarts" : 0,
"numReceived" : 1,
"numSuccessfullyProcessed" : 1,
"numUserExceptions" : 0,
"latestUserExceptions" : [ ],
"numSystemExceptions" : 0,
"latestSystemExceptions" : [ ],
"averageLatency" : 0.8385,
"lastInvocationTime" : 1557734137987,
"workerId" : "c-standalone-fw-23ccc88ef29b-8080"
}
} ]
}

在 status 命令中,可以查看到当前 Functions 是否处于运行状态,总共接收了多少条消息,成功处理了多少条消息,系统发生过多少次错误,平均延迟为多少等。由于一个 function 可以运行多个 instance,所以可以通过 --instance-id 来具体查看某个 instance 的详细信息。上述示例中, ExclamationFunctio6 的 function 下只运行了一个 instance。

05

stats

stats 命令主要用来获取当前 Functions 的统计信息,它提供了如下参数:

  • FQFN

  • tenant

  • namespace

  • name

  • instance-id

参数列表的含义与 status 命令一致,参考示例如下:

/bin/pulsar-admin functions stats \

--tenant public
--namespace default
--name ExclamationFunctio6 \

执行上述命令后,输出如下:

{

"receivedTotal" : 1,
"processedSuccessfullyTotal" : 1,
"systemExceptionsTotal" : 0,
"userExceptionsTotal" : 0,
"avgProcessLatency" : 0.8385,
"1min" : {
"receivedTotal" : 0,
"processedSuccessfullyTotal" : 0,
"systemExceptionsTotal" : 0,
"userExceptionsTotal" : 0,
"avgProcessLatency" : null
},
"lastInvocation" : 1557734137987,
"instances" : [ {
"instanceId" : 0,
"metrics" : {
"receivedTotal" : 1,
"processedSuccessfullyTotal" : 1,
"systemExceptionsTotal" : 0,
"userExceptionsTotal" : 0,
"avgProcessLatency" : 0.8385,
"1min" : {
"receivedTotal" : 0,
"processedSuccessfullyTotal" : 0,
"systemExceptionsTotal" : 0,
"userExceptionsTotal" : 0,
"avgProcessLatency" : null
},
"lastInvocation" : 1557734137987,
"userMetrics" : { }
}
} ]
}

运行 Pulsar Functions 出现问题时,你可以结合上述 Debug 命令和自定义的日志信息,对 Pulsar Functions 的问题进行很好的定位和分析。

更多 Pulsar Functions 系列文章,戳 👇🏻

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 214,837评论 6 496
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 91,551评论 3 389
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 160,417评论 0 350
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 57,448评论 1 288
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 66,524评论 6 386
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 50,554评论 1 293
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,569评论 3 414
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,316评论 0 270
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,766评论 1 307
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,077评论 2 330
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,240评论 1 343
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,912评论 5 338
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,560评论 3 322
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,176评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,425评论 1 268
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 47,114评论 2 366
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,114评论 2 352

推荐阅读更多精彩内容