Logstash接入Ckafka触发云函数存储消息至COS

注:本文均采用腾讯云相关产品测试。

相关名词解释:

云服务器CVM:腾讯云提供的可扩展的计算服务,即云服务器。

Logstash:Logstash是一个开源数据收集引擎,具有实时管道功能。Logstash可以动态地将来自不同数据源的数据统一起来,并将数据标准化到你所选择的目的地。

消息队列Ckafka:基于开源 Apache Kafka 消息队列引擎,提供高吞吐性能、高可扩展性的消息队列服务。

无服务器云函数SCF:腾讯云为企业和开发者们提供的无服务器执行环境,帮助您在无需购买和管理服务器的情况下运行代码, 是实时文件处理和数据处理等场景下理想的计算平台。 您只需使用 SCF 平台支持的语言编写核心代码并设置代码运行的条件,即可在腾讯云基础设施上弹性、安全地运行代码。

COS对象存储:腾讯云提供的一种存储海量文件的分布式存储服务,用户可通过网络随时存储和查看数据。腾讯云 COS 使所有用户都能使用具备高扩展性、低成本、可靠和安全的数据存储服务。

私有网络VPC:一块在腾讯云上自定义的逻辑隔离网络空间,与在数据中心运行的传统网络相似,托管在腾讯云私有网络内的是在腾讯云上的服务资源,包括 云服务器负载均衡云数据库 等。

1.开始前准备:

一台腾讯云服务器、一个腾讯云Ckafka实例以及一个腾讯云COS存储桶(三者需要在同一地域下,且前两者需要在同一私有网络VPC下)。

2.安装logstash以及kafka客户端:

logstash下载地址:https://artifacts.elastic.co/downloads/logstash/logstash-7.5.0.tar.gz(腾讯云官网有描述兼容关系,笔者目前使用7.5版本暂未遇到问题)

兼容性说明

kafka下载地址:http://kafka.apache.org/downloads(腾讯云Ckafka目前兼容 Kafka 0.9 0.10版本,推荐0.10.2版本的安装包)

下载相关压缩包后解压

3.Ckafka实例配置及测试

创建实例基本信息如下:

实例基本信息

新建topic,如下:

新建topic

kafka客户端测试生产:./kafka-console-producer.sh --broker-list 172.27.0.42:9092 --topic logstash_ckafka_cos

kafka客户端生产

kafka客户端测试消费:./kafka-console-consumer.sh --bootstrap-server 172.27.0.42:9092 --from-beginning --topic logstash_ckafka_cos

kafka客户端消费

4.logstash客户端配置与测试

在logstash安装目录/config/新建配置文件,配置如下:

input {

stdin{}

}

output {

kafka {

bootstrap_servers => "172.27.0.42:9092"

topic_id => "logstash_ckafka_cos"

}

}

使用上述配置文件进行生产测试:

在logstash安装目录下bin目录下执行:./logstash -f ../config/output.conf


logstash客户端生产

kafka客户端进行消费

kafka安装目录下bin目录下执行:./kafka-console-consumer.sh --bootstrap-server 172.27.0.42:9092 --from-beginning --topic logstash_ckafka_cos

kafka客户端消费

5.无服务器云函数配置

新建模板函数(Ckafka消息投递到COS):https://console.cloud.tencent.com/scf/list?rid=16&ns=default

新建云函数

新建API密钥:https://console.cloud.tencent.com/cam/capi

新建API密钥

修改函数内配置项:

修改配置项

修改完成后保存(注:appid可在个人信息中查看,api密钥为上一步新建,地域选择对应地域即可,存储桶为准备步骤中新建)

添加触发方式:

添加触发方式

添加时选择对应Ckafka实例下的对应topic即可(Ckafka触发可能需要提交工单申请白名单)

6.测试

执行命令:./logstash -f ../config/output.conf后,等待logstash启动,启动后输入相关数据

logstash生产数据
Ckafka监控信息
云函数运行日志
存储桶文件
存储桶文件详情

参考文档:
1.Ckafka快速入门:https://cloud.tencent.com/document/product/597/30932

2.Logstash使用简介:https://blog.csdn.net/tanga842428/article/details/77045028

3.Logstash 接入 CKafka:https://cloud.tencent.com/document/product/597/11487

4.使用SCF自定义Ckafka投递COS:https://cloud.tencent.com/document/product/583/30722

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 222,000评论 6 515
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 94,745评论 3 399
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 168,561评论 0 360
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 59,782评论 1 298
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 68,798评论 6 397
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 52,394评论 1 310
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 40,952评论 3 421
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 39,852评论 0 276
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 46,409评论 1 318
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 38,483评论 3 341
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 40,615评论 1 352
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 36,303评论 5 350
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 41,979评论 3 334
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 32,470评论 0 24
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 33,571评论 1 272
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 49,041评论 3 377
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 45,630评论 2 359