samza实时处理数据案例一

samza是新兴的流式处理框架,相比storm,samza是基于hadoop,使用自家的kafka实现分布式消息系统,任务提交到yarn集群进行调度,粒度更细。下面就结合一个案例来说下samza程序的开发。
当刚开始使用samza,想要了解如何开发samza程序时,可参考官网的hello-samza例子。麻雀虽小五脏俱全,搞懂这个例子后就可以自己开始用samza处理实时数据了。

简单说下hello-samza代码。
1.checkout[首先电脑上已安装好git]
git clone git://git.apache.org/samza-hello-samza.git hello-samza
2.进入工程
cd hello-samza
3.执行grid,grid脚本是用来安装samza依赖的系统,如kafka、zookeeper、yarn,如果想单机测试,执行以下命令
bin/grid bootstrap
4.利用maven打包 [首先电脑安装配置好mvn]
cd hello-samza
mvn clean package
......漫长的等待....
5.解压打包好的zip
mkdir -p deploy/samza
tar -xvf ./target/hello-samza-0.9.1-dist.tar.gz -C deploy/samza

6.执行job

1.deploy/samza/bin/run-job.sh --config-factory=org.apache.samza.config.factories.PropertiesConfigFactory --config-path=file://$PWD/deploy/samza/config/wikipedia-feed.properties 生产数据到kafka topic

2.deploy/samza/bin/run-job.sh --config-factory=org.apache.samza.config.factories.PropertiesConfigFactory --config-path=file://$PWD/deploy/samza/config/wikipedia-parser.properties 消费job1产生的数据
3.deploy/samza/bin/run-job.sh --config-factory=org.apache.samza.config.factories.PropertiesConfigFactory --config-path=file://$PWD/deploy/samza/config/wikipedia-stats.properties 消费job2产生的数据
4.这时查看topic就会有数据打印
deploy/kafka/bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic wikipedia-edits

SUCC
到这就完成了hello-samza的编译、运行

samza的每个job对应一个properties文件,文件定义了输入、输出、输入格式、输出格式、窗口时间、本地存储等等信息,所以这个properties文件是关键,也是重点要介绍的一块。

未完待续....困了。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成,浏览时请结合常识与多方信息审慎甄别。
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

相关阅读更多精彩内容

  • Spring Cloud为开发人员提供了快速构建分布式系统中一些常见模式的工具(例如配置管理,服务发现,断路器,智...
    卡卡罗2017阅读 136,084评论 19 139
  • ** 今天看了一下kafka官网,尝试着在自己电脑上安装和配置,然后学一下官方document。** Introd...
    RainChang阅读 10,452评论 1 30
  • Kafka官网:http://kafka.apache.org/入门1.1 介绍Kafka™ 是一个分布式流处理系...
    it_zzy阅读 9,311评论 3 53
  • #基本操作参考:http://kafka.apache.org/quickstart#quickstart_mul...
    swa19阅读 3,902评论 0 1
  • 发行说明 - Kafka - 版本1.0.0 以下是Kafka 1.0.0发行版中解决的JIRA问题的摘要。有关该...
    全能程序猿阅读 7,977评论 2 7

友情链接更多精彩内容