5分钟学习spark streaming之 轻松在浏览器运行和修改Word Counts

方案一:根据官方实例,下载预编译好的版本,执行以下步骤:

      1.nc -lk 9999 作为实时数据源

       2../bin/run-example org.apache.spark.examples.sql.streaming.StructuredNetworkWordCount localhost 9999

      3.在第一步的terminal 窗口输入一些句子

      4.第二步的output 就是实时执行结果

 此方案的问题有

      1.探索其中的api 比较困难,比如我想试试另外一种写法,需要改源码,然后编译,时间就变长了

     2.如果是一个裸机的话,需要安装好java 环境,spark和java版本之间的依赖也要特别小心


方案二(2个docker 命令,你就可以为所欲为的在浏览器里面运行,更改Word counts这个hello word了)

          除去下载docker img的时间,5min没法完成以下步骤,请立即私信给我,有奖,哈哈


     1.docker run    -p 8080:8080 --rm fancyisbest/zeppeinsparkstreaming:0.1 (第一次会花很长时间在pull img)


2.docker exec   -it `docker ps -q`  nc -lkp 9999 (注意如果你有多个container在运行,请把`docker ps -q` 替换成上一个的container id)


3.打开浏览器输入http://localhost:8080/#/, 左下角有Word counts,点击进入notebook,点击运行所有段落。


4. 在第二步terminal输入些句子,你就可以在notebook里面观察到streaming 在执行。


此方案的优势

1.除了docker,不需要安装任何依赖,这很dev ops

2.可以狠狠地改代码,改完就可以立即执行,不用担心会破坏任何环境,探索你的世界,你做主。

提示:

    1.此方案的技术堆是:docker+zeppelin+spark

    2.docker img是我在zeppelin img上加入了必要的命令和notebook 打包成的img,请放心使用。

    3.如果你对docker,zeppelin不熟悉,不要担心,它们都很简单,只要稍微花点时间就可以掌握,请记住我们的目标是学习spark streaming

参考:

     zeppelin 官网http://zeppelin.apache.org/

©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容