【2021-03-19】 jupyter scala 环境搭建

almond kernel :https://almond.sh/docs/quick-start-install

旨在 接通 spark jupyter echart.js 这3个平台,数据到html可视化的桥梁


安装

curl -Lo coursier https://git.io/coursier-cli
chmod +x coursier
./coursier launch --fork almond -- --install
rm -f coursier

必备 header:
import almond.interpreter.api.DisplayData
Html("<style>.container { width: 100%; }</style>") //页面100%宽度显示


添加 spark 依赖 具体看上面文档

import $ivy.`org.apache.spark::spark-sql:2.1.1` 
import $ivy.`org.apache.spark::spark-hive:2.1.1` 
import $ivy.`sh.almond::almond-spark:0.6.0` // 2.1.1 只能是0.7 以下的版本

注意使用NotebookSparkSession.builder(),而不是SparkSession.builder()在编写Spark作业时使用的。(官方原句)


启动spark

import org.apache.spark.sql._

def getSpark(appName: String): SparkSession = {
    //注意使用NotebookSparkSession.builder(),而不是SparkSession.builder()
    NotebookSparkSession.builder() 
        .appName(appName)
        .config("spark.yarn.queue", "feature")
        .config("num-executors", "50")
        .config("executor-memory", "4G")
        .config("spark.sql.hive.convertMetastoreParquet", "false")
        .config("spark.ui.port", "7479")
        .enableHiveSupport()
        .getOrCreate()
}
val spark = getSpark("jupyter-spark-shell")
最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成,浏览时请结合常识与多方信息审慎甄别。
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

相关阅读更多精彩内容

友情链接更多精彩内容