Spark计算基础知识

算法、模型的理解
1.算法+训练数据才能跑出模型
2.模型的呈现形式是一些视觉不可读的文件,可以生成多个版本。
3.算法调用模型文件,就是按照模型进行程序计算了。

demo程序线性回归的理解
1.程序作了简化,训练后没有生成模型文件,直接调用程序进行了趋势预测。

demo程序提交
1.是否设置local的调用:就是在local执行,用于调试
2.如果不设置local方式的调用就是代码分发到整个cluster,整体进行执行;

demo程序文件的打包描述
1.打包时将依赖jar捆绑打包
(1)不需要做任何动作
2.打包时只是打编写的代码
(1)需要spark将依赖jar提前加载到平台

©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容