提问：spark 数据源有几种扩展方式？ 答：三种，两种是基于datasource v1的，第三种是datasource v2的实现；不推荐前两种方法，实现有点复杂推荐使用第...
发简信
IP属地：广东
-
spark 数据源 扩展 之 excel
-
PicGo + Gitee(码云)实现markdown图床
前言：深感在线博客的编辑器坑太多了，文档丢失、必须联网、可移植性太差，所以开始寻找可替代的方案。 markdown是一门易于上手能帮助作者专心写作的文档编辑语言，它的好处太多...
-
Mac Big Sur 升级后 JD-GUI 无法打开的问题修复升级 Big Sur 后发现JD-GUI 打开报错： ERROR launching 'JD-GUI'No suitable Java version found on yo...
-
可能是目前颜值最高的开源BI工具-Superset没有声音，再好的戏也出不来同样，没有可视化，再好的数据分析也不完美数据可视化是大数据的『最后一公里』 简介 Superset的Airbnb开源的数据可视化工具，目前属于Apa...
-
数据中台到底是什么？
阿里提出了“大中台，小前台”，其中台事业部包括搜索事业部、共享业务平台、数据技术及产品部，数据技术及产品部应是数据中台建设的核心部门。 那么，数据中台到底是什么？具体包含哪些...
-
NameNode内存解析及大小评估
HDFS由NameNode和DataNode组成，其中NameNode作为Master节点，负责维护整个集群的状态，为了提高响应速度其大部分数据都常驻内存，则NameNode...
-
Spark应用分片介绍
引言 分布式计算的基本思路是将数据分为多个部分，将同样的数据操作方式在数据的不同部分上执行，分别获得结果，然后通过“汇聚处理”的方式得到结果。如何将数据分为多个部分（也就是“...
-
java.lang.NoSuchMethodError: org.apache.spark.internal.Logging这个错误是个老哥布林了，原因一般上就是 Spark 编译时的版本以及scala版本和运行环境上不一致导致的；但总是会动不动就踩一下这个错误；记录一下这次错误； 错误日志 在本...
-
SparkSQL 计算结果和 Hive 不一致问题
今天遇到一个 SQL 在 Hive 上正常执行，但是在 SparkSQL 上 运行没有结果的问题；下面截取其中的一段 SQL，就是导致结果不同的子句； martrd.STKA...
-
-
Spark系列 —— 各类算子详解（一）
前言 本文主要是一篇总结性文章，将列举绝大部分的 Spark Transformation算子及其使用方法 和一些使用场景。 Transformation 算子 该类算子属于...
-
Spark Multi Tenancy系列 - 2 还是社区问题
问题1 spark.driver.allowMultipleContexts SparkContext.scala#L79这个配置项拆开来念spark driver allo...
-
Installing Apache Ranger Hive Plugin For Apache Spark
Apache Spark is built bundled with built-in Hive Metastore client(version 1.2.1.spark2)...
-
Spark多租户场下的一些探讨与实现
-
2020 推荐系统入门 (1)推荐系统 推荐系统概观 什么是推荐系统 那么什么是推荐系统，推荐系统做了那些工作呢？其实推荐系统就是根据用户的历史信息和行为，向用户推荐他感兴趣的内容或商品。 推荐系统的重要...
-
Spark、BulkLoad Hbase、单列、多列
背景 之前的博客：Spark：DataFrame写HFile （Hbase）一个列族、一个列扩展一个列族、多个列 用spark 1.6.0 和 hbase 1.2.0 版本实...
-
Zeppelin初体验Zepplin是一个很有意思的笔记本，支持众多interpreter，包括Flink。在网上找了很多资料，发现直接使用二进制包，或者从源码编译，均无法向Flink 1.7.1...
-
Helm 从入门到实践Helm 是 Kubernetes 的软件包管理工具。本文需要读者对 Docker、Kubernetes 等相关知识有一定的了解。 本文将介绍 Helm 中的相关概念和基本工...
