概述 我们的Hive是HortonWorks提供的1.2.1， 本文档记录下我们在使用过程中遇到的问题和解决方法。 问题 高并发请求时，请求报错：Timed out wait...
发简信
IP属地：北京
-
-
-
如何实现AutoML--让机器先做出Baseline
前言 我之前写过一篇如何实现AutoML -- 先Auto每个环节,大致思路是让机器先自动化每一个小环节，每个环节输出唯一一个结果，这样可以极大的简化搜索空间。比如我们有三个...
-
如何用MLSQL快速调试Structured Streaming程序前言 早上对Structured Streaming 的window函数， Output Mode 以及Watermark有些疑惑的地方。Structured Streami...
-
为什么需要效率督查团队
前言 上周和杭州某司同学面基，发现我们两同一年毕业，同一年出生，还是老乡，真是颇感意外。本来约好了是聊技术的，结果硬生生的聊成了如何提高团队效率的心得交流会。 最后得到的结论...
-
Hive Metastore部署方式Metastore 有三种部署方式 embedded mode (Metastore 和 db 都运行在 Hive Service进程中) local mode (Metas...
-
Spark基本概念快速入门Spark集群 一组计算机的集合，每个计算机节点作为独立的计算资源，又可以虚拟出多个具备计算能力的虚拟机，这些虚拟机是集群中的计算单元。Spark的核心模块专注于调度和管理虚...
-
ChartDirector + python下载 官网下载 安装 查看python site-packages位置 将解压后的文件 放入site-packages位置 添加chartdirector.pth 文件 测试...
-
谷歌BigQuery ML VS StreamingPro MLSQL
前言 今天看到了一篇 AI前线的文章谷歌BigQuery ML正式上岗，只会用SQL也能玩转机器学习！。正好自己也在力推 StreamingPro的MLSQL。今天就来对比下...
-
DAGScheduler之Job的提交划分Stage整体流程图 源码分析 spark 2.3 getOrCreateParentStages 创建所有祖先Stage getShuffleDependencies 获取RDD的第...
