前言 大数据Hadoop集群启用Kerberos认证之后,访问返回会被限制到单个集群内部。如果有需要访问另一个开启Kerberos集群的需求(例如跨集群数据导入导出),需要配...
前言 大数据Hadoop集群启用Kerberos认证之后,访问返回会被限制到单个集群内部。如果有需要访问另一个开启Kerberos集群的需求(例如跨集群数据导入导出),需要配...
前言 Kerberos的ticket为了安全起见规定了其生命周期(有效时间段)。可以减少攻击者拿到ticket后对系统的危害。 Kerberos共设计了两种生命周期:life...
Flink源码分析系列文档目录 请点击:Flink 源码分析系列文档目录[https://www.jianshu.com/p/d4a372809e3d] Kerberos认证...
前言 本篇为大家带来Zeppelin连接常用大数据组件的配置方式。 环境信息 Zeppelin 0.12.0 Flink 1.17.2 Spark 3.3.2 Hive 3....
Flink 使用介绍相关文档目录 Flink 使用介绍相关文档目录[https://www.jianshu.com/p/74f1990d047c] 前言 Flink 2.1....
问题背景 一个使用Django Rest Framework项目其中的一个查询页面,按照起始日期和终止日期范围查询。其中起始日期通过前端转递,终止日期通过默认值自动生成,默认...
环境信息 Flink 1.17.2 Hive 3.1.0 Hudi 0.15.0 Flink 需要使用Hudi和Hive,lib目录添加了hive-exec-3.1.0.ja...
前言 软件版本Python3.8Hadoop3.3.2Spark3.3.1Hudi0.12.0 Hudi官网demo提供了3种通过Spark操作Hudi的方法: 这里我们选择...
Flink 使用介绍相关文档目录 Flink 使用介绍相关文档目录[https://www.jianshu.com/p/74f1990d047c] 环境信息 HBase 2....
简介 Trino是一个Java开发的高性能SQL查询引擎。其最大的特点是数据源的支持非常广泛。本篇为大家带来使用Trino读取Hudi表的方法。 环境信息 Trino 476...
简介 Xinference 是由 Xorbits 团队开发的一个开源的大规模模型推理框架。它专注于提供高效、灵活的大模型推理解决方案,支持多种类型的模型,包括但不限于大语言模...
前言 Spark社区的快速发展给我带来越来越快,越来越方便的大数据处理工具的同时,也带来了不小的麻烦,一季度一个小版本,半年一个大版本,新版本JDK7说不要就不要了。要知道在...
前言 通常来说在关系型数据库中保存大对象有如下方式: 使用Blob或者Clob类型的字段,将大对象的内容保存到数据表中。 将大对象保存为文件放置到文件系统中。数据表只保存指向...
以下是本人AI 系列文档目录,欢迎大家查阅和参与讨论。 Ollama 服务Docker部署简明教程[https://www.jianshu.com/p/4f48bcce734...
前言 在CPU环境使用vLLM推理框架会明显比GPU缓慢的多。但是CPU也是有很大的优化空间的。 本篇为大家带来vLLM CPU推理的优化配置方式。 vLLM参数 --ten...
多目标求解会筛选出一个相对较优的解的集合,在这个集合里就要用到pareto找出相对优的解或者最优解。 多目标优化问题的数学模型一般可以写成如下形式: fig 2表示n个目标函...
前言 在MCP 简介和使用[https://www.jianshu.com/p/51947e68a690]一文中我们了解了如何编写自己的MCP服务和在Langchain中调用...
MCP简介 MCP(Model Context Protocol) 是由 Anthropic 公司提出并开源的一个标准协议,旨在解决大型语言模型(LLMs)与外部数据源和工具...
问题 HBase Shell使用了Ruby脚本编写。HBase Interpreter使用了HBase的Ruby脚本,自带默认的jruby解析器对HBase 2.x中的Rub...
Flink 使用介绍相关文档目录 Flink 使用介绍相关文档目录[https://www.jianshu.com/p/74f1990d047c] 前言 本文为大家分享博主在...