5383bae2afbf - 简书

发简信

5383bae2afbf

5
关注
0
粉丝
0
文章
0

字数
0

收获喜欢
0

总资产

IP属地：北京

5383bae2afbf

yannhuang
写了 54464 字，被 89 人关注，获得了 73 个喜欢
5383bae2afbf

Oracle | 用户、权限、角色管理操作
一、用户管理 1、创建用户 2、修改用户 3、删除用户二、权限管理 1、系统权限 - 授权操作 2、对象权限 - 授权操作 3、回收权限操作 4、查看用户和权限三、角色管...

Ada54
1369 0 3

5383bae2afbf ·

楼主的配置有问题，应该把多个key相同的属性配置在一起
val sc = new SparkContext()
// 多个HDFS的相同配置
sc.hadoopConfiguration.setStrings("fs.defaultFS", "hdfs://cluster1", "hdfs://cluster2");
sc.hadoopConfiguration.setStrings("dfs.nameservices", "cluster1", "cluster2");
// cluster1的配置
sc.hadoopConfiguration.set("dfs.ha.namenodes.cluster1", "nn1,nn2");
sc.hadoopConfiguration.set("dfs.namenode.rpc-address.cluster1.nn1", "namenode001:8020");
sc.hadoopConfiguration.set("dfs.namenode.rpc-address.cluster1.nn2", "namenode002:8020");
sc.hadoopConfiguration.set("dfs.client.failover.proxy.provider.cluster1", "org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider");
// cluster2的配置
sc.hadoopConfiguration.set("dfs.ha.namenodes.cluster2", "nn3,nn4");
sc.hadoopConfiguration.set("dfs.namenode.rpc-address.cluster2.nn3", "namenode003:8020");
sc.hadoopConfiguration.set("dfs.namenode.rpc-address.cluster2.nn4", "namenode004:8020");
sc.hadoopConfiguration.set("dfs.client.failover.proxy.provider.cluster2", "org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider");

chinfun 评论自Spark操作多HDFS集群
5383bae2afbf

数大招疯
写了 24988 字，被 40 人关注，获得了 51 个喜欢
5383bae2afbf

让Spark-Streaming在Yarn上长时间运行
对于长时间运行的Spark Streaming作业，一旦提交到YARN群集便需要永久运行，直到有意停止。任何中断都会引起严重的处理延迟，并可能导致数据丢失或重复。YARN和A...

数大招疯
3069 1 8
5383bae2afbf

Spark读写HBase实践
Spark经常会读写一些外部数据源，常见的有HDFS、HBase、JDBC、Redis、Kafka等。这些都是Spark的常见操作，做一个简单的Demo总结，方便后续开发查阅...

北邮郭大宝
20150 1 9
5383bae2afbf

大猪大猪
写了 274027 字，被 3009 人关注，获得了 5778 个喜欢

我是大猪、一个让你沉迷于文章内容的IT写作者！

5383bae2afbf

和心数据
写了 54836 字，被 235 人关注，获得了 371 个喜欢

专注于大数据平台化、数据可观测性和数据可视化
5383bae2afbf

DataX 3.0简介安装及使用
DataX3.0离线同步工具介绍一. DataX3.0概览 DataX 是一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、...

香山上的麻雀
68537 7 40
5383bae2afbf

Spark优化与实践
breeze_lsw 编，33 篇文章，82 人关注

Spark 及其生态的一些优化与实践
5383bae2afbf

@IT·大数据
全能程序猿编，203 篇文章，281 人关注

个人网站 : http://www.xcan.top 个人店铺: 鞋盒: https://shop117015562.taobao.com/ 男装: https://shop469108515.taobao.com/ Hadoop,Hbase,Hive,Spark,Apache Kafka,Apache Storm,Map reduce,SQOOP,Zookeeper
5383bae2afbf

Spark源码解析
海纳百川_spark 编，30 篇文章，236 人关注

深入解析Spark Core、Spark Streaming源码，彻底精通Spark

5383bae2afbf

spark
jacksu在简书编，485 篇文章，1342 人关注

专注于spark相关内容分享，github相关资料整理：https://github.com/jacksu/utils4s
5383bae2afbf

程序员
小彤花园编，96884 篇文章，1662647 人关注

如果你是程序员，或者有一颗喜欢写程序的心，喜欢分享技术干货、项目经验、程序员日常囧事等等，欢迎投稿《程序员》专题。专题主编：小彤花园 http://www.jianshu.com/users/4a4eb4feee62/ 【程序员】专题拒稿指北：http://www.jianshu.com/p/7c8b33b5f63b 投稿须知： 1.收录相关技术文章，但不限于技术，也可以是项目经验类的文章和程序员日常。 2.文章內不得有任何推广信息。包括但不限于公众号、微博、微信，更不得在通过投稿后再修改文章加入推广信息。你可以将这些推广以及个人信息放在个人主页介绍里。 3.字数极少，段落混乱，大段代码没有放到代码框的文章不收录 4.不相关的内容不收录，请确认文章内容和本专题相关目前针对优质作者及爱好者，开设了官方程序员微信群，希望加入请发简信给主编小彤花园索取个人微信，主编会将你加入到【程序员】微信群，分享内容，收获知识。添加微信时备注昵称。
5383bae2afbf

@IT·互联网
若锦编，69233 篇文章，2648736 人关注

Hi，很高兴在@IT·互联网专题遇见你。收录范围：收录IT&互联网行业观察与思考，数码产品极客体验分析等类型文章投稿须知：https://www.jianshu.com/p/4edc76104c27 专题主编：@若锦 https://www.jianshu.com/u/e4c63b354a77 官方社群：可联系添加 @若锦加入专题官方社群交流、学习，添加时备注简书ID。
5383bae2afbf

大数据
磊Ray 编，4877 篇文章，9809 人关注

大数据，收录大数据相关技术的文章。
5383bae2afbf

meng_philip123
写了 1030094 字，被 2421 人关注，获得了 4398 个喜欢

本人公众号 “华仔聊技术” 十年互联网人，个人IP&公众号博主，主攻中间件相关硬核技术 公众号kafka系列文章: <a href="https://links.jianshu.com/go?to=https%3A%2F%2Fmp.weixin.qq.com%2Fmp%2Fappmsgalbum%3F__biz%3DMzg3MTcxMDgxNA%3D%3D%26action%3Dgetalbum%26album_id%3D2147575846151290880%26scene%3D173%26from_msgid%3D2247488854%26from_itemidx%3D1%26count%3D3%26nolastread%3D1%23wechat_redirect" target="_blank">https://mp.weixin.qq.com/mp/appmsgalbum?__biz=Mzg3MTcxMDgxNA==&action=getalbum&album_id=2147575846151290880&scene=173&from_msgid=2247488854&from_itemidx=1&count=3&nolastread=1#wechat_redirect</a> 欢迎关注 github:<a href="https://links.jianshu.com/go?to=https%3A%2F%2Fgithub.com%2Fmenghuan" target="_blank">https://github.com/menghuan</a> PHP7/Redis5/Nginx/Linux源码分析汇总链接:<a href="https://links.jianshu.com/go?to=https%3A%2F%2Fgithub.com%2Fmenghuan%2Flnmp-code-analysis" target="_blank">https://github.com/menghuan/lnmp-code-analysis</a> 最近在写的一款go cron工具：<a href="https://links.jianshu.com/go?to=https%3A%2F%2Fgithub.com%2Fmenghuan%2FgoDistributedCron" target="_blank">https://github.com/menghuan/goDistributedCron</a> 基本完成后续会添加微服务相关设计欢迎star <a href="https://links.jianshu.com/go?to=https%3A%2F%2Fgithub.com%2Fmenghuan%2Fgo-distributed-cron-fronted" target="_blank">https://github.com/menghuan/go-distributed-cron-fronted</a> go-cron vue管理后台待完善欢迎star 友情链接 欧神的博客 <a href="https://links.jianshu.com/go?to=https%3A%2F%2Fblog.changkun.de%2F" target="_blank">https://blog.changkun.de/</a> 码农桃花源 <a href="https://links.jianshu.com/go?to=https%3A%2F%2Fqcrao.com%2F" target="_blank">https://qcrao.com/</a> 曹大的博客 <a href="https://links.jianshu.com/go?to=http%3A%2F%2Fxargin.com%2F" target="_blank">http://xargin.com/</a> 面向信仰编程 <a href="https://links.jianshu.com/go?to=https%3A%2F%2Fdraveness.me" target="_blank">https://draveness.me</a> 煎鱼 <a href="https://links.jianshu.com/go?to=https%3A%2F%2Feddycjy.com%2Fposts%2F" target="_blank">https://eddycjy.com/posts/</a> 达神的博客 <a href="https://links.jianshu.com/go?to=http%3A%2F%2Fwww.weisd.in%2F" target="_blank">http://www.weisd.in/</a> 陈捷的博客 <a href="https://links.jianshu.com/go?to=http%3A%2F%2Fwww.chenjie.info%2F" target="_blank">http://www.chenjie.info/</a> 梦康的博客 <a href="https://links.jianshu.com/go?to=https%3A%2F%2Fmengkang.net%2F" target="_blank">https://mengkang.net/</a> 涛哥博客 <a href="https://links.jianshu.com/go?to=http%3A%2F%2Fwww.tiyee.net%2F" target="_blank">http://www.tiyee.net/</a> 周至博客 <a href="https://links.jianshu.com/go?to=http%3A%2F%2Fwww.sunnysmilez.cn%2F" target="_blank">http://www.sunnysmilez.cn/</a> 朱小厮博客 <a href="https://links.jianshu.com/go?to=https%3A%2F%2Fblog.csdn.net%2Fu013256816%2Farticle%2Fdetails%2F54743481" target="_blank">https://blog.csdn.net/u013256816/article/details/54743481</a> 鲤鱼的博客:<a href="https://links.jianshu.com/go?to=https%3A%2F%2Fwww.iamle.com" target="_blank">https://www.iamle.com</a> 数据库内核月报<a href="https://links.jianshu.com/go?to=http%3A%2F%2Fmysql.taobao.org%2Fmonthly%2F" target="_blank">http://mysql.taobao.org/monthly/</a> 全栈技术:<a href="https://links.jianshu.com/go?to=https%3A%2F%2Fblog.thankbabe.com%2F" target="_blank">https://blog.thankbabe.com/</a> 美团技术博客:<a href="https://links.jianshu.com/go?to=https%3A%2F%2Ftech.meituan.com%2F" target="_blank">https://tech.meituan.com/</a> 阿里中间件团队博客:<a href="https://links.jianshu.com/go?to=http%3A%2F%2Fjm.taobao.org%2F" target="_blank">http://jm.taobao.org/</a> 运维社区:<a href="https://links.jianshu.com/go?to=https%3A%2F%2Fwww.unixhot.com%2F" target="_blank">https://www.unixhot.com/</a> cacheCloud:<a href="https://links.jianshu.com/go?to=https%3A%2F%2Fcachecloud.github.io%2F" target="_blank">https://cachecloud.github.io/</a> go知识图谱:<a href="https://links.jianshu.com/go?to=https%3A%2F%2Fwww.processon.com%2Fview%2Flink%2F5a9ba4c8e4b0a9d22eb3bdf0" target="_blank">https://www.processon.com/view/link/5a9ba4c8e4b0a9d22eb3bdf0</a> go语言分析 <a href="https://links.jianshu.com/go?to=https%3A%2F%2Fgithub.com%2Fchangkun%2Fgo-under-the-hood%2Fblob%2Fmaster%2Fbook%2Fzh-cn%2FTOC.md" target="_blank">https://github.com/changkun/go-under-the-hood/blob/master/book/zh-cn/TOC.md</a> 后端架构体系:<a href="https://links.jianshu.com/go?to=https%3A%2F%2Fgithub.com%2Fxingshaocheng%2Farchitect-awesome" target="_blank">https://github.com/xingshaocheng/architect-awesome</a> 架构师技术图谱:<a href="https://links.jianshu.com/go?to=https%3A%2F%2Fgithub.com%2Ftoutiaoio%2Fawesome-architecture" target="_blank">https://github.com/toutiaoio/awesome-architecture</a> 互联网 Java 工程师进阶知识完全扫盲:<a href="https://links.jianshu.com/go?to=https%3A%2F%2Fgithub.com%2Fdoocs%2Fadvanced-java" target="_blank">https://github.com/doocs/advanced-java</a> 从Docker到Kubernetes进阶:<a href="https://links.jianshu.com/go?to=https%3A%2F%2Fwww.qikqiak.com%2Fk8s-book%2F" target="_blank">https://www.qikqiak.com/k8s-book/</a>

5383bae2afbf