Spark2.3整合bubbo问题总结

1.在java代码中写scala代码

image.png

编译后会出现scala代码找不到,需要在pom.xml添加

              <plugin>
                <groupId>net.alchim31.maven</groupId>
                <artifactId>scala-maven-plugin</artifactId>
                <version>3.2.0</version>
                <executions>
                    <execution>
                        <id>scala-compile-first</id>
                        <phase>process-resources</phase>
                        <goals>
                            <goal>add-source</goal>
                            <goal>compile</goal>
                        </goals>
                    </execution>
                    <execution>
                        <id>test-compile-scala</id>
                        <phase>test-compile</phase>
                        <goals>
                            <goal>add-source</goal>
                            <goal>testCompile</goal>
                        </goals>
                    </execution>
                </executions>
                <configuration>
                    <scalaVersion>${scala.binary.version}</scalaVersion>
                </configuration>
            </plugin>

2.为了减少定位问题成本,使用jdk1.8,不然会出现各种诡异问题

image.png

3.dubbo中使用jdk

image.png

init.sh中添加

shopt -s expand_aliases
export JAVA_HOME="/usr/local/jdk18"
alias java="/usr/local/jdk18/bin/java"
alias nohup=":;"

wiki:

4.jar包冲突

使用mvn dependency:tree排除低版本jar包

image.png

5.spark启动异常

Exception in thread "main" java.net.BindException: Cannot assign requested address: bind: Service 'sparkDriver' failed after 16 retries (on a random free port)! 
Consider explicitly setting the appropriate binding address for the service 'sparkDriver' (for example spark.driver.bindAddress for SparkDriver) to the correct binding address.

添加SPARK_LOCAL_IP变量,整合dubboinit.sh中添加export SPARK_LOCAL_IP="127.0.0.1"

image.png

©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容

  • 打卡日期:2018年7月5日 打卡累计天数:2/30 #宣言 相信能比他能更重要# 孩子第一个30天目标:1.早睡...
    秒针_41b1阅读 152评论 0 0
  • 雨淅淅沥沥,滴进心底。 有人说你是个降不了的魔,我觉得你是个强盗,在我的心里占山为王。
    不系之舟a阅读 264评论 0 0
  • iOS 9 新特性关键字:nonnull,nullable,null_resettable nonnull:表示不...
    柯浩然阅读 371评论 1 1
  • 我不是喜欢热闹的人,但,我也不喜欢孤单。 幼时的任性让我养成了不喜欢和人交流的坏习惯,所以能留在我身边的朋友都...
    LeeZiQon阅读 153评论 0 0
  • 韩寒说过这句话,这是我的真实写照,我自认为知道很多,也认为学的都是有用的知识,但是离真正改变还有很多的距离,我自认...
    喜乐妈妈阅读 226评论 0 0