Idea运行saprk.sql出错Error while instantiating 'org.apache.spark.sql.internal.SessionState':

val spark: SparkSession = SparkSession.builder()

                .appName("SparkSQL2x")

                .master("local[*]")

                .getOrCreate()

/////////////////////////////////////////////////////////////////////////////////////////////////////////////////


出现Error while instantiating 'org.apache.spark.sql.internal.SessionState':错误

原因是pom.xml中的spark-sql和spark-core,scala-library等,配置的版本相互之间有问题


/////////////////////////////////////////////////////////////////////////////////////////////////////////////////


修改他们版本在import change后就可以了

下面是我这次的pom.xml的配置


/////////////////////////////////////////////////////////////////////////////////////////////////////////////////

<properties>

        <maven.compiler.source>1.8</maven.compiler.source>

        <maven.compiler.target>1.8</maven.compiler.target>

        <scala.version>2.11.8</scala.version>

        <spark.version>2.3.3</spark.version>

        <hadoop.version>2.7.7</hadoop.version>

        <encoding>UTF-8</encoding>

</properties>

    <dependencies>

        <!-- 导入scala的依赖 -->

        <dependency>

            <groupId>org.scala-lang</groupId>

            <artifactId>scala-library</artifactId>

            <version>${scala.version}</version>

        </dependency>

        <!-- 导入spark的依赖,core指的是RDD编程API -->

        <dependency>

            <groupId>org.apache.spark</groupId>

            <artifactId>spark-core_2.11</artifactId>

            <version>${spark.version}</version>

        </dependency>

        <!-- 导入spark的依赖,sql指的是DataFrame、DataSet的编程API -->

        <dependency>

            <groupId>org.apache.spark</groupId>

            <artifactId>spark-sql_2.11</artifactId>

            <version>${spark.version}</version>

        </dependency>

        <!-- 读写HDFS中的数据 -->

        <dependency>

            <groupId>org.apache.hadoop</groupId>

            <artifactId>hadoop-client</artifactId>

            <version>2.7.7</version>

        </dependency>

        <!-- 解析JSON的依赖 -->

        <dependency>

            <groupId>com.alibaba</groupId>

            <artifactId>fastjson</artifactId>

            <version>1.2.57</version>

        </dependency>

        <!-- mysql连接依赖 -->

        <dependency>

            <groupId>mysql</groupId>

            <artifactId>mysql-connector-java</artifactId>

            <version>5.1.47</version>

        </dependency>

        <!-- Hbase的依赖 -->

        <dependency>

            <groupId>org.apache.hbase</groupId>

            <artifactId>hbase-client</artifactId>

            <version>1.4.9</version>

        </dependency>

    </dependencies>

©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成,浏览时请结合常识与多方信息审慎甄别。
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

相关阅读更多精彩内容

友情链接更多精彩内容