hsompu

1.需求：在IDEA中编写代码，创建DataFrame 执行sql命令： 2.数据源： student.txt 3.编写代码：(1)添加依赖：pom.xml (2)Demo1...

hsompu

1.需求：通过spark streaming统计端口号1234中的信息 2.编写代码：(1)添加依赖： 记得去掉spark-streaming中的 provided (2)M...

hsompu

1.需求：用spark Streaming写一个wordcount程序，计算发往端口号1235中的信息(单词计数) 2.代码：(1)pom.xml (2)MyTotalNet...

hsompu

1.需求：集成Spark SQL，使用SQL语句进行WordCount2.代码：(1)pom.xml (2)MyNetwordWordCountWithSQL.scala 3...

hsompu

1.需求：利用SparkStreaming处理文件流： 2.代码：(1)pom.xml (2)FileStreaming.scala 3.运行 4.结果：

hsompu

1.需求：利用SparkStreaming处理RDD队列流2.代码：(1)pom.xml (2) 3.运行： 4.结果：

hsompu

1.需求：SparkStreaming处理来自flume push方式发来的数据,即flume将数据推给spark Streaming 2.代码：(1)pom.xml (2)...

hsompu

1.需求：使用 case class 创建DataFrame 2.数据源： student.txt 3.编写代码(1)添加依赖：pom.xml (2)Demo2.scala ...

hsompu

1.需求：读取本地student.txt，并创建DataFrame，并将结果写入mysql数据库中 2.数据源： student.txt 3.写代码： (1)添加依赖：pom...

hsompu

1.需求： 使用Spark SQL 连接hive ，读取数据，将统计结果存储到 mysql中 2.将写好的代码打包上传的集群，然后提交spark运行，前提是hive，HDFS...

hsompu

1.错误信息： 2.错误原因：是因为自己是在搭建的一个spark集群上执行这歌命令，而集群中每一个节点都要工作，都要找到自己节点的本地文件，因此需要每一个节点的路径下都要存在...

hsompu

蒙蒙天气，微漫雾霾。是2019年12月8日的一个星期天。这一天，吃了到北京的第一个自助老火锅。 一如既往，周六、周日都会有早餐时刻。而今天，该由我早起买早餐，讲道...

hsompu

1.需求：使用JDBC RDD 操作数据库2.在数据库中建表并插入数据： 3.添加JDBC驱动 4.写代码： MyJDBCRddDemo.scala 5.结果：