import org.apache.spark.sql.SparkSession
object DataCleaning {
def main(args: Array[String]): Unit = {
val spark = SparkSession.builder().appName("DataCleaning")
.master("local[2]").getOrCreate()
val access = spark.sparkContext.textFile("file:///f:/access.txt")
access.foreach(println)
access.map(line => { line
val splits = line.split(" ");
splits(0) //取出IP地址
}).foreach(println)
spark.stop()
}
}
数据清洗
©著作权归作者所有,转载或内容合作请联系作者
- 文/潘晓璐 我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
- 文/花漫 我一把揭开白布。 她就那样静静地躺着，像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上，一...
- 文/苍兰香墨 我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
推荐阅读更多精彩内容
- 数据清洗顾名思义就是能清洗出号码中的不可用号码，和以往传统的号码匹配不同，最新型的清洗方式是系统拨测清洗，精准度不...
