Spark 在脚本中设置日志输出等级

在任务脚本中定义日志输出的等级,只输出WARN级别以上的日志

spark = SparkSession.builder.getOrCreate()
sc = spark.sparkContext
sc.setLogLevel("WARN")
©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容

  • idea 添加注释/** 然后回车 选中代码块 Ctrl+Shift+/ 重点推荐阅读:https://www....
    Helen_Cat阅读 20,195评论 0 37
  • 在应用程序中添加日志记录总的来说基于三个目的:监视代码中变量的变化情况,周期性的记录到文件中供其他应用进行统计分析...
    时待吾阅读 5,034评论 0 6
  • 在应用程序中添加日志记录总的来说基于三个目的:监视代码中变量的变化情况,周期性的记录到文件中供其他应用进行统计分析...
    时待吾阅读 5,090评论 1 13
  • 比特科技: 存储、数据库、大数据技术 » 最佳日志实践 http://www.bitstech.net/2014...
    葡萄喃喃呓语阅读 1,631评论 0 13
  • 网易视频云分享:最佳日志实践 - vcould163的博客 - 博客频道 - CSDN.NEThttp://blo...
    葡萄喃喃呓语阅读 568评论 0 9