Spark应用程序中设置日志输出级别

在Spark应用程序中设置日志输出级别

我们通常会使用IDE(例如Intellij IDEA)开发Spark应用,而程序调试运行时会在控制台中打印出所有的日志信息。它描述了(伪)集群运行、程序执行的所有行为。

在很多情况下,这些信息对于我们来说是无关紧要的,我们更关心的是最终结果,无论是正常输出还是异常停止。

幸运的是,我们可以通过log4j主动控制日志输出的级别。引入log4j.Loggerlog4j.Level,并在对象中设置Logger.getLogger("org").setLevel(Level.ERROR)


以此运行后,控制台只输出ERROR级别信息,并不会错过输出结果和调试报错。  

Reference: http://stackoverflow.com/questions/32189206/how-to-setup-intellij-14-scala-worksheet-to-run-spark

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成,浏览时请结合常识与多方信息审慎甄别。
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

相关阅读更多精彩内容

  • 在应用程序中添加日志记录总的来说基于三个目的:监视代码中变量的变化情况,周期性的记录到文件中供其他应用进行统计分析...
    时待吾阅读 10,461评论 0 6
  • 在应用程序中添加日志记录总的来说基于三个目的:监视代码中变量的变化情况,周期性的记录到文件中供其他应用进行统计分析...
    时待吾阅读 10,523评论 1 13
  • From:Python之日志处理(logging模块) - 云游道士 - 博客园 https://www.cnbl...
    vigny的先生阅读 7,602评论 3 5
  • “凡有的,还要加给他,叫他有余。” 雨季比以往来得早些,空气的潮湿让灰蒙的天空愈显阴沉,老弗朗西斯眺望落地窗外...
    9ml叶酸阅读 2,806评论 10 8
  • (1) 收到了改稿通知,将原本认为还可以的一篇作文批的四分五裂。 我和大师的距离差很远! 因为,我发现这些被提出的...
    猫小懒虫阅读 1,211评论 0 0

友情链接更多精彩内容