使用spark-sql操作hive的时候,有大量的INFO信息输出,很烦人,怎么将这些INFO信息屏蔽掉。
spark的默认日志级别是INFO,在使用的时候会有大量的INFO信息输出,很不方便。怎么将spark的日志级别改为WARN,使其不再显示INFO信息。
在spark目录下的conf目录中,修改log4j.properties文件
将原本的INFO改为WARN,保存后重新启动spark即可。
对于在编程中以及spark-shell中设置日志级别:
sc.setLogLevel("WARN")
即调用SparkContext
的setLogLevel
方法