Spark】 如何管理spark作业执行过程中产生烦人的那些日志吗?

2020-05-12 11:44发布

2条回答
闫栢汌
2020-05-12 18:48

spark的默认日志级别是INFO,在使用的时候会有大量的INFO信息输出,很不方便。怎么将spark的日志级别改为WARN,使其不再显示INFO信息。
在spark目录下的conf目录中,修改log4j.properties文件

把log4j.rootCategory的值INFO修改为log4j.rootCategory=WARN,console


对于在编程中以及spark-shell中设置日志级别:sc.setLogLevel("WARN"),即调用SparkContext的setLogLevel方法


一周热门 更多>