调整spark-sql控制台日志输出级别_spark-sql任务设置executor日志级别

作者：小蓝xlanll | 2024-04-09 01:39:02

踩

spark-sql任务设置executor日志级别

问题：

每次spark-sql操作都会打印大量的INFO信息，这样我们查看结果就会很麻烦，

解决：

调整Spark日志级别的配置文件是在$SPARK_HOME/conf/目录下的log4j.properties.template，默认级别是INFO

将log4j.properties.template复制一份

cp log4j.properties.template log4j.properties

进入log4j.properties修改输出到console的日志级别：

在IDEA中解决该问题：

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/小蓝xlanll/article/detail/389476