Hive日志介绍

作者：盐析白兔 | 2024-06-13 04:07:48

踩

Hive日志介绍

日志描述

日志路径：Hive相关日志的默认存储路径为“/var/log/Bigdata/hive/角色名”，Hive1相关日志的默认存储路径为“/var/log/Bigdata/hive1/角色名”，以此类推。

HiveServer：“/var/log/Bigdata/hive/hiveserver”（运行日志），“/var/log/Bigdata/audit/hive/hiveserver”（审计日志）。
MetaStore：“/var/log/Bigdata/hive/metastore”（运行日志），“/var/log/Bigdata/audit/hive/metastore”（审计日志）。
WebHCat：“/var/log/Bigdata/hive/webhcat”（运行日志），“/var/log/Bigdata/audit/hive/webhcat”（审计日志）

日志归档规则：Hive的日志启动了自动压缩归档功能，缺省情况下，当日志大小超过20MB的时候（此日志文件大小可进行配置），会自动压缩，压缩后的日志文件名规则为：“<原有日志名>-<yyyy-mm-dd_hh-mm-ss>.[编号].log.zip”。最多保留最近的20个压缩文件，压缩文件保留个数和压缩文件阈值可以配置

表 1 Hive日志列表

日志类型	日志文件名	描述
运行日志	/hiveserver/hiveserver.out	HiveServer运行环境信息日志
	/hiveserver/hive.log	HiveServer进程的运行日志
	/hiveserver/hive-omm-<日期>-<PID>-gc.log.<编号>	HiveServer进程的GC日志
	/hiveserver/prestartDetail.log	HiveServer启动前的工作日志
	/hiveserver/check-serviceDetail.log	Hive服务启动是否成功的检查日志
	/hiveserver/cleanupDetail.log	HiveServer卸载的清理日志
	/hiveserver/startDetail.log	HiveServer进程启动日志
	/hiveserver/stopDetail.log	HiveServer进程停止日志
	/hiveserver/localtasklog/omm_<日期>_<任务ID>.log	Hive本地任务的运行日志
	/hiveserver/localtasklog/omm_<日期>_<任务ID>-gc.log.<编号>	Hive本地任务的GC日志
	/metastore/metastore.log	MetaStore进程的运行日志
	/metastore/hive-omm-<日期>-<PID>-gc.log.<编号>	MetaStore进程的GC日志
	/metastore/postinstallDetail.log	MetaStore安装后的工作日志
	/metastore/prestartDetail.log	MetaStore启动前的工作日志
	/metastore/cleanupDetail.log	MetaStore卸载的清理日志
	/metastore/startDetail.log	MetaStore进程启动日志
	/metastore/stopDetail.log	MetaStore进程停止日志
	/metastore/metastore.out	MetaStore运行环境信息日志
	/webhcat/webhcat-console.out	Webhcat进程启停正常日志
	/webhcat/webhcat-console-error.out	Webhcat进程启停异常日志
	/webhcat/prestartDetail.log	WebHCat启动前的工作日志
	/webhcat/cleanupDetail.log	Webhcat卸载时或安装前的清理日志
	/webhcat/hive-omm-<日期>-<PID>-gc.log.<编号>	WebHCat进程的GC日志
	/webhcat/webhcat.log	WebHCat进程的运行日志
审计日志	hive-audit.log hive-rangeraudit.log	HiveServer审计日志
	metastore-audit.log	MetaStore审计日志
	webhcat-audit.log	WebHCat审计日志
	jetty-<日期>.request.log	Jetty服务的请求日志

日志级别

Hive提供了如表2所示的日志级别。

运行日志的级别优先级从高到低分别是ERROR、WARN、INFO、DEBUG，程序会打印高于或等于所设置级别的日志，设置的日志等级越高，打印出来的日志就越少。

表 2 日志级别

级别	描述
ERROR	ERROR表示系统运行的错误信息。
WARN	WARN表示当前事件处理存在异常信息。
INFO	INFO表示记录系统及各事件正常运行状态信息。
DEBUG	DEBUG表示记录系统及系统的调试信息。

如果您需要修改日志级别，请执行如下操作：

参考修改集群服务配置参数，进入Hive服务“全部配置”页面。
左边菜单栏中选择所需修改的角色所对应的日志菜单。
选择所需修改的日志级别并保存。

说明：
配置Hive日志级别后可立即生效，无需重启服务。

日志格式

Hive的日志格式如下所示：

表 3 日志格式

日志类型	格式	示例
运行日志	<yyyy-MM-dd HH:mm:ss,SSS>\|<LogLevel>\|<产生该日志的线程名字>\|<log中的message>\|<日志事件的发生位置>	2014-11-05 09:45:01,242 \| INFO \| main \| Starting hive metastore on port 21088 \| org.apache.hadoop.hive.metastore.HiveMetaStore.main(HiveMetaStore.java:5198)
审计日志	<yyyy-MM-dd HH:mm:ss,SSS>\|<LogLevel>\|<产生该日志的线程名字>\|<User Name><User IP><Time><Operation><Resource><Result><Detail >\|<日志事件的发生位置>	2018-12-24 12:16:25,319 \| INFO \| HiveServer2-Handler-Pool: Thread-185 \| UserName=hive UserIP=10.153.2.204 Time=2018/12/24 12:16:25 Operation=CloseSession Result=SUCCESS Detail= \| org.apache.hive.service.cli.thrift.ThriftCLIService.logAuditEvent(ThriftCLIService.java:434)

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/盐析白兔/article/detail/710809