当前位置:   article > 正文

CDH6 Hive开启审计日志,审查SQL_查看hive建表记录审计

查看hive建表记录审计

1.需求 

       需要对CDH6的hive 执行SQL做记录,单独文件以供审计。CDH没有显性开关来配置,需要通过log4j2日志配置,将org.apache.hadoop.hive.metastore.HiveMetaStore.audit 类输出的审计内容写到独立文件。

参考文章 :Hive开启审计日志_hive审计日志-CSDN博客    配置后发现原来输出的  “hadoop-cmf-hive-HIVEMETASTORE-bd1.log.out”  日志不再输出, 优化如下。

2. 配置

2.1 开启操作日志记录

2.2 配置hive metastore server 的log4j2

cdh->hive->配置,搜索“Hive Metastore Server 日志记录高级配置代码段(安全阀)”

增加log4j2配置:

  1. appenders=AUDIT, console, DRFA, redactorForRootLogger
  2. appender.AUDIT.type=RollingRandomAccessFile
  3. appender.AUDIT.name=AUDIT
  4. appender.AUDIT.fileName=${log.dir}/operation_logs/hive_audit.log
  5. appender.AUDIT.filePattern=${log.dir}/operation_logs/hive_audit.%d{yyyy-MM-dd}
  6. appender.AUDIT.layout.type=PatternLayout
  7. appender.AUDIT.layout.pattern=%d{DEFAULT} %-5p %c: [%t]: %m%n
  8. appender.AUDIT.policies.type=Policies
  9. appender.AUDIT.policies.size.type=SizeBasedTriggeringPolicy
  10. appender.AUDIT.policies.size.size=${max.log.file.size}
  11. appender.AUDIT.strategy.type=DefaultRolloverStrategy
  12. appender.AUDIT.strategy.max=${max.log.file.backup.index}
  13. logger.audit.name = org.apache.hadoop.hive.metastore.HiveMetaStore.audit
  14. logger.audit.level = info
  15. logger.audit.additivity = false
  16. logger.audit.appenderRef.audit.ref = AUDIT

说明:

(1)appenders=AUDIT, console, DRFA, redactorForRootLogger

        AUDIT为新加的appenders, 其它为HIVE本身默认带的,如果没有加上,则出现原来的HMS日志没有输出。

     hive默认log4j2配置,可以在/var/run/cloudera-scm-agent/process/*hive-HIVEMETASTORE路径下找最新的hive-log4j2.properties 文件。

(2)logger.audit.additivity = false 

此项配置是否向父节点 logger 传递的。配置false 则HMS日志不再输出audit类输出内容。

(3)配置完重启即可查看日志.

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/小小林熬夜学编程/article/detail/710900
推荐阅读
相关标签
  

闽ICP备14008679号