统信uos配置rsyslog日志转发kafka_统信uos系统日志

统信UOS配置rsyslog日志并转发到kafka中

统信uos使用的是arm64位的cpu，自带的rsyslog不是v8版本的，需要将rsyslog升级到v8版本，离线安装升级需要下载相应的deb安装包。升级成功后去到

/usr/lib/aarch64-linux-gun/rsyslog
1

文件夹下的查看是否有omkafka.os文件，如果没有需要安装rsyslog-kafka插件，安装离线kafka插件时需要注意依赖问题，例如：libc6的版本
安装完成后再次查看是否有omkafka.os文件，该文件是rsyslog日志能否转发到kafka的关健。

安装完毕后，编辑rsyslog的配置文件

vi /etc/rsyslog.conf
1

在文件中添加如下配置

# Provides UDP syslog reception
#$ModLoad imudp
#$UDPServerRun 514

# Provides TCP syslog reception
#$ModLoad imtcp
#$InputTCPServerRun 514
#module(load="imtcp" maxsessions="1000")
#input(
#  type="imtcp"
#  address="0.0.0.0"
#  port="514"
#)
module(load="imudp" threads="2"
       timeRequery="8" batchSize="128")
module(load="imptcp" threads="4")

input(type="imudp" port="514"
      ruleset="write2kafka")
input(type="imptcp" port="514"
      ruleset="write2kafka")

# Where to place auxiliary files
#
# # Use default timestamp format
#$ActionFileDefaultTemplate RSYSLOG_TraditionalFileFormat
template(name="rawFormat" type="string" string="%rawmsg%")
#$ActionFileDefaultTemplate rawFormat
#
# remote host is: name/ip:port, e.g. 192.168.0.1:514, port optional
#*.* @@remote-host:514
# ### end of the forwarding rule ###
#$ModLoad omkafka
#
module(load="omkafka")

ruleset(
name="log2kafka"
queue.filename="syslog"
queue.spoolDirectory="/data/rsyslog/queue"
queue.size="10000000"
queue.maxdiskspace="10G"
queue.type="LinkedList"
queue.saveonshutdown="on"
queue.dequeueBatchSize="4096"
queue.workerThreads="10"
queue.workerThreadMinimumMessages="100000"
)
{
action(
template="rawFormat"
type="omkafka"
topic="your topic name"
confParam=["compression.codec=snappy",
           "socket.timeout.ms=20",
           "socket.keepalive.enable=true"]
partitions.auto = "on"
resubmitonfailure = "on"
)
}
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60

配置完成后按ESC退出，：wq保存
运行 rsyslog -N 1查看配置文件是否有错误

rsyslog -N 1
1

没有错误重启rsyslog

systemctl restart rsyslog
1

查看rsyslog的状态

systemctl status rsyslog
1

启动kafka的消费者查看是否能够收到日志信息

./kafka-console-consumer.sh --bootstrap-server your kafka ip:port --from-beginning --topic your topic name
1

至此配置完成