rsyslog queue队列权威指南

实际上,队列在整个日志的生命周期中都存在,它是Rsyslog的核心,一般情况下,我们感觉不到它的存在;然而,从日志的产生到被处理的过程,都必须经过两个队列,一个是主消息队列(main message queue),另一个是动作队列(action queue)。通过下面的图片,可以理解得更加清楚:

[图片1]

从上图中可以看到,日志产生后,先经过预处理器然后就被压入main message queue等待后续的处理,在进入action queue之前,日志被解析器和过滤器处理,它们的作用是读取rsyslog.conf配置文件中设置的规则,和日志中的内容进行对比,然后发送到合适的action queue,一旦日志进入到这个action queue之后,就会从主消息队列中删除。

日志真正被处理的阶段发生在进入action queue之后,action processor(动作处理器)会从action queue中获取最先进入队列的日志进行处理,根据规则进行日志的输出,例如写入文件,录入数据库、发送到远程服务器,甚至是把它们丢弃。

rsyslog.conf中每一条规则的action都有一个action queue,这种queue默认类型是direct queue,但严格来说,它不属于队列,虽然名字中有queue字样。direct queue通常处理简单的行为,例如把日志写入本地文件。

在direct queue下,同一条日志如果被多个动作处理器消费,这个时候,同一条日志会被复制到各个动作队列中,那么可能会造成的现象是,当你使用discard丢弃日志的时候,会发现discard指令没有生效,原因是:discard指令丢弃的是原始日志的副本,而原始的日志会继续活动在原来的工作流中。

linux查看线程数方法

1、cat /proc/${pid}/status

2、pstree -p ${pid}

3、top -p ${pid} 再按H   或者直接输入 top -bH -d 3 -p  ${pid}

top -H
手册中说:-H : Threads toggle
加上这个选项启动top,top一行显示一个线程。否则,它一行显示一个进程。

4、ps xH
手册中说:H Show threads as if they were processes
这样可以查看所有存在的线程。

5、ps -mp <PID>
手册中说:m Show threads after processes
这样可以查看一个进程起的线程数。

总结系统限制:

/proc/sys/kernel/pid_max #查系统支持的最大线程数,一般会很大,相当于理论值
/proc/sys/kernel/thread-max
max_user_process(ulimit -u) #系统限制某用户下最多可以运行多少进程或线程
/proc/sys/vm/max_map_count  #硬件内存大小

一、Java虚拟机本身限制:

-Xms  #intial java heap size
-Xmx  #maximum java heap size
-Xss  #the stack size for each thread

二、查询当前某程序的线程或进程数

pstree -p `ps -e | grep java | awk ‘{print $1}’` | wc -l

pstree -p 3660 | wc -l

三、查询当前整个系统已用的线程或进程数

pstree -p | wc -l

MongoDB的客户端管理工具–nosqlbooster

推荐一款MongoDB的客户端工具–nosqlbooster,也是工作中一直使用的连接管理MongoDB的工具。这个工具还有个曾用名–mongobooster。nosqlbooster立志做“The Smartest IDE for MongoDB”。它支持 MongoDB v2.6-4.0所有版本,并且更新升级及时。它既有免费版,也有加强升级的付费版。

官网: https://nosqlbooster.com/downloads

工具支持Windows、Linux 和 Mac OS。

1693550711-7131-0b63a21f7d53eb9a0dd3764703e0

下面我将常见的一些操作 和大家讲解一下:

1.连接登入

step 1 点击上面工具栏的【Connect】按钮

1693550674-9349-20e9905b7fe2373516353f3319fe

 step 2 在弹出的Connections 界面中 点击[Create]按钮。因为是第一次,连接信息要新建。

1693550674-5373-470b93bdc6a11f7fda4776bf9daf

step 3 在弹出的Connection Editor 界面编辑登入信息。

有三类信息要求输入:1. Basic;2.Authentication;3.Default Database。

1. Basic 编辑界面;

这时候大家一定要注意Port端口,因为它默认的是27017,大家要根据实际需求调整修改。还有就是Name是显示名称,可以修改为更有代表性的名称。

1693550714-3993-37bd58d530c3fd90d17379806862

 2.点击【Authentication】,此处需输入 Auth DB 数据(数据库名称),用户数据 和 密码数据

1693550675-5244-30e864bdb114c48f930c423b1cd6

3.点击【Default DataBase】,进入Default DataBase界面。

1693550675-2090-8c6ca47100af7fd1fb84d745d2db

请一定要输入指定的数据库,否则可能提示错误,如:MongoError:Authentication Failed。或者可以登入进去,但是看不到任何 集合。

1693550685-3579-c51378683fb07b625ef4d91994ca

但是,随着版本的升级,新版本这个栏位的值在登入时可能会自动获取前面输入Auth DB的 输入值,但是目前来看还不是很稳定。

建议大家手动输入Default DataBase 数据。

2.打开一个新的查询界面

在很多工具,都会有一个打开查询界面的按钮。

例如:连接Sql Server的 SSMS客户端,工具栏很明显就有一个功能按钮【新建查询】

1693550685-5659-afd9c75db8578bf5dda1f74ea539

单纯的nosqlbooster工具没有这个选项,但是可以通过快捷方式来打开,如下:

1693550716-2728-9f1f7b631e15d8302568abdd49b0

注意点击时,请先用鼠标点击选中要指定的集合或数据库

3.查询代码生成器

这个工具还有一个查询代码生成器,可以将用户编写的查询语言装换成 MongoDB Shell、JavaScript 、Java、C# 、Python 等各种语言。例如:

1693550687-2290-453051c3d13dc1a57be6b0f4ba23

 转换为C# 语句,我们可以看到很多C# 语言关于MongoDB的操作写法。

1693550687-2649-c17634862a321036b2803dcdf64f

 4. 查询语句生成器

刚学习MongoDB,对一些查询写法比较陌生,这个工具可以自动生成一些查询语句。生成器按钮,点击红色标注的[Query]

1693550688-5832-2402b36bc2b2501828a62a976bd7

弹出可视化的查询编辑器,如下:

1693550700-7682-f503c8bba3a0a73d949d19b512a7

点击【OK and Run】就可以生成MongoDB Shell 查询语句。

一定要在生成了db.collectionname..find({}) 命令的界面上编辑,否则,点击Query无效

5.可以使用sql(结构化查询语言)查询

前面第2步中说过,点击【Ctrl+Alt+T】可以打开一个 sql 查询界面。例如

db.employees.aggregate([ { $group: { _id: “$department”,total: { $sum: “$salary” } },} ])

可以转换为sql语言,如下:

mb.runsqlQuery(` SELECT department,SUM(salary) AS total FROM employees GROUP BY department `);

其执行结果是一样的。

另外,为了促使自己尽快熟悉mongo语言,推荐大家还是使用mongo这种JSON类的语言,而不是sql的语言。

6.将查询出的数据导出到Excel文件中

在MongoDB的导出功能中支持JSON和CSV格式,而大家熟悉的Excel一般的工具很难支持,而我们可以通过nosqlbooster工具将少量数据导出到Excel中(所谓的少量数据要求主要受限于本地内存)。

下面以导出集合testexportToexcel的数据为例,进行演示说明。

step 1 执行查询语句

step 2 将显示格式调整为 Table 格式

1693550720-6721-cd743cab9d3fe50fd9c28efe9284

step 3 按Shift 键,选中所要导出的数据

1693550700-7125-2ca922bcd5846f6911753ab0d38c

step  4 在选中的数据区域中,鼠标右击,选中【copy  Document(s) to Clipboard -Tab-Separted Values

1693550705-1395-b02bd4dbede21cbf06f0ed6ae4c0

step 5 粘贴至excel文件中,即可。

1693550707-7336-54072d435c9073e939c9eda97c39

Kafka删除topic的方法

在运营环境中,删除kafka topic的方法,没有必要当然不要这么干,迫不得已才会去删除topic。

首先配置文件server.properties 增加参数 delete.topic.enable=true

其次呢,使用删除命令行:

./bin/kafka-topics.sh –delete –topic THIS_IS_MY_TOPIC –zookeeper localhost:2181

*红色字体需要替换。

或者使用kafka-manager集群管理工具删除。

如果删除之前,没有配置 delete.topic.enable=true 参数,那么topic只会标记为marked for deletion ,也就是说,只是标记并没有删除;

此时只要加上配置项,然后重启kafka就可以真正删除该topic。

如果重启还是没有被删除,那么就使用zookeeper的命令删除试试;

输入工具行命令: ./zookeeper-3.4.10/bin/zkCli.sh

此时进入了一个shell中端。

执行:ls /brokers/topics 命令可以查看当前brokers下所有topics。

然后执行: rmr /brokers/topics/[topic name] 删除指定的topic,但是可能会提示:

The command ‘rmr’ has been deprecated. Please use ‘deleteall’ instead.

只要把rmr换成deleteall就可以了,如:

deleteall /brokers/topics/[topic name]

再次使用ls /brokers/topics 命令查看topics,如果发现你要删除的topic还在,

执行:ls /admin/delete_topics  这里会显示出你刚刚要删除的topic,然后执行:deleteall /admin/delete_topics/[topic name]  就可以完全删除了。

总结一下:

1.执行:

./bin/kafka-topics.sh –delete –topic THIS_IS_MY_TOPIC –zookeeper localhost:2181

2.如果没有删除:

配置文件server.properties 增加参数 delete.topic.enable=true

3.重启kafka

4.还是没有删除:

执行:./zookeeper-3.4.10/bin/zkCli.sh

执行:ls /brokers/topics 命令可以查看当前brokers下所有topics

执行:deleteall /brokers/topics/[topic name]

 

5.再次使用ls /brokers/topics 命令查看topics,如果发现你要删除的topic还在

执行:ls /admin/delete_topics

执行:deleteall /admin/delete_topics/[topic name] 

结束完成。比较麻烦,但是有效解决在kafka使用过程中如果有需要删除topic而又删除失败。

kafka集群服务broker扩容

原先的3节点的kafka假设为node1、node2、node3

准备2台空闲点的服务器(这里假设为node4和node5)

系统版本:CentOS7

node1  192.168.2.187

node2  192.168.2.188

node3  192.168.2.189

node4  192.168.2.190

node5  192.168.2.191

kafka的扩容操作分为2步:

1、zk 节点扩容

2、kafka 节点扩容

首先在node4 node5上把相关的软件部署好:

cd /root/
tar xf zookeeper-3.4.9.tar.gz
tar xf kafka_2.11-0.10.1.0.tar.gz 
tar xf jdk1.8.0_101.tar.gz 

mv kafka_2.11-0.10.1.0  zookeeper-3.4.9   jdk1.8.0_101   /usr/local/

cd /usr/local/ 
ln -s zookeeper-3.4.9   zookeeper-default
ln -s kafka_2.11-0.10.1.0  kafka-default
ln -s jdk1.8.0_101    jdk-default

第一部分:zk节点的扩容:

1、在node4上执行:

mkdir /usr/local/zookeeper-default/data/ 

vim  /usr/local/zookeeper-default/conf/zoo.cfg  在原有的基础上,增加最后的2行配置代码:
tickTime=2000
initLimit=10
syncLimit=5
dataDir=/usr/local/zookeeper-default/data/
clientPort=2181
maxClientCnxns=2000
maxSessionTimeout=240000
server.1=192.168.2.187:2888:3888
server.2=192.168.2.188:2888:3888
server.3=192.168.2.189:2888:3888
server.4=192.168.2.190:2888:3888
server.5=192.168.2.191:2888:3888

## 清空目录防止有脏数据
rm -fr /usr/local/zookeeper-default/data/*

## 添加对应的myid文件到zk数据目录下
echo 4 > /usr/local/zookeeper-default/data/myid

2、启动node4的zk进程:

/usr/local/zookeeper-default/bin/zkServer.sh start

/usr/local/zookeeper-default/bin/zkServer.sh  status   类似如下效果:
ZooKeeper JMX enabled by default
Using config: /usr/local/zookeeper-default/bin/../conf/zoo.cfg
Mode: follower

/usr/local/zookeeper-default/bin/zkCli.sh

echo stat | nc 127.0.0.1 2181  结果类似如下:
Zookeeper version: 3.4.9-1757313, built on 08/23/2016 06:50 GMT
Clients:
 /127.0.0.1:50072[1](queued=0,recved=6,sent=6)
 /127.0.0.1:50076[0](queued=0,recved=1,sent=0)

Latency min/avg/max: 0/2/13
Received: 24
Sent: 23
Connections: 2
Outstanding: 0
Zxid: 0x10000009a
Mode: follower
Node count: 63

3、在node5上执行:

vim  /usr/local/zookeeper-default/conf/zoo.cfg  增加最后的2行代码:
tickTime=2000
initLimit=10
syncLimit=5
dataDir=/usr/local/zookeeper-default/data/
clientPort=2181
maxClientCnxns=2000
maxSessionTimeout=240000
server.1=192.168.2.187:2888:3888
server.2=192.168.2.188:2888:3888
server.3=192.168.2.189:2888:3888
server.4=192.168.2.190:2888:3888
server.5=192.168.2.191:2888:3888

## 清空目录防止有脏数据
rm -fr /usr/local/zookeeper-default/data/*

## 添加对应的myid文件到zk数据目录下
echo 5 > /usr/local/zookeeper-default/data/myid

4、启动node5的zk进程:

/usr/local/zookeeper-default/bin/zkServer.sh start

/usr/local/zookeeper-default/bin/zkServer.sh  status
 
echo stat | nc  127.0.0.1 2181  结果类似如下:
Zookeeper version: 3.4.9-1757313, built on 08/23/2016 06:50 GMT
Clients:
 /127.0.0.1:45582[0](queued=0,recved=1,sent=0)
Latency min/avg/max: 0/0/0
Received: 3
Sent: 2
Connections: 1
Outstanding: 0
Zxid: 0x10000009a
Mode: follower
Node count: 63
也可以使用 echo mntr   | nc  127.0.0.1 2181  这个结果更详细,类似如下:
zk_version3.4.9-1757313, built on 08/23/2016 06:50 GMT
zk_avg_latency0
zk_max_latency194
zk_min_latency0
zk_packets_received101436
zk_packets_sent102624
zk_num_alive_connections4
zk_outstanding_requests0
zk_server_statefollower
zk_znode_count141
zk_watch_count190
zk_ephemerals_count7
zk_approximate_data_size10382
zk_open_file_descriptor_count35
zk_max_file_descriptor_count102400

5、当我们确认 新加的2个zk节点没问题后,我们需要去修改之前的老的3台zk的配置,然后重启这3个zk

修改 node1 node2 node3的 zk配置,如下:

vim  /usr/local/zookeeper-default/conf/zoo.cfg  增加最后的2行代码:
tickTime=2000
initLimit=10
syncLimit=5
dataDir=/usr/local/zookeeper-default/data/
clientPort=2181
maxClientCnxns=2000
maxSessionTimeout=240000
server.1=192.168.2.187:2888:3888
server.2=192.168.2.188:2888:3888
server.3=192.168.2.189:2888:3888
server.4=192.168.2.190:2888:3888
server.5=192.168.2.191:2888:3888

注意重启的时候,我们先重启 follower节点(例如我这里follower是 node2、node3,leader是 node1)

/usr/local/zookeeper-default/bin/zkServer.sh stop
/usr/local/zookeeper-default/bin/zkServer.sh status

/usr/local/zookeeper-default/bin/zkServer.sh start
/usr/local/zookeeper-default/bin/zkServer.sh status

第二部分:kafka节点的扩容:

1、node4 (192.168.2.190)上修改:

mkdir -pv /usr/local/kafka-default/kafka-logs

vim /usr/local/kafka-default/config/server.properties  修改后的文件如下:
broker.id=4   # 注意修改这里
listeners=PLAINTEXT://:9094,TRACE://:9194
advertised.listeners=PLAINTEXT://192.168.2.190:9094
num.network.threads=3
num.io.threads=8
socket.send.buffer.bytes=102400
socket.receive.buffer.bytes=102400
socket.request.max.bytes=104857600
log.dirs=/usr/local/kafka-default/kafka-logs
num.partitions=3
num.recovery.threads.per.data.dir=1
log.retention.hours=24
log.segment.bytes=1073741824
log.retention.check.interval.ms=300000
zookeeper.connect=192.168.2.187:2181,192.168.2.188:2181,192.168.2.189:2181,192.168.2.190:2181,192.168.2.191:2181  # 注意修改这里
zookeeper.connection.timeout.ms=6000
default.replication.factor=2
compression.type=gzip
offsets.retention.minutes=2880
controlled.shutdown.enable=true
delete.topic.enable=true

2、启动node4的kafka程序:

/usr/local/kafka-default/bin/kafka-server-start.sh -daemon /usr/local/kafka-default/config/server.properties

3、node5(192.168.2.191)上修改

mkdir -pv /usr/local/kafka-default/kafka-logs

vim /usr/local/kafka-default/config/server.properties  修改后的文件如下:
broker.id=5   # 注意修改这里
listeners=PLAINTEXT://:9094,TRACE://:9194
advertised.listeners=PLAINTEXT://192.168.2.191:9094
num.network.threads=3
num.io.threads=8
socket.send.buffer.bytes=102400
socket.receive.buffer.bytes=102400
socket.request.max.bytes=104857600
log.dirs=/usr/local/kafka-default/kafka-logs
num.partitions=3
num.recovery.threads.per.data.dir=1
log.retention.hours=24
log.segment.bytes=1073741824
log.retention.check.interval.ms=300000
zookeeper.connect=192.168.2.187:2181,192.168.2.188:2181,192.168.2.189:2181,192.168.2.190:2181,192.168.2.191:2181   # 注意修改这里
zookeeper.connection.timeout.ms=6000
default.replication.factor=2
compression.type=gzip
offsets.retention.minutes=2880
controlled.shutdown.enable=true
delete.topic.enable=true

4、启动node5的kafka程序:

/usr/local/kafka-default/bin/kafka-server-start.sh -daemon /usr/local/kafka-default/config/server.properties

5、测试是否有问题

这里我们可以自己先用 kafka-console-producer.sh 和 kafka-console-consumer.sh  自测下是否 正常工作,然后看看 kafka-manager上是否有需要重新均衡的副本。。

第三部分:对存在风险broker节点的数据迁移(我这里需要这么操作,单纯的扩容不需要这个步骤):

这里我们可以使用kafka-manager这个web平台来做 topic的迁移操作,很简单,这里就不截图了。

第四部分: 对node2 node3下线操作

1、关闭node2 node3节点上面的zk进程,让zk leader节点自动选举

2、关闭node2 node3上面的kafka进程,让kafka controller节点自动选举

## 可能遇到的问题: 

在迁移过程中,遇到consumergroup在我们迁移topic的时候发生异常,让业务方重启了consumer后 报错消失。。

 

转自:https://blog.51cto.com/lee90/2423980

123424
 
Copyright © 2008-2021 lanxinbase.com Rights Reserved. | 粤ICP备14086738号-3 |