ELK日志系统架构:Elasticsearch、Logstash、Kibana

ElasticSearch 安装

1、下载 ElasticSearch,本文使用的版本为 5.5.1。

2、配置

path.data: /data/es #数据路径
path.logs: /data/logs/es #日志路径
network.host: 本机地址 #服务器地址
http.port: 9200 #端口

如果不修改配置的话,默认的数据和日志都位于elasticsearch文件夹下。

默认地址会使用 192.168.0.1 的地址,此时ElasticSearch运行于开发模式,只能从本机访问。如果修改为生产地址,就会进入生产模式,并且运行 bootstrap check 。

3、启动

./bin/elasticsearch

注意,elasticsearch 不能使用 root 用户启动,使用其他用户启动,要注意有文件夹的读写权限。

我在安装过程中还出现了下面几个警告信息

[2017-08-07T09:13:59,951][WARN ][o.e.b.JNANatives         ] unable to install syscall filter: 
java.lang.UnsupportedOperationException: seccomp unavailable: requires kernel 3.5+ with CONFIG_SECCOMP and CONFIG_SECCOMP_FILTER compiled in
    at org.elasticsearch.bootstrap.SystemCallFilter.linuxImpl(SystemCallFilter.java:350) ~[elasticsearch-5.5.1.jar:5.5.1]
    at org.elasticsearch.bootstrap.SystemCallFilter.init(SystemCallFilter.java:638) ~[elasticsearch-5.5.1.jar:5.5.1]
    at org.elasticsearch.bootstrap.JNANatives.tryInstallSystemCallFilter(JNANatives.java:245) [elasticsearch-5.5.1.jar:5.5.1]
    at org.elasticsearch.bootstrap.Natives.tryInstallSystemCallFilter(Natives.java:113) [elasticsearch-5.5.1.jar:5.5.1]
    at org.elasticsearch.bootstrap.Bootstrap.initializeNatives(Bootstrap.java:111) [elasticsearch-5.5.1.jar:5.5.1]
    at org.elasticsearch.bootstrap.Bootstrap.setup(Bootstrap.java:194) [elasticsearch-5.5.1.jar:5.5.1]
    at org.elasticsearch.bootstrap.Bootstrap.init(Bootstrap.java:351) [elasticsearch-5.5.1.jar:5.5.1]
    at org.elasticsearch.bootstrap.Elasticsearch.init(Elasticsearch.java:123) [elasticsearch-5.5.1.jar:5.5.1]
    at org.elasticsearch.bootstrap.Elasticsearch.execute(Elasticsearch.java:114) [elasticsearch-5.5.1.jar:5.5.1]
    at org.elasticsearch.cli.EnvironmentAwareCommand.execute(EnvironmentAwareCommand.java:67) [elasticsearch-5.5.1.jar:5.5.1]
    at org.elasticsearch.cli.Command.mainWithoutErrorHandling(Command.java:122) [elasticsearch-5.5.1.jar:5.5.1]
    at org.elasticsearch.cli.Command.main(Command.java:88) [elasticsearch-5.5.1.jar:5.5.1]
    at org.elasticsearch.bootstrap.Elasticsearch.main(Elasticsearch.java:91) [elasticsearch-5.5.1.jar:5.5.1]
    at org.elasticsearch.bootstrap.Elasticsearch.main(Elasticsearch.java:84) [elasticsearch-5.5.1.jar:5.5.1]
[2017-08-01T14:10:57,843][WARN ][o.e.b.BootstrapChecks    ] [VAfWGGZ] max file descriptors [65535] for elasticsearch process is too low, increase to at least [65536]
[2017-08-01T14:10:57,844][WARN ][o.e.b.BootstrapChecks    ] [VAfWGGZ] max number of threads [1024] for user [maserati] is too low, increase to at least [2048]
[2017-08-01T14:10:57,844][WARN ][o.e.b.BootstrapChecks    ] [VAfWGGZ] max virtual memory areas vm.max_map_count [65530] is too low, increase to at least [262144]
[2017-08-01T14:10:57,844][WARN ][o.e.b.BootstrapChecks    ] [VAfWGGZ] system call filters failed to install; check the logs and fix your configuration or disable system call filters at your own risk

针对文件描述符,调成 65536 ulimit -n 65536,如果提示没有权限,则可以在用户的 .bash_profile 中增加一行,退出用户重新登陆就可以。

针对 max number of threads 问题,修改 /etc/security/limits.d/90-nproc.conf 。

*          soft    nproc     2048
root       soft    nproc     unlimited

针对 max virtual memory areas ,修改 /etc/sysctl.conf。如果没有,就新增一行。

vm.max_map_count = 262144

针对 system_call_filter 可以,通过修改配置文件(elasticsearch.yml)关掉这个参数。

bootstrap.system_call_filter: false 

4、访问,出现下面的结果表示启动成功。

[root@iZ627x15h6pZ cloud]# curl http://localhost:9200
{
  "name" : "VAfWGGZ",
  "cluster_name" : "elasticsearch",
  "cluster_uuid" : "J9Tm5R2zRt2PkOSwtXj5Wg",
  "version" : {
    "number" : "5.5.1",
    "build_hash" : "19c13d0",
    "build_date" : "2017-07-18T20:44:24.823Z",
    "build_snapshot" : false,
    "lucene_version" : "6.6.0"
  },
  "tagline" : "You Know, for Search"
}

Logstash 安装

1、下载并解压 Logstash,本文用的 Logstash-5.5.1 版本

2、创建一个简单的配置文件 logstash_test.conf

input { stdin { } }
output {
  stdout { codec => rubydebug }
}

3、启动 logstash

./bin/logstash -f logstash_test.conf 

出现这些信息,表示启动成功了。

[2017-08-01T13:58:38,437][INFO ][logstash.pipeline        ] Pipeline main started
The stdin plugin is now waiting for input:
[2017-08-01T13:58:38,532][INFO ][logstash.agent           ] Successfully started Logstash API endpoint {:port=>9600}

4、与ElasticSearch配合。

Kibana 安装

1、下载 Kibana

2、修改配置

//启动端口 因为端口受限 所以变更了默认端口
server.port: 5601
//启动服务的ip
server.host: "本机ip"
//elasticsearch地址
elasticsearch.url: "http://localhost:9200”

3、启动程序

./bin/kibana

4、访问查看Kibana启动是否成功,并检索查看数据

http://localhost:5601

参考资料:
1、Download Logstash
2、ElasticSearch Download

rsyslog queue队列权威指南

实际上,队列在整个日志的生命周期中都存在,它是Rsyslog的核心,一般情况下,我们感觉不到它的存在;然而,从日志的产生到被处理的过程,都必须经过两个队列,一个是主消息队列(main message queue),另一个是动作队列(action queue)。通过下面的图片,可以理解得更加清楚:

[图片1]

从上图中可以看到,日志产生后,先经过预处理器然后就被压入main message queue等待后续的处理,在进入action queue之前,日志被解析器和过滤器处理,它们的作用是读取rsyslog.conf配置文件中设置的规则,和日志中的内容进行对比,然后发送到合适的action queue,一旦日志进入到这个action queue之后,就会从主消息队列中删除。

日志真正被处理的阶段发生在进入action queue之后,action processor(动作处理器)会从action queue中获取最先进入队列的日志进行处理,根据规则进行日志的输出,例如写入文件,录入数据库、发送到远程服务器,甚至是把它们丢弃。

rsyslog.conf中每一条规则的action都有一个action queue,这种queue默认类型是direct queue,但严格来说,它不属于队列,虽然名字中有queue字样。direct queue通常处理简单的行为,例如把日志写入本地文件。

在direct queue下,同一条日志如果被多个动作处理器消费,这个时候,同一条日志会被复制到各个动作队列中,那么可能会造成的现象是,当你使用discard丢弃日志的时候,会发现discard指令没有生效,原因是:discard指令丢弃的是原始日志的副本,而原始的日志会继续活动在原来的工作流中。

linux查看线程数方法

1、cat /proc/${pid}/status

2、pstree -p ${pid}

3、top -p ${pid} 再按H   或者直接输入 top -bH -d 3 -p  ${pid}

top -H
手册中说:-H : Threads toggle
加上这个选项启动top,top一行显示一个线程。否则,它一行显示一个进程。

4、ps xH
手册中说:H Show threads as if they were processes
这样可以查看所有存在的线程。

5、ps -mp <PID>
手册中说:m Show threads after processes
这样可以查看一个进程起的线程数。

总结系统限制:

/proc/sys/kernel/pid_max #查系统支持的最大线程数,一般会很大,相当于理论值
/proc/sys/kernel/thread-max
max_user_process(ulimit -u) #系统限制某用户下最多可以运行多少进程或线程
/proc/sys/vm/max_map_count  #硬件内存大小

一、Java虚拟机本身限制:

-Xms  #intial java heap size
-Xmx  #maximum java heap size
-Xss  #the stack size for each thread

二、查询当前某程序的线程或进程数

pstree -p `ps -e | grep java | awk ‘{print $1}’` | wc -l

pstree -p 3660 | wc -l

三、查询当前整个系统已用的线程或进程数

pstree -p | wc -l

Java 21新特性

在最新的 Java 21 版本中, Oracle 开发团队为其带来了 15 大功能更新,详细如下:

  • 字符串模板(预览阶段)

    该功能通过将文字文本与嵌入式表达式和处理器相结合来产生专门的结果,从而补充了 Java 现有的字符串文字和文本块。该语言功能和 API 的目的是通过轻松表达包含运行时计算值的字符串来简化 Java 程序的编写。它有望增强表达式的可读性,提高程序的安全性,保持灵活性,并简化接受用非 Java 语言编写的字符串的 API 的使用。

  • 序列集合

    有序集合提案引入了一些接口,用于表示具有已定义遇到顺序的集合。每个集合都有明确定义的第一个和第二个元素,以此类推,直到最后一个元素。提供了一致的 API,用于接受第一个和最后一个元素以及以相反顺序处理元素。该提案的提出的原因是,Java 的集合框架缺乏一种表示具有定义的遇到顺序的元素序列的集合类型。它还缺乏适用于这些集合的一致的操作集。该提案要求定义顺序集合、集合和映射的接口,并将这些接口适应到现有的集合类型层次结构中。所有这些新方法都具有默认实现。

  • 加入 Generational ZGC

    分代 ZGC 的目的是通过扩展 ZGC,维护新旧对象的不同代,从而提高应用程序的性能。年轻的对象往往很早就会死亡;保持独立的世代将允许 ZGC 更频繁地收集年轻对象。使用分代 ZGC 运行的应用程序应能获得以下优势:降低分配停滞的风险、降低堆内存开销和降低垃圾回收 CPU 开销。与非分代 ZGC 相比,这些优势应该可以实现,而不会显著降低吞吐量。

  • 记录模式

    该功能在 JDK 19 和 JDK 20 中都是预览版,主要用于解构记录值。记录模式和类型模式可以嵌套,以实现强大、声明性和可组合的数据导航和处理形式。该提案的目标包括将模式匹配扩展到重组记录类实例,并添加嵌套模式,从而实现更多可组合的数据查询。当前 JEP(JDK 增强提案)中的记录模式提案将最终确定该功能,并根据不断积累的经验和反馈意见进一步完善。

  • switch 模式匹配

    该功能允许 switch 表达式或语句可以根据多个模式(每个模式都有特定的操作)进行测试,从而可以安全、简洁地表达面向数据的复杂查询。该功能最初在 JDK 17 中提出,随后在 JDK 18、JDK 19 和 JDK 20 中得到改进。它将在 JDK 21 中最终完成,并根据反馈和经验进一步完善。与以前的 JEP 相比,主要的变化是删除了括号模式,并允许使用限定的枚举常量(如带有 switch 表达式和语句的 case 常量)。

  • 外部函数与内存 API(第三次预览)

    允许 Java 程序与 Java 运行时之外的代码和数据进行互操作。通过有效地调用外部函数和安全访问外部内存,该 API 使 Java 程序能够调用本地库并处理本机数据,而不会出现 JNI(Java Native Interface)的脆弱性和危险性。该 API 先前在 JDK 20 和 JDK 19 中进行了预览。JDK 21 预览中的改进包括增强的布局路径,增加了一个用于取消引用地址布局的新元素,以及集中管理 Arena 接口中本地段的生命周期;实现了一个后备本地链接器;删除了 VaList。

  • 未命名模式和变量(预览版)

    未命名模式匹配记录组件,但不说明组件名称或类型,而未命名变量可以初始化但不能使用。两者都用下划线字符 _ 表示。该提案旨在通过省略不必要的嵌套模式来提高记录模式的可读性,并通过识别必须声明但不会使用的变量来提高所有代码的可维护性。

  • 虚拟线程

    虚拟线程是一种轻量级线程,有望大幅减少编写、维护和观察高吞吐量并发应用程序的工作量。在 JDK 21 中,虚拟线程将始终支持线程本地变量,并使创建不具备这些变量的虚拟线程成为不可能。对线程本地变量的有保证的支持确保更多的现有库可以不改变地与虚拟线程一起使用,并帮助迁移任务导向的代码以使用虚拟线程。

  • 未命名类和实例主要方法(处于预览阶段)

    该功能的作用是为了让学生能够更容易地编写出第一个 Java 程序,而无需了解为大型程序设计的语言功能。学生无需使用单独的 Java 方言,就能编写单类程序的精简声明,然后随着技能的提高,无缝扩展程序,使用更高级的功能。该提案不仅为学生提供了通往 Java 的平坦道路,还减少了编写脚本和命令行实用程序等简单 Java 程序的繁琐过程。

  • 作用域值(处于预览阶段)

    作用域值(Scoped values)是指允许在线程内和线程间共享不可变数据。作用域值允许在大型程序的组件之间安全地共享数据,而无需使用方法参数。这一提议在 JDK 20 中得到了验证。该计划的目标包括易用性、可理解性、健壮性和性能。

  • 矢量 API(第六个孵化器)

    该 API 表达的矢量计算可在支持的 CPU 架构上可靠地编译为最佳矢量指令,从而实现优于同等标量计算的性能。此前,矢量 API 已在 JDK 16 至 JDK 20 中孵化。最新版本包括性能增强和错误修复。该提案的目标包括:简洁明了、与平台无关、在 x64 和 AArch64 体系结构上提供可靠的运行时编译和性能。

  • 弃用 Windows 32 位 x86 端口

    这个功能更新的目的是在未来的版本中删除该端口。该提案旨在更新构建系统,以便在尝试为 32 位 x86 Windows 配置构建时,发出错误消息。该提案指出,支持 32 位操作的最后一个 Windows 操作系统版本之 Windows 10 将于 2025 年 10 月终止生命周期。

  • 禁止代理的动态加载

    当代理被动态加载到运行中的 JVM 时发出警告。发出这些警告的目的是为将来发布默认禁止加载代理的版本做准备,以改善默认情况下的完整性。该提案的其他目标包括重新评估服务性(涉及对运行中代码的临时更改)和完整性(假定运行中的代码不会被随意更改)之间的平衡,并确保大多数不需要动态加载代理的工具不受影响。从 JDK 21 开始,计划要求应用程序所有者批准动态加载代理,就像启动时加载代理一样。这个改变将使 Java 平台更接近默认情况下的完整性。

  • 密钥封装机制的 API

    这一种通过公开密码学保护对称密钥的加密技术。该提案的一个目标是使应用程序能够使用 KEM 算法,如 RSA 密钥封装机制(RSA-KEM)、椭圆曲线集成加密方案(ECIES)和美国国家标准与技术研究院(NIST)后量子密码标准化过程的候选算法。另一个目标是在更高级别的协议(如传输层安全性(TLS))和密码方案(如混合公钥加密(HPKE))中使用 KEM。安全提供商可以在 Java 代码或本地代码中实现 KEM 算法,并包括在 RFC 9180 中定义的 Diffie-Hellman KEM(DHKEM)的实现。

  • 结构化并发(目前处于预览阶段)

    通过结构化并发 API 简化并发编程,将在不同线程中运行的相关任务组视为单个工作单元。这简化了错误处理和取消操作,提高了可靠性并增强了可观察性。结构化并发之前分别于 2022 年 3 月和 9 月在 JDK 20 和 JDK 19 中孵化,它作为 java.util.concurrent 包中的一个预览 API。这次唯一的重大变化是,StructuredTaskScope::Fork(…) 方法返回的是 [Subtask] 而不是 Future。结构化并发的目标包括促进一种并发编程风格,这种风格可以消除因取消和关闭而产生的常见风险(如线程泄漏和取消延迟),同时提高并发代码的可观察性。

MongoDB的客户端管理工具–nosqlbooster

推荐一款MongoDB的客户端工具–nosqlbooster,也是工作中一直使用的连接管理MongoDB的工具。这个工具还有个曾用名–mongobooster。nosqlbooster立志做“The Smartest IDE for MongoDB”。它支持 MongoDB v2.6-4.0所有版本,并且更新升级及时。它既有免费版,也有加强升级的付费版。

官网: https://nosqlbooster.com/downloads

工具支持Windows、Linux 和 Mac OS。

1693550711-7131-0b63a21f7d53eb9a0dd3764703e0

下面我将常见的一些操作 和大家讲解一下:

1.连接登入

step 1 点击上面工具栏的【Connect】按钮

1693550674-9349-20e9905b7fe2373516353f3319fe

 step 2 在弹出的Connections 界面中 点击[Create]按钮。因为是第一次,连接信息要新建。

1693550674-5373-470b93bdc6a11f7fda4776bf9daf

step 3 在弹出的Connection Editor 界面编辑登入信息。

有三类信息要求输入:1. Basic;2.Authentication;3.Default Database。

1. Basic 编辑界面;

这时候大家一定要注意Port端口,因为它默认的是27017,大家要根据实际需求调整修改。还有就是Name是显示名称,可以修改为更有代表性的名称。

1693550714-3993-37bd58d530c3fd90d17379806862

 2.点击【Authentication】,此处需输入 Auth DB 数据(数据库名称),用户数据 和 密码数据

1693550675-5244-30e864bdb114c48f930c423b1cd6

3.点击【Default DataBase】,进入Default DataBase界面。

1693550675-2090-8c6ca47100af7fd1fb84d745d2db

请一定要输入指定的数据库,否则可能提示错误,如:MongoError:Authentication Failed。或者可以登入进去,但是看不到任何 集合。

1693550685-3579-c51378683fb07b625ef4d91994ca

但是,随着版本的升级,新版本这个栏位的值在登入时可能会自动获取前面输入Auth DB的 输入值,但是目前来看还不是很稳定。

建议大家手动输入Default DataBase 数据。

2.打开一个新的查询界面

在很多工具,都会有一个打开查询界面的按钮。

例如:连接Sql Server的 SSMS客户端,工具栏很明显就有一个功能按钮【新建查询】

1693550685-5659-afd9c75db8578bf5dda1f74ea539

单纯的nosqlbooster工具没有这个选项,但是可以通过快捷方式来打开,如下:

1693550716-2728-9f1f7b631e15d8302568abdd49b0

注意点击时,请先用鼠标点击选中要指定的集合或数据库

3.查询代码生成器

这个工具还有一个查询代码生成器,可以将用户编写的查询语言装换成 MongoDB Shell、JavaScript 、Java、C# 、Python 等各种语言。例如:

1693550687-2290-453051c3d13dc1a57be6b0f4ba23

 转换为C# 语句,我们可以看到很多C# 语言关于MongoDB的操作写法。

1693550687-2649-c17634862a321036b2803dcdf64f

 4. 查询语句生成器

刚学习MongoDB,对一些查询写法比较陌生,这个工具可以自动生成一些查询语句。生成器按钮,点击红色标注的[Query]

1693550688-5832-2402b36bc2b2501828a62a976bd7

弹出可视化的查询编辑器,如下:

1693550700-7682-f503c8bba3a0a73d949d19b512a7

点击【OK and Run】就可以生成MongoDB Shell 查询语句。

一定要在生成了db.collectionname..find({}) 命令的界面上编辑,否则,点击Query无效

5.可以使用sql(结构化查询语言)查询

前面第2步中说过,点击【Ctrl+Alt+T】可以打开一个 sql 查询界面。例如

db.employees.aggregate([ { $group: { _id: “$department”,total: { $sum: “$salary” } },} ])

可以转换为sql语言,如下:

mb.runsqlQuery(` SELECT department,SUM(salary) AS total FROM employees GROUP BY department `);

其执行结果是一样的。

另外,为了促使自己尽快熟悉mongo语言,推荐大家还是使用mongo这种JSON类的语言,而不是sql的语言。

6.将查询出的数据导出到Excel文件中

在MongoDB的导出功能中支持JSON和CSV格式,而大家熟悉的Excel一般的工具很难支持,而我们可以通过nosqlbooster工具将少量数据导出到Excel中(所谓的少量数据要求主要受限于本地内存)。

下面以导出集合testexportToexcel的数据为例,进行演示说明。

step 1 执行查询语句

step 2 将显示格式调整为 Table 格式

1693550720-6721-cd743cab9d3fe50fd9c28efe9284

step 3 按Shift 键,选中所要导出的数据

1693550700-7125-2ca922bcd5846f6911753ab0d38c

step  4 在选中的数据区域中,鼠标右击,选中【copy  Document(s) to Clipboard -Tab-Separted Values

1693550705-1395-b02bd4dbede21cbf06f0ed6ae4c0

step 5 粘贴至excel文件中,即可。

1693550707-7336-54072d435c9073e939c9eda97c39

1234114
 
Copyright © 2008-2021 lanxinbase.com Rights Reserved. | 粤ICP备14086738号-3 |