Nginx反向代理数据处理不过来:net::ERR_INCOMPLETE_CHUNKED_ENCODING

net::ERR_INCOMPLETE_CHUNKED_ENCODING

在浏览器上调用接口,响应被打断了,报错误:net::ERR_INCOMPLETE_CHUNKED_ENCODING

通过IDEA的http接口测试,会报错误:

org.apache.http.ConnectionClosedException: Premature end of chunk coded message body: closing chunk expected

报错解释:

net::ERR_INCOMPLETE_CHUNKED_ENCODING 错误表明浏览器在尝试使用分块传输编码(Chunked Transfer Encoding)读取响应时遇到了问题。分块传输编码是一种传输内容的方法,它将 HTTP 响应分成多个部分,也就是“块”。这种编码方法用于流媒体或者不能立即确定内容大小的情况。

这里的解决方案Google的:

You might want to check if the user that is running the Nginx worker owns the directory /var/lib/nginx (or /var/cache/nginx in some distros).

I’ve learned that when you give a response too big for Nginx, it uses this directory to write as a working directory for temporary files. If the worker process cannot access it, Nginx will terminate the transmission before it completes, thus the error INCOMPLETE_CHUNKED_ENCODING.

另外一种,就是设置buffer:

server {
    ...

    location / {
        ...
        proxy_buffers 8 1024k;  
        proxy_buffer_size 1024k;
    }
}
server {
        listen      0000; #//port give by your need
        server_name  aa.com;
        proxy_buffers 16 4k;
        proxy_buffer_size 2k;


        #charset koi8-r;

        #access_log  logs/host.access.log  main;
        location ~ ^/hello/{
            proxy_buffering off;
            proxy_pass http://127.0.0.1:1111; #//port give by your need
            proxy_redirect     off;
            proxy_set_header Host $host;
            proxy_set_header X-Real-IP $remote_addr;
            proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
            proxy_set_header Connection keep-alive; 
        }

https://stackoverflow.com/questions/29789268/neterr-incomplete-chunked-encoding-nginx

我们遇到的问题,可能是因为磁盘空间满或者日志文件过大导致。

Nginx配置通道Buffer nginx proxy buffer

 proxy_buffering设置

proxy_buffering主要是实现被代理服务器的数据和客户端的请求异步。
为了方便理解,我们定义三个角色,A为客户端,B为代理服务器,C为被代理服务器。

当proxy_buffering开启,A发起请求到B,B再到C,C反馈的数据先到B的buffer上,
然后B会根据proxy_busy_buffer_size来决定什么时候开始把数据传输给A。在此过程中,如果所有的buffer被
写满,数据将会写入到temp_file中。相反,如果proxy_buffering关闭,C反馈的数据实时地通过B传输给A

1. proxy_buffering on;

该参数设置是否开启proxy的buffer功能,参数的值为on或者off。 如果这个设置为off,那么proxy_buffers
和proxy_busy_buffers_size这两个指令将会失效。 但是无论proxy_buffering是否开启
proxy_buffer_size都是生效的。

2. proxy_buffer_size 4k;

该参数用来设置一个特殊的buffer大小的。 从被代理服务器(C)上获取到的第一部分响应数据内容到代理服
务器(B)上,通常是header,就存到了这个buffer中。 如果该参数设置太小,会出现502错误码,这是因为
这部分buffer不够存储header信息。建议设置为4k。

3. proxy_buffers 8 4k;

这个参数设置存储被代理服务器上的数据所占用的buffer的个数和每个buffer的大小。 所有buffer的大小为
这两个数字的乘积。

4. proxy_busy_buffer_size 16k;

在所有的buffer里,我们需要规定一部分buffer把自己存的数据传给A,这部分buffer就叫做busy_buffer
。proxy_busy_buffer_size参数用来设置处于busy状态的buffer有多大。 对于B上buffer里的数据何时传输
给A:
1)如果完整数据大小小于busy_buffer大小,当数据传输完成后,马上传给A; 
2)如果完整数据大小不少于busy_buffer大小,则装满busy_buffer后,马上传给A;

5. proxy_temp_path 1 2;

语法:proxy_temp_path path [level1 level2 level3] 定义proxy的临时文件存在目录以及目录的层级。
例:proxy_temp_path /usr/local/nginx/proxy_temp 1 2; 其中/usr/local/nginx/proxy_temp为临时
件所在目录,1表示层级1的目录名为一个数字(0-9),2表示层级2目录名为2个数字(00-99)

6. proxy_max_temp_file_size ;

设置临时文件的总大小,例如 proxy_max_temp_file_size 100M; 7. proxy_temp_file_wirte_size 设置同
时写入临时文件的数据量的总大小。通常设置为8k或者16k。

proxy_buffer示例

server
{
      listen 80;
      server_name www.bfd-wyl.cn;
      proxy_buffering on;
      proxy_buffer_size 4k;
      proxy_buffers 2 4k;
      proxy_busy_buffers_size 4k;
      proxy_temp_path /tmp/nginx_proxy_tmp 1 2;
      proxy_max_temp_file_size 20M;
      proxy_temp_file_write_size 8k;
	
	location /
	{
	    proxy_pass      http://106.12.74.123:8080/;
        proxy_set_header Host   $host;
        proxy_set_header X-Real-IP      $remote_addr;
        proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;

	}

}

生产服 redis 重启步骤

Redis 重启流程

步骤 操作
第一步 进入 Redis 安装目录
第二步 停止 Redis 服务
第三步 修改 Redis 配置文件
第四步 启动 Redis 服务
第五步 验证 Redis 是否重启成功

第一步:进入 Redis 安装目录

在命令行中输入以下命令,进入 Redis 安装目录:cd /usr/local/redis/redis-5.0.2

第二步:停止 Redis 服务

使用以下命令停止 Redis 服务:./redis-cli shutdown

这条命令会向 Redis 发送关闭信号,使其优雅地停止服务。

第三步:修改 Redis 配置文件

找到 Redis 配置文件 redis.conf,并使用文本编辑器打开它。可以使用以下命令打开配置文件:

vim redis.conf

其实应该把想要修改的参数,先修改了,比如我今天要改的是:

tcp-backlog 511 -> tcp-backlog 1024

在配置文件中,你可以修改各种 Redis 的配置项。例如,你可以修改端口号、密码、持久化等设置。根据你的需求修改相应的配置。

第四步:启动 Redis 服务

使用以下命令启动 Redis 服务:./redis-server ../redis.conf

这条命令会启动 Redis 服务,并使用指定的配置文件。

第五步:验证 Redis 是否重启成功

运行以下命令检查 Redis 服务是否已经启动并运行:redis-cli ping

如果返回 PONG,则表示 Redis 服务已经成功启动。

redis 设置 tcp-backlog

什么是 Redis backlog

TCP backlog 参数是在使用 Redis 客户端连接到 Redis 服务器时,操作系统用于缓存的连接请求的数量。如果连接请求超出了 backlog 参数设置的值,那么新的连接请求可能会超时,这就是您所遇到的问题。

官方描述:

# TCP listen() backlog. # # In high requests-per-second environments you need an high backlog in order # to avoid slow clients connections issues. Note that the Linux kernel # will silently truncate it to the value of /proc/sys/net/core/somaxconn so # make sure to raise both the value of somaxconn and tcp_max_syn_backlog # in order to get the desired effect. tcp-backlog 511
需要根据这2个参数进行调节:
/proc/sys/net/core/somaxconn 
/proc/sys/net/ipv4/tcp_max_syn_backlog

如何增加 Redis backlog

实际上,Redis 默认的 backlog 大小已经足够应对绝大部分的情况。但是在特殊情况下,如果我们需要处理大量的并发请求或者网络延迟较大,我们可以通过修改配置文件来增加 Redis 的 backlog。

步骤一:打开 Redis 配置文件

在命令行中输入以下命令,打开 Redis 的配置文件:

vi ./redis/redis.conf

步骤二:修改 Redis 配置

找到 tcp-backlog 的配置项,默认情况下该项被注释掉了,我们需要将其取消注释,并设置一个合适的值。例如,我们将 backlog 设置为 511:

tcp-backlog 511

步骤三:重启 Redis 服务器

保存并关闭 Redis 配置文件后,我们需要重启 Redis 服务器,使配置生效。在命令行中输入以下命令:

sudo systemctl restart redis

代码示例

下面是一个使用 Redis 的简单示例,演示了如何增加 Redis backlog:

import redis

# 创建 Redis 连接池
pool = redis.ConnectionPool(host='localhost', port=6379, db=0, socket_connect_timeout=2, socket_timeout=2, socket_keepalive=True)

# 创建 Redis 客户端
redis_client = redis.Redis(connection_pool=pool)

# 增加 Redis backlog
redis_client.config_set('tcp-backlog', 511)

# 进行其他操作
.....

类图

下面是 Redis 客户端的类图:

微信截图_20240531144551

结论

通过增加 Redis backlog,我们可以提高系统的并发处理能力,避免请求丢失或超时。在实际应用中,我们可以根据系统的实际情况来调整 Redis 的 backlog 大小,以达到最佳的性能表现。希望本文对你理解和使用 Redis 有所帮助。

 

 

Java常用命令:jps、jstack、jmap、jstat

在JDK的bin目彔下,包含了java命令及其他实用工具
jps:查看本机的Java中进程信息
jstack:打印线程的栈信息,制作线程Dump
jmap:打印内存映射,制作堆Dump
jstat:性能监控工具
jhat:内存分析工具
jconsole:简易的可视化控制台
jvisualvm:功能强大的控制台
jps(查看Java进程 )
[root@iZbp1ii46cbd4er5cj3uw5Z sds-cloud]# jps -help
usage: jps [-help]
jps [-q] [-mlvV] []

Definitions:
: [: ]
[root@iZbp1ii46cbd4er5cj3uw5Z sds-cloud]# jps -l
31860 ./sds-cloud-user-base-service.jar
8853 ./sds-cloud-push-service.jar
30920 ./sds-cloud-user-ccu-service.jar
21518 sun.tools.jps.Jps
20063 ./sds-cloud-third-device-service.jar
[root@iZbp1ii46cbd4er5cj3uw5Z sds-cloud]# jps -v

…内容省略

jstack(查看线程堆栈命令 )
Jstack命令主要用来查看Java线程的调用堆栈的,可以用来分析线程问题(如死锁)。谈到线程,在Java里面,线程一共有6中状态:

New 新建 ————- 不会出现在dump中
Runnable 正在运行中——–在虚拟机内执行
Blocked 阻塞————受阻塞,并等待监视器锁
Waiting 等待————无限期等待另一个线程执行特定操作
Timed_waiting 超时等待————有时限等待另一个线程的操作
Terminated 终止/结束————已退出的
命令:

[root@iZbp1ii46cbd4er5cj3uw5Z sds-cloud]# jstack -help
Usage:
jstack [-l] (to connect to running process)
jstack -F [-m] [-l] (to connect to a hung process)
jstack [-m] [-l]
(to connect to a core file)
jstack [-m] [-l] [server_id@]
(to connect to a remote debug server)

Options:
-F to force a thread dump. Use when jstack does not respond (process is hung)
-m to print both java and native frames (mixed mode)
-l long listing. Prints additional information about locks
-h or -help to print this help message

F当’jstack [-l] pid’没有相应的时候强制打印栈信息 -l长列表. 打印关于锁的附加信息,例如属于java.util.concurrent的ownable synchronizers列表. -m打印java和native c/c++框架的所有栈信息. -h | -help打印帮助信息 pid 需要被打印配置信息的java进程id,可以用jps查询.

12325
 
Copyright © 2008-2021 lanxinbase.com Rights Reserved. | 粤ICP备14086738号-3 |