Redis Sentinel

一、哨兵模式概述

哨兵模式是一种特殊的模式,首先Redis提供了哨兵的命令,哨兵是一个独立的进程,作为进程,它会独立运行。其原理是哨兵通过发送命令,等待Redis服务器响应,从而监控运行的多个Redis实例。

001
Redis哨兵

这里的哨兵有两个作用

  • 通过发送命令,让Redis服务器返回监控其运行状态,包括主服务器和从服务器。
  • 当哨兵监测到master宕机,会自动将slave切换成master,然后通过发布订阅模式通知其他的从服务器,修改配置文件,让它们切换主机。

然而一个哨兵进程对Redis服务器进行监控,可能会出现问题,为此,我们可以使用多个哨兵进行监控。各个哨兵之间还会进行监控,这样就形成了多哨兵模式。

用文字描述一下故障切换(failover)的过程。假设主服务器宕机,哨兵1先检测到这个结果,系统并不会马上进行failover过程,仅仅是哨兵1主观的认为主服务器不可用,这个现象成为主观下线。当后面的哨兵也检测到主服务器不可用,并且数量达到一定值时,那么哨兵之间就会进行一次投票,投票的结果由一个哨兵发起,进行failover操作。切换成功后,就会通过发布订阅模式,让各个哨兵把自己监控的从服务器实现切换主机,这个过程称为客观下线。这样对于客户端而言,一切都是透明的。

二、Redis配置哨兵模式

配置3个哨兵和1主2从的Redis服务器来演示这个过程。

服务类型 是否是主服务器 IP地址 端口
Redis 192.168.11.128 6379
Redis 192.168.11.129 6379
Redis 192.168.11.130 6379
Sentinel 192.168.11.128 26379
Sentinel 192.168.11.129 26379
Sentinel 192.168.11.130 26379
002
多哨兵监控Redis

首先配置Redis的主从服务器,修改redis.conf文件如下

# 使得Redis服务器可以跨网络访问
bind 0.0.0.0
# 设置密码
requirepass "123456"
# 指定主服务器,注意:有关slaveof的配置只是配置从服务器,主服务器不需要配置
slaveof 192.168.11.128 6379
# 主服务器密码,注意:有关slaveof的配置只是配置从服务器,主服务器不需要配置
masterauth 123456

上述内容主要是配置Redis服务器,从服务器比主服务器多一个slaveof的配置和密码。

配置3个哨兵,每个哨兵的配置都是一样的。在Redis安装目录下有一个sentinel.conf文件,copy一份进行修改

# 禁止保护模式
protected-mode no
# 配置监听的主服务器,这里sentinel monitor代表监控,mymaster代表服务器的名称,可以自定义,192.168.11.128代表监控的主服务器,6379代表端口,2代表只有两个或两个以上的哨兵认为主服务器不可用的时候,才会进行failover操作。
sentinel monitor mymaster 192.168.11.128 6379 2
# sentinel author-pass定义服务的密码,mymaster是服务名称,123456是Redis服务器密码
# sentinel auth-pass <master-name> <password>
sentinel auth-pass mymaster 123456

上述关闭了保护模式,便于测试。

有了上述的修改,我们可以进入Redis的安装目录的src目录,通过下面的命令启动服务器和哨兵


# 启动Redis服务器进程
./redis-server ../redis.conf
# 启动哨兵进程
./redis-sentinel ../sentinel.conf

注意启动的顺序。首先是主机(192.168.11.128)的Redis服务进程,然后启动从机的服务进程,最后启动3个哨兵的服务进程。

三、Java中使用哨兵模式

/**
 * 测试Redis哨兵模式
 * @author liu
 */
public class TestSentinels {
    @SuppressWarnings("resource")
    @Test
    public void testSentinel() {
        JedisPoolConfig jedisPoolConfig = new JedisPoolConfig();
        jedisPoolConfig.setMaxTotal(10);
        jedisPoolConfig.setMaxIdle(5);
        jedisPoolConfig.setMinIdle(5);
        // 哨兵信息
        Set<String> sentinels = new HashSet<>(Arrays.asList("192.168.11.128:26379",
                "192.168.11.129:26379","192.168.11.130:26379"));
        // 创建连接池
        JedisSentinelPool pool = new JedisSentinelPool("mymaster", sentinels,jedisPoolConfig,"123456");
        // 获取客户端
        Jedis jedis = pool.getResource();
        // 执行两个命令
        jedis.set("mykey", "myvalue");
        String value = jedis.get("mykey");
        System.out.println(value);
    }
}

上面是通过Jedis进行使用的,同样也可以使用Spring进行配置RedisTemplate使用。

        <bean id = "poolConfig" class="redis.clients.jedis.JedisPoolConfig">
            <!-- 最大空闲数 -->
            <property name="maxIdle" value="50"></property>
            <!-- 最大连接数 -->
            <property name="maxTotal" value="100"></property>
            <!-- 最大等待时间 -->
            <property name="maxWaitMillis" value="20000"></property>
        </bean>
        
        <bean id="connectionFactory" class="org.springframework.data.redis.connection.jedis.JedisConnectionFactory">
            <constructor-arg name="poolConfig" ref="poolConfig"></constructor-arg>
            <constructor-arg name="sentinelConfig" ref="sentinelConfig"></constructor-arg>
            <property name="password" value="123456"></property>
        </bean>
        
        <!-- JDK序列化器 -->
        <bean id="jdkSerializationRedisSerializer" class="org.springframework.data.redis.serializer.JdkSerializationRedisSerializer"></bean>
        
        <!-- String序列化器 -->
        <bean id="stringRedisSerializer" class="org.springframework.data.redis.serializer.StringRedisSerializer"></bean>
        
        <bean id="redisTemplate" class="org.springframework.data.redis.core.RedisTemplate">
            <property name="connectionFactory" ref="connectionFactory"></property>
            <property name="keySerializer" ref="stringRedisSerializer"></property>
            <property name="defaultSerializer" ref="stringRedisSerializer"></property>
            <property name="valueSerializer" ref="jdkSerializationRedisSerializer"></property>
        </bean>
        
        <!-- 哨兵配置 -->
        <bean id="sentinelConfig" class="org.springframework.data.redis.connection.RedisSentinelConfiguration">
            <!-- 服务名称 -->
            <property name="master">
                <bean class="org.springframework.data.redis.connection.RedisNode">
                    <property name="name" value="mymaster"></property>
                </bean>
            </property>
            <!-- 哨兵服务IP和端口 -->
            <property name="sentinels">
                <set>
                    <bean class="org.springframework.data.redis.connection.RedisNode">
                        <constructor-arg name="host" value="192.168.11.128"></constructor-arg>
                        <constructor-arg name="port" value="26379"></constructor-arg>
                    </bean>
                    <bean class="org.springframework.data.redis.connection.RedisNode">
                        <constructor-arg name="host" value="192.168.11.129"></constructor-arg>
                        <constructor-arg name="port" value="26379"></constructor-arg>
                    </bean>
                    <bean class="org.springframework.data.redis.connection.RedisNode">
                        <constructor-arg name="host" value="192.168.11.130"></constructor-arg>
                        <constructor-arg name="port" value="26379"></constructor-arg>
                    </bean>
                </set>
            </property>
        </bean>

四、哨兵模式的其他配置项

配置项 参数类型 作用
port 整数 启动哨兵进程端口
dir 文件夹目录 哨兵进程服务临时文件夹,默认为/tmp,要保证有可写入的权限
sentinel down-after-milliseconds <服务名称><毫秒数(整数)> 指定哨兵在监控Redis服务时,当Redis服务在一个默认毫秒数内都无法回答时,单个哨兵认为的主观下线时间,默认为30000(30秒)
sentinel parallel-syncs <服务名称><服务器数(整数)> 指定可以有多少个Redis服务同步新的主机,一般而言,这个数字越小同步时间越长,而越大,则对网络资源要求越高
sentinel failover-timeout <服务名称><毫秒数(整数)> 指定故障切换允许的毫秒数,超过这个时间,就认为故障切换失败,默认为3分钟
sentinel notification-script <服务名称><脚本路径> 指定sentinel检测到该监控的redis实例指向的实例异常时,调用的报警脚本。该配置项可选,比较常用

sentinel down-after-milliseconds配置项只是一个哨兵在超过规定时间依旧没有得到响应后,会自己认为主机不可用。对于其他哨兵而言,并不是这样认为。哨兵会记录这个消息,当拥有认为主观下线的哨兵达到sentinel monitor所配置的数量时,就会发起一次投票,进行failover,此时哨兵会重写Redis的哨兵配置文件,以适应新场景的需要。

 

解决@Scheduled创建的定时任务执行时间不准确的bug

使用@Scheduled创建两个定时任务,其中一个1s执行。另一个1min执行。按分钟执行的出现了bug,我设定的规则如下:

@Async
@Scheduled(cron = "0 0/1 * * * ?")
public void workOfMin() {
    
    logger.info("---------》work start...");

}

实际执行的时间不是每分钟00秒,而是随机的01~20之间。比如:每分钟的03、04、11秒执行任务。但是我要的结果是每分钟的00秒执行,必须精确。

解决方案:

@Bean
public TaskScheduler taskScheduler() {
    ThreadPoolTaskScheduler taskScheduler = new ThreadPoolTaskScheduler();
    taskScheduler.setPoolSize(50);
    return taskScheduler;
}

创建一个@Bean方法,设置poolSize。原因是spring计划任务线程阻塞导致。

 

 

Postwoman是一款开源的 Postman 替代品

介绍

Postwoman是一款开源的 Postman 替代品:

  • 轻盈,可直接在线访问;
  • 简约,采用简约的 UI 设计精心打造;
  • 支持 GET, HEAD, POST, PUT, DELETE, OPTIONS, PATCH 方法;
  • 支持验证;
  • 实时,发送请求即可获取响应。

体验demo:postwoman.io

 Github

https://github.com/liyasthomas/postwoman
1584940378-5696-59de05539e1adfdb42d989f-720w

 功能

先来看看它支持的功能列表:

  • 💚 开源
  • 🔥 运行在浏览器端
  • 🚀 支持多平台、多设备
  • 📱 支持PWA
  • 🔌 WebSocket 测试
  • 🌈 定制化
  • ⏰ 历史记录
  • 📁 集合
  • 🌐 代理
  • 📜 请求前脚本和环境变量
  • 🐳 Docker

使用

git clone https://github.com/liyasthomas/postwoman.git
npm install
npm run dev

//打开浏览器即可
//或者,使用docker-compose:

#pull
docker pull liyasthomas/postwoman
#run
docker run -p 3000:3000 liyasthomas/postwoman:latest
#build
docker build -t postwoman:latest

# 界面截图

几个常用的快捷键:

发送请求:ctrl+G

保存到收藏夹:ctrl+S

复制请求链接:ctrl+K

重置请求链接:ctrl+L

PHP实现zip压缩的代码

直接上代码

/**
 * Class xZip
 *
 * $xZip = new xZip;
 * $xZip->zip(null, 'D:/www/log/index.php', 'D:/www/log/index.zip');
 * $xZip->zipAll(array('D:/www/log/index.php','D:/www/log/lottery.sql'),  'D:/www/log/index_all.zip');
 *
 */
class xZip
{
    public function __construct()
    {
    }


    /**
     * add multi file to ZIP file
     * @param array $source will be add to ZIP file list.
     * @param null $destination ZIP file path
     * @return null $destination
     * @throws Exception
     */
    public function zipAll($source = array(), $destination = null, $originPath = '')
    {
        if ($destination == null) {
            throw new Exception('param $destination must be not null.');
        }
        if (count($source) == 0) {
            throw new Exception('must be added one file.');
        }
        $zip = new ZipArchive;
        @mkdir($this->getParentPath($destination), 0777, true);
        $res = $zip->open($destination, ZipArchive::CREATE);
        if ($res != true) {
            throw new Exception('open zip(' . $destination . ') file error[' . $res . '].');
        }
        foreach ($source as $path) {
            $zip->addFile($path, iconv('UTF-8', 'GB2312', str_replace($originPath, NULL, $path)));
        }
        $zip->close();
        return $destination;
    }

    /**
     * add one file to ZIP file.
     * @param null $zip @ZipArchive object
     * @param null $source will be add to ZIP file.
     * @param null $destination dest ZIP file.
     * @return null $destination
     * @throws Exception
     */
    public function zip($zip = null, $source = null, $destination = null)
    {
        if ($destination == null) {
            throw new Exception('param $destination must be not null.');
        }
        if ($source == null) {
            throw new Exception('must be added one file.');
        }
        if ($zip == null) {
            $zip = new ZipArchive;
            @mkdir($this->getParentPath($destination), 0777, true);
            $res = $zip->open($destination, ZipArchive::CREATE);
            if ($res != true) {
                throw new Exception('open zip(' . $destination . ') file error[' . $res . '].');
            }
        }
        //iconv('UTF-8','GB2312',str_replace($this->getParentPath($source).'/', NULL, $source)
        $zip->addFile($source, str_replace($this->getParentPath($source) . '/', NULL, $source));
        $zip->close();
        return $destination;
    }

    /**
     * @param $source zip file path
     * @param $destination dest directory path
     */
    public function unzip($source, $destination)
    {
        @mkdir($destination, 0777, true);
        $zip = new ZipArchive;
        if ($zip->open($source) === true) {
            $zip->extractTo($destination);
            $zip->close();
        }
    }

    public function __destruct()
    {
    }

    private function getParentPath($destination)
    {
        $path = substr($destination, 0, strripos($destination, '/'));
        return $path;
    }
}

PHP实现文件下载

简单的示例代码:

function downloadFile($filePath)
{

    set_time_limit(0);

    if (substr($filePath, strlen($filePath) - 1) == '/') {
        $filePath = substr($filePath, 0, strlen($filePath) - 1);
    }

    if (!is_file($filePath) && !is_readable($filePath)) {
        return false;
    }
    $obj = new SplFileInfo($filePath);
    header('Content-Type: application/octet-stream');
    header('Accept-Ranges:bytes');
    header('Content-Length:' . filesize($filePath)); //注意是'Content-Length:' 非Accept-Length
    header('Content-Disposition:attachment;filename=' . $obj->getFilename());//声明作为附件处理和下载后文件的名称

    $buffer = 1024;
    ob_clean();
    $handle = fopen($filePath, 'rb');
    while (!feof($handle)) {
        echo fread($handle, $buffer);
    }
    flush();
    fclose($handle);
    exit;

}

主要是设置header头:

文件类型:Content-Type: application/octet-stream

字节流:Accept-Ranges:bytes

长度:Content-Length:>0

声明作为附件处理和下载后文件的名称:

Content-Disposition:attachment;filename=FILENAME

 

*最重要的是 ob_clean();跟flush();

如果没有这两个函数,有可能下载下来的文件就是损坏的。

1234103