MySQL 慢日志收集平台详解

ELK 介绍

ELK 最早是 Elasticsearch(以下简称ES)、Logstash、Kibana 三款开源软件的简称,三款软件后来被同一公司收购,并加入了Xpark、Beats等组件,改名为Elastic Stack,成为现在最流行的开源日志解决方案,虽然有了新名字但大家依然喜欢叫她ELK,现在所说的ELK就指的是基于这些开源软件构建的日志系统。

我们收集mysql慢日志的方案如下:

1535077408-4711-7FjictpBGeByvulpbIXxibcnOpMA

  • mysql 服务器安装 Filebeat 作为 agent 收集 slowLog
  • Filebeat 读取 mysql 慢日志文件做简单过滤传给 Kafka 集群
  • Logstash 读取 Kafka 集群数据并按字段拆分后转成 JSON 格式存入 ES 集群
  • Kibana读取ES集群数据展示到web页面上

慢日志分类

目前主要使用的mysql版本有5.5、5.6 和 5.7,经过仔细对比发现每个版本的慢查询日志都稍有不同,如下:

5.5 版本慢查询日志

 

5.6 版本慢查询日志

 

5.7 版本慢查询日志

1535077408-1356-PNe8c6IlfcCbvgXtTabhSb9TXmaw

慢查询日志异同点:

  1. 每个版本的Time字段格式都不一样
  2. 相较于5.6、5.7版本,5.5版本少了Id字段
  3. use db语句不是每条慢日志都有的
  4. 可能会出现像下边这样的情况,慢查询块# Time:下可能跟了多个慢查询语句

1535077408-4980-lKvIYRERaSHVcMH61JibC5ibOszg

处理思路

上边我们已经分析了各个版本慢查询语句的构成,接下来我们就要开始收集这些数据了,究竟应该怎么收集呢?

  1. 拼装日志行:mysql 的慢查询日志多行构成了一条完整的日志,日志收集时要把这些行拼装成一条日志传输与存储。
  2. Time行处理:# Time: 开头的行可能不存在,且我们可以通过SET timestamp这个值来确定SQL执行时间,所以选择过滤丢弃Time行
  3. 一条完整的日志:最终将以# User@Host: 开始的行,和以SQL语句结尾的行合并为一条完整的慢日志语句
  4. 确定SQL对应的DB:use db这一行不是所有慢日志SQL都存在的,所以不能通过这个来确定SQL对应的DB,慢日志中也没有字段记录DB,所以这里建议为DB创建账号时添加db name标识,例如我们的账号命名方式为:projectName_dbName,这样看到账号名就知道是哪个DB了
  5. 确定SQL对应的主机:我想通过日志知道这条SQL对应的是哪台数据库服务器怎么办?

    慢日志中同样没有字段记录主机,可以通过filebeat注入字段来解决,例如我们给filebeat的name字段设置为服务器IP,这样最终通过beat.name这个字段就可以确定SQL对应的主机了。

Filebeat配置

filebeat 完整的配置文件如下:

 

重要参数解释:

  • input_type:指定输入的类型是log或者是stdin
  • paths:慢日志路径,支持正则,比如/data/*.log
  • exclude_lines:过滤掉# Time开头的行
  • multiline.pattern:匹配多行时指定正则表达式,这里匹配以# Time或者# User开头的行,Time行要先匹配再过滤
  • multiline.negate:定义上边pattern匹配到的行是否用于多行合并,也就是定义是不是作为日志的一部分
  • multiline.match:定义如何将皮排行组合成时间,在之前或者之后
  • tail_files:定义是从文件开头读取日志还是结尾,这里定义为true,从现在开始收集,之前已存在的不管
  • name:设置filebeat的名字,如果为空则为服务器的主机名,这里我们定义为服务器IP
  • output.kafka:配置要接收日志的kafka集群地址可topic名称

Kafka 接收到的日志格式:

 

{“@timestamp”:”2018-08-07T09:36:00.140Z”,”beat”:{“hostname”:”db-7eb166d3″,”name”:”10.63.144.71″,”version”:”5.4.0″},”input_type”:”log”,”message”:”# User@Host: select[select] @  [10.63.144.16]  Id: 23460596\n# Query_time: 0.155956  Lock_time: 0.000079 Rows_sent: 112  Rows_examined: 366458\nSET timestamp=1533634557;\nSELECT DISTINCT(uid) FROM common_member WHERE hideforum=-1 AND uid != 0;”,”offset”:1753219021,”source”:”/data/slow/mysql_slow.log”,”type”:”log”}

Logstash配置

logstash完整的配置文件如下:

 

重要参数解释:

  • input:配置 kafka 的集群地址和 topic 名字
  • filter:过滤日志文件,主要是对 message 信息(看前文 kafka 接收到的日志格式)进行拆分,拆分成一个一个易读的字段,例如User、Host、Query_time、Lock_time、timestamp等。

    grok段根据我们前文对mysql慢日志的分类分别写不通的正则表达式去匹配,当有多条正则表达式存在时,logstash会从上到下依次匹配,匹配到一条后边的则不再匹配。

    date字段定义了让SQL中的timestamp_mysql字段作为这条日志的时间字段,kibana上看到的实践排序的数据依赖的就是这个时间

  • output:配置ES服务器集群的地址和index,index自动按天分割

kibana查询展示

打开Kibana添加 mysql-slowlog-* 的Index,并选择timestamp,创建Index Pattern

 

进入Discover页面,可以很直观的看到各个时间点慢日志的数量变化,可以根据左侧Field实现简单过滤,搜索框也方便搜索慢日志,例如我要找查询时间大于2s的慢日志,直接在搜索框输入 query_time: > 2 回车即可。

 

点击每一条日志起边的很色箭头能查看具体某一条日志的详情。

1535077408-6683-Dibdog7XPG3UGEDBUZgSyY2OWTeA

如果你想做个大盘统计慢日志的整体情况,例如top 10 SQL等,也可以很方便的通过web界面配置。

1535077408-2887-AYtL3RW4ibMUQbmx6n9kFwdTsibw

SVG 图像入门教程

一、概述

SVG 是一种基于 XML 语法的图像格式,全称是可缩放矢量图(Scalable Vector Graphics)。其他图像格式都是基于像素处理的,SVG 则是属于对图像的形状描述,所以它本质上是文本文件,体积较小,且不管放大多少倍都不会失真。

1535077214-8750-ctS55l0tjplHBGG4qmOVTBf19PQw

SVG 文件可以直接插入网页,成为 DOM 的一部分,然后用 JavaScript 和 CSS 进行操作。

 

<!DOCTYPE html>
<html>
<head></head>
<body>

<svg id="mysvg" xmlns="http://www.w3.org/2000/svg" viewBox="0 0 800 600" preserveAspectRatio="xMidYMid meet">
    <circle id="mycircle" cx="400" cy="300" r="50"/>
    </svg>

</body>
</html>

上面是 SVG 代码直接插入网页的例子。

SVG 代码也可以写在一个独立文件中,然后用<img>、<object>、<embed>、<iframe>等标签插入网页。

 

<img src="circle.svg">
<object id="object" data="circle.svg" type="image/svg+xml"></object>
<embed id="embed" src="icon.svg" type="image/svg+xml">
<iframe id="iframe" src="icon.svg"></iframe>

CSS 也可以使用 SVG 文件。

.logo {

  background: url(icon.svg);

}

SVG 文件还可以转为 BASE64 编码,然后作为 Data URI 写入网页。

<img src=”data:image/svg+xml;base64,[data]”>

二、语法

2.1<svg>标签

SVG 代码都放在顶层标签<svg>之中。下面是一个例子。

<svg width=“100%” height=“100%”>

  <circle id=“mycircle” cx=“50” cy=“50” r=“50” />

</svg>

<svg>的width属性和height属性,指定了 SVG 图像在 HTML 元素中所占据的宽度和高度。除了相对单位,也可以采用绝对单位(单位:像素)。如果不指定这两个属性,SVG 图像默认大小是300像素(宽) x 150像素(高)。

如果只想展示 SVG 图像的一部分,就要指定viewBox属性。

<svg width=“100” height=“100” viewBox=“50 50 50 50″>

  <circle id=“mycircle” cx=“50” cy=“50” r=“50” />

</svg>

<viewBox>属性的值有四个数字,分别是左上角的横坐标和纵坐标、视口的宽度和高度。上面代码中,SVG 图像是100像素宽 x 100像素高,viewBox属性指定视口从(50, 50)这个点开始。所以,实际看到的是右下角的四分之一圆。

注意,视口必须适配所在的空间。上面代码中,视口的大小是 50 x 50,由于 SVG 图像的大小是 100 x 100,所以视口会放大去适配 SVG 图像的大小,即放大了四倍。

如果不指定width属性和height属性,只指定viewBox属性,则相当于只给定 SVG 图像的长宽比。这时,SVG 图像的默认大小将等于所在的 HTML 元素的大小。

2.2 <circle>标签

<circle>标签代表圆形。

<svg width=“300” height=“180”>

  <circle cx=“30”  cy=“50” r=“25” />

  <circle cx=“90”  cy=“50” r=“25” class=“red” />

  <circle cx=“150” cy=“50” r=“25” class=“fancy” />

</svg>

上面的代码定义了三个圆。<circle>标签的cx、cy、r属性分别为横坐标、纵坐标和半径,单位为像素。坐标都是相对于<svg>画布的左上角原点。

class属性用来指定对应的 CSS 类。

.red {

  fill: red;

}

 

.fancy {

  fill: none;

  stroke: black;

  stroke-width: 3pt;

}

SVG 的 CSS 属性与网页元素有所不同。

  • fill:填充色
  • stroke:描边色
  • stroke-width:边框宽度

2.3 <line>标签

<line>标签用来绘制直线。

<svg width=“300” height=“180”>

  <line x1=“0” y1=“0” x2=“200” y2=“0” style=“stroke:rgb(0,0,0);stroke-width:5″ />

</svg>

上面代码中,<line>标签的x1属性和y1属性,表示线段起点的横坐标和纵坐标;x2属性和y2属性,表示线段终点的横坐标和纵坐标;style属性表示线段的样式。

2.4 <polyline>标签

<polyline>标签用于绘制一根折线。

<svg width=“300” height=“180”>

  <polyline points=“3,3 30,28 3,53″ fill=“none” stroke=“black” />

</svg>

<polyline>的points属性指定了每个端点的坐标,横坐标与纵坐标之间与逗号分隔,点与点之间用空格分隔。

2.5 <rect>标签

<rect>标签用于绘制矩形。

<svg width=“300” height=“180”>

  <rect x=“0” y=“0” height=“100” width=“200” style=“stroke: #70d5dd; fill: #dd524b” />

</svg>

<rect>的x属性和y属性,指定了矩形左上角端点的横坐标和纵坐标;width属性和height属性指定了矩形的宽度和高度(单位像素)。

2.6 <ellipse>标签

<ellipse>标签用于绘制椭圆。

<svg width=“300” height=“180”>

  <ellipse cx=“60” cy=“60” ry=“40” rx=“20” stroke=“black” strokewidth=“5” fill=“silver”/>

</svg>

<ellipse>的cx属性和cy属性,指定了椭圆中心的横坐标和纵坐标(单位像素);rx属性和ry属性,指定了椭圆横向轴和纵向轴的半径(单位像素)。

2.7 <polygon>标签

<polygon>标签用于绘制多边形。

<svg width=“300” height=“180”>

  <polygon fill=“green” stroke=“orange” strokewidth=“1” points=“0,0 100,0 100,100 0,100 0,0″/>

</svg>

<polygon>的points属性指定了每个端点的坐标,横坐标与纵坐标之间与逗号分隔,点与点之间用空格分隔。

2.8 <path>标签

<path>标签用于制路径。

<svg width=“300” height=“180”>

<path d=

M 18,3

L 46,3

L 46,40

L 61,40

L 32,68

L 3,40

L 18,40

Z

></path>

</svg>

<path>的d属性表示绘制顺序,它的值是一个长字符串,每个字母表示一个绘制动作,后面跟着坐标。

  • M:移动到(moveto)
  • L:画直线到(lineto)
  • Z:闭合路径

2.9 <text>标签

<text>标签用于绘制文本。

<svg width=“300” height=“180”>

  <text x=“50” y=“25”>Hello World</text>

</svg>

<text>的x属性和y属性,表示文本区块基线(baseline)起点的横坐标和纵坐标。文字的样式可以用class或style属性指定。

2.10 <use>标签

<use>标签用于复制一个形状。

<svg viewBox=“0 0 30 10″ xmlns=“http://www.w3.org/2000/svg”>

  <circle id=“myCircle” cx=“5” cy=“5” r=“4”/>

 

  <use href=“#myCircle” x=“10” y=“0” fill=“blue” />

  <use href=“#myCircle” x=“20” y=“0” fill=“white” stroke=“blue” />

</svg>

<use>的href属性指定所要复制的节点,x属性和y属性是<use>左上角的坐标。另外,还可以指定width和height坐标。

2.11 <g>标签

<g>标签用于将多个形状组成一个组(group),方便复用。

<svg width=“300” height=“100”>

  <g id=“myCircle”>

    <text x=“25” y=“20”>圆形</text>

    <circle cx=“50” cy=“50” r=“20”/>

  </g>

 

  <use href=“#myCircle” x=“100” y=“0” fill=“blue” />

  <use href=“#myCircle” x=“200” y=“0” fill=“white” stroke=“blue” />

</svg>

2.12 <defs>标签

<defs>标签用于自定义形状,它内部的代码不会显示,仅供引用。

<svg width=“300” height=“100”>

  <defs>

    <g id=“myCircle”>

      <text x=“25” y=“20”>圆形</text>

      <circle cx=“50” cy=“50” r=“20”/>

    </g>

  </defs>

 

  <use href=“#myCircle” x=“0” y=“0” />

  <use href=“#myCircle” x=“100” y=“0” fill=“blue” />

  <use href=“#myCircle” x=“200” y=“0” fill=“white” stroke=“blue” />

</svg>

2.13 <pattern>标签

<pattern>标签用于自定义一个形状,该形状可以被引用来平铺一个区域。

<svg width=“500” height=“500”>

  <defs>

    <pattern id=“dots” x=“0” y=“0” width=“100” height=“100” patternUnits=“userSpaceOnUse”>

      <circle fill=“#bee9e8″ cx=“50” cy=“50” r=“35” />

    </pattern>

  </defs>

  <rect x=“0” y=“0” width=“100%” height=“100%” fill=“url(#dots)” />

</svg>

上面代码中,<pattern>标签将一个圆形定义为dots模式。patternUnits=”userSpaceOnUse”表示<pattern>的宽度和长度是实际的像素值。然后,指定这个模式去填充下面的矩形。

2.14 <image>标签

<image>标签用于插入图片文件。

<svg viewBox=“0 0 100 100″ width=“100” height=“100”>

  <image xlink:href=“path/to/image.jpg”

    width=“50%” height=“50%”/>

</svg>

上面代码中,<image>的xlink:href属性表示图像的来源。

2.15 <animate>标签

<animate>标签用于产生动画效果。

<svg width=“500px” height=“500px”>

  <rect x=“0” y=“0” width=“100” height=“100” fill=“#feac5e”>

    <animate attributeName=“x” from=“0” to=“500” dur=“2s” repeatCount=“indefinite” />

  </rect>

</svg>

上面代码中,矩形会不断移动,产生动画效果。

<animate>的属性含义如下。

  • attributeName:发生动画效果的属性名。
  • from:单次动画的初始值。
  • to:单次动画的结束值。
  • dur:单次动画的持续时间。
  • repeatCount:动画的循环模式。

可以在多个属性上面定义动画。

<animate attributeName=”x” from=”0″ to=”500″ dur=”2s” repeatCount=”indefinite” />

<animate attributeName=”width” to=”500″ dur=”2s” repeatCount=”indefinite” />

2.16 <animateTransform>标签

<animate>标签对 CSS 的transform属性不起作用,如果需要变形,就要使用<animateTransform>标签。

<svg width=“500px” height=“500px”>

  <rect x=“250” y=“250” width=“50” height=“50” fill=“#4bc0c8″>

    <animateTransform attributeName=“transform” type=“rotate” begin=“0s” dur=“10s” from=“0 200 200″ to=“360 400 400″ repeatCount=“indefinite” />

  </rect>

</svg>

上面代码中,<animateTransform>的效果为旋转(rotate),这时from和to属性值有三个数字,第一个数字是角度值,第二个值和第三个值是旋转中心的坐标。from=”0 200 200″表示开始时,角度为0,围绕(200, 200)开始旋转;to=”360 400 400″表示结束时,角度为360,围绕(400, 400)旋转。

三、JavaScript 操作

3.1 DOM 操作

如果 SVG 代码直接写在 HTML 网页之中,它就成为网页 DOM 的一部分,可以直接用 DOM 操作。

<svg

  id=“mysvg”

  xmlns=“http://www.w3.org/2000/svg”

  viewBox=“0 0 800 600″

  preserveAspectRatio=“xMidYMid meet”

>

  <circle id=“mycircle” cx=“400” cy=“300” r=“50” />

<svg>

上面代码插入网页之后,就可以用 CSS 定制样式。

circle {

  stroke-width: 5;

  stroke: #f00;

  fill: #ff0;

}

 

circle:hover {

  stroke: #090;

  fill: #fff;

}

然后,可以用 JavaScript 代码操作 SVG。

var mycircle = document.getElementById(‘mycircle’);

 

mycircle.addEventListener(‘click’, function(e) {

  console.log(‘circle clicked – enlarging’);

  mycircle.setAttribute(‘r’, 60);

}, false);

上面代码指定,如果点击图形,就改写circle元素的r属性。

3.2 获取 SVG DOM

使用<object>、<iframe>、<embed>标签插入 SVG 文件,可以获取 SVG DOM。

var svgObject = document.getElementById(‘object’).contentDocument;

var svgIframe = document.getElementById(‘iframe’).contentDocument;

var svgEmbed = document.getElementById(’embed’).getSVGDocument();

注意,如果使用<img>标签插入 SVG 文件,就无法获取 SVG DOM。

3.3 读取 SVG 源码

由于 SVG 文件就是一段 XML 文本,因此可以通过读取 XML 代码的方式,读取 SVG 源码。

<div id=“svg-container”>

  <svg

    xmlns=“http://www.w3.org/2000/svg”

    xmlns:xlink=“http://www.w3.org/1999/xlink”

    xml:space=“preserve” width=“500” height=“440”

>

    <!– svg code –>

  </svg>

</div>

使用XMLSerializer实例的serializeToString()方法,获取 SVG 元素的代码。

var svgString = new XMLSerializer()

.serializeToString(document.querySelector(‘svg’));

3.4 SVG 图像转为 Canvas 图像

首先,需要新建一个Image对象,将 SVG 图像指定到该Image对象的src属性。

var img = new Image();

var svg = new Blob([svgString], {type: “image/svg+xml;charset=utf-8″});

 

var DOMURL = self.URL || self.webkitURL || self;

var url = DOMURL.createObjectURL(svg);

 

img.src = url;

然后,当图像加载完成后,再将它绘制到<canvas>元素。

img.onload = function () {

  var canvas = document.getElementById(‘canvas’);

  var ctx = canvas.getContext(‘2d’);

  ctx.drawImage(img, 0, 0);

};

四、实例:折线图

下面将一张数据表格画成折线图。

Date |Amount

—–|——

20140101 | $10

20140201 | $20

20140301 | $40

20140401 | $80

上面的图形,可以画成一个坐标系,Date作为横轴,Amount作为纵轴,四行数据画成一个数据点。

<svg width=“350” height=“160”>

  <g class=“layer” transform=“translate(60,10)”>

    <circle r=“5” cx=“0”   cy=“105” />

    <circle r=“5” cx=“90”  cy=“90”  />

    <circle r=“5” cx=“180” cy=“60”  />

    <circle r=“5” cx=“270” cy=“0”   />

 

    <g class=“y axis”>

      <line x1=“0” y1=“0” x2=“0” y2=“120” />

      <text x=“-40″ y=“105” dy=“5”>$10</text>

      <text x=“-40″ y=“0”   dy=“5”>$80</text>

    </g>

    <g class=“x axis” transform=“translate(0, 120)”>

      <line x1=“0” y1=“0” x2=“270” y2=“0” />

      <text x=“-30″   y=“20”>January 2014</text>

      <text x=“240” y=“20”>April</text>

    </g>

  </g>

</svg>

五、参考链接

  • Jon McPartland, An introduction to SVG animation
  • Alexander Goedde, SVG – Super Vector Graphics
  • Joseph Wegner, Learning SVG
  • biovisualize, Direct svg to canvas to png conversion
  • Tyler Sticka, Cropping Image Thumbnails with SVG
  • Adi Purdila, How to Create a Loader Icon With SVG Animations

微信小程序实现圆形进度条

思路

使用2个canvas 一个是背景圆环,一个是彩色圆环。
使用setInterval 让彩色圆环逐步绘制。
第一步先写结构

一个盒子包裹2个canvas以及文字盒子;
盒子使用相对定位作为父级,flex布局,设置居中;
一个canvas,使用绝对定位作为背景,canvas-id=”canvasProgressbg”
另一个canvas,使用相对定位作为进度条,canvas-id=”canvasProgress”

mysql 已设置utf8mb4 还是存不了表情【解决方法】

1,emoji介绍

(1)emoji 就是表情符号,来自日语词汇“絵文字”(假名为“えもじ”,读音即 emoji)。
(2)最早由栗田穰崇(Shigetaka Kurita)创作,并在日本网络及手机用户中流行。 自苹果公司发布的 iOS 5 输入法中加入了 emoji 后,这种表情符号开始席卷全球。
(3)目前 emoji 已被大多数现代计算机系统所兼容的 Unicode 编码采纳,普遍应用于各种手机短信和社交网络中。
1535075603-7981-201610
2,问题描述

最近使用 MySQL 作为一个移动应用的数据库。但是不管使用 Anroid 设备,还是 iOS 设备。只要插入包含有 emoji 表情符号的记录时就报错。
1535075604-3223-201610

3,问题原因

MySQL 我使用的是默认的 utf8 编码,UTF8 编码只支持 1-3 个字节。而 emoji 占有 4 个字节的存储空间,所以自然保存不了。
从 MYSQL5.5 开始,可支持 4 个字节 UTF 编码,只要将编码标记成 utf8mb4 即可。并且 utf8mb4 是兼容 utf8 的。

csv文件上传中文编码乱码的解决方法

下面是上传文件的截图:

QQ截图20180814094435

1.文件是以GB2312作为编号,当上传至服务端后,编码依然是GB2312。所以一开始我尝试以GB2312编码进行转码,但是结果是失败的。

2.后来想到了写出文件的时候进行转码,成功把文件转成了UTF-8,但是会出现其他的bug,比如数字“1”会变成“1              ”。也就是多了很多空格,所以也失败了。

3.最后想到了,分割字符串,组装成对象那块,开始依然尝试使用GB2312、GBK、UTF-8依然失败,最后使用编码:ISO-8859-1 成功了。

下面是代码片段:

@Override
public Object readLineMap(String line) throws IllegalServiceException {
    if (line.contains(",")) {
        String xline = null;
        try {
            xline = new String(line.getBytes("ISO-8859-1"));
        } catch (UnsupportedEncodingException e) {
            e.printStackTrace();
        }

        logger(xline);
        String[] strings = xline.split(",");


        ...........................

Linux系统可能需要这样子:

xline = new String(line.getBytes("ISO-8859-1"),"GB2312");