万字分享，我是如何一步一步监控公司MySQL的？
|
副标题[/!--empirenews.page--]
写在前边 在家远程办公第三周，快被手机上的消息搞的有些神经质了，生怕错过一条有用的信息，没办法形势如此，公司摇摇欲坠大家也都如履薄冰，毕竟这时候失业有点惨（穷怕了）。 但就干活来说还是比较清闲的，和在公司上班相比，清闲下来很多碎片时间，可以随意的做点自己喜欢的事情。而且我发现，人一但闲下来真的是好可怕，潜在的才能会全面爆发，我女朋友这个抖音深度患者，一年不做一回饭的主，一周内接连给我做了两顿黑暗料理，烤馒头版“蛋糕”、浆糊版“凉皮”，然后我就与厕所结下来不解之缘。。。 不过，作为一个程序员，我对黑暗料理是不太感兴趣滴，闲下来还是喜欢学习钻研一些新奇的技术，canal就成了很好的研究对象，一不小心就监控了公司MySQL的一举一动的 一、canal是个啥？canal是阿里开发的一款基于数据库增量日志解析，提供增量数据订阅与消费的框架，整个框架纯JAVA开发，目前仅支持Mysql和MariaDB（和mysql类似）。 那什么是数据库增量日志？ MySQL的日志种类是比较多的，主要包含：错误日志、查询日志、慢查询日志、事务日志、二进制日志。而MySQL数据库所发生的数据变更（DML（data manipulation language）数据操纵语言，也就是我们熟悉的增删改），都会以二进制日志(binary log)形式存储。 二、canal原理在介绍canal原理之前，我们先来回顾一下MySQL主从同步的原理，这或许会让你更好的理解canal的工作机制。 1、MySQL主从同步原理： MySQL主从同步也叫读写分离，可以提升数据库的负载和容错能力，实现数据库的高可用 先来分析一张MySQL主从同步原理图： 以上图片源自网络，如有侵权联系删除 master节点操作过程： 当master节点数据发生更改后（delete、update、insert，还是创建函数、存储过程等操作），向binary log中写入记录日志，这些记录又叫做二进制日志事件（binary log events）。 show binlog events
这些事件会按照顺序写入bin log中。当slave节点启动连接到master节点的时候，master节点会为slave节点开启binlog dump线程（负责传输binlog数据）。 一旦master节点的bin log发生变化时，bin logdump线程会通知slave节点有可以传输的binlog，并将相应的bin log内容发送给slave节点。 slave节点操作过程： slave节点上会创建两个线程：一个I/O线程，一个SQL线程。I/O线程连接到master节点，master节点上的binlog dump 线程会将binlog的内容发送给该IO线程。 该I/O线程接收到binlog内容后，再将内容写入到本地的relay log。而sql线程读取到I/O线程写入的ralay log，将relay log中的内容写入slave数据库。 2、canal原理 懂了上边MySQL的主从同步原理，canal的工作机制就很好理解了。其实canal是模拟了MySQL数据库中，slave节点与master节点的交互协议，伪装自己为MySQL slave节点，向MySQL master节点发送dump协议，MySQL master节点收到dump请求，开始推送binary log给slave节点(也就是canal)。 以上图片源自网络，如有侵权联系删除 光说不练假把式，开干！ 三、canal实现“监控”MySQL在写代码前我们先对MySQL进行一下改造，安装MySQL就不再细说了，基本操作。 1、查看一下MySQL是否开启了binary log功能 show binary logs如果没有开启是图中的状态，一般用户是没有这个命令权限的，不过我有，啧啧啧！
如果没有需要手动开启，并且在my.cnf文件中配置binlog-format 为Row模式 log-bin=mysq-binbinlog-format=Rowlog-bin是binlog文件存放位置binlog-format 设置MySQL复制log-bin的方式 MySQL的三种复制方式： 基于SQL语句的复制(statement-based replication, SBR) 优点：将修改数据的sql保存在binlog，不需要记录每一条sql和数据变化，binlog体量会很小，IO开销少，性能好 缺点：会导致master-slave中的数据不一致 基于行的复制(row-based replication, RBR) 优点：不记录每条sql语句的上下文信息，仅需记录哪条数据被修改了，修改成什么样了 缺点：binlog体积很大，尤其是在alter table属性时，会产生大量binlog数据 混合模式复制(mixed-based replication, MBR) 对应的，binlog的格式也有三种：STATEMENT，ROW，MIXED。 2、为canal 创建一个有权限操作MySQL的用户 CREATE USER canal IDENTIFIED BY 'canal'; GRANT SELECT, REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO 'canal'@'%';-- GRANT ALL PRIVILEGES ON *.* TO 'canal'@'%' ;FLUSH PRIVILEGES;3、安装canal 下载地址：https://github.com/alibaba/canal/releases 下载后选择版本例如：canal.deployer-xxx.tar.gz 4、配置canal （编辑：核心网） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |
