MySQL BinLog 日志获取并解析
本文主要介绍阿里云云数据库RDS MySQL如何远程获取Binlog日志,并使用mysqlbinlog工具解析Binlog日志。
操作步骤
您可以参考以下方法远程获取Binlog日志并解析Binlog日志。
获取Binlog日志
请根据实际情况选择合适的Binlog日志获取方法。
方法一:控制台下载日志文件(推荐)
通过RDS控制台直接下载日志文件。具体操作,请参见下载Binlog日志文件。
方法二:远程获取Binlog日志
-
通过客户端连接实例。具体操作,请参见连接实例。
-
执行以下SQL语句,查看并记录
logs
表中的Log_name
值,该值为Binlog日志文件名,例如mysql-bin.xxx
。show binary logs;
系统显示类似如下:
mysql> show binary logs; +------------------+-----------+ | Log_name | File_size | +------------------+-----------+ | mysql-bin.000793 | 29766725 | | mysql-bin.000794 | 140658438 | +------------------+-----------+ 2 rows in set (0.01 sec)
-
根据上一步获取的Binlog文件名,在命令行执行以下命令,远程获取Binlog日志并保存至本地。
mysqlbinlog -u<$User> -p<$Password> -h<$Host> --read-from-remote-server --raw <mysql-bin.XXX> > [$File_Name]
参数解释如下:
参数 含义 -u<$User>
指定连接MySQL服务器的用户名。 -p<$Password>
指定连接MySQL服务器的密码。 -h<$Host>
云数据库RDS实例远程连接地址。如何获取,请参见查看内外网地址和端口。 --read-from-remote-server
mysqlbinlog
将通过网络连接到指定的远程MySQL服务器来获取二进制日志文件内容。--raw
mysqlbinlog
命令以原始格式显示解析后的二进制日志内容。<mysql-bin.XXX>
待解析的二进制日志文件的文件名。请根据步骤二结果填写。 > [$File_Name]
远程获取Binlog文件保存在本地的文件名。 -
执行以下命令,确认远程获取Binlog日志成功。
more [$File_Name]
5.转换格式,将二进制文件转成utf-8文件内容
mysqlbinlog -vv --base64-output=decode-rows mysql-bin.000794 > mysql-bin.log
这样转换好的文件就可以操作了;比如查看文件的最后10行内容head -n 10 mysql-bin.log
.
通过mysqlbinlog查看Binlog日志文件
在命令行执行以下命令,通过mysqlbinlog工具查看Binlog日志文件内容。
mysqlbinlog -vv --base64-output=decode-rows <mysql-bin.XXX> | more
参数解释如下:
参数 | 含义 |
---|---|
-vv | 将输出详细信息,包括解析出的每个事件的详细内容。 |
--base64-output=decode-rows | 使用base64编码打印二进制日志条目。 |
<mysql-bin.XXX> | 待解析的二进制日志文件的文件名。请将XXX 替换为实际的文件名。 |
` | more` |
**说明:**更多关于Binlog日志的解析,请参见MySQL官方网站。
系统显示类似如下:
[root@iZbp****** ~]# mysqlbinlog -vv --base64-output=decode-rows mysql-bin.000022 | more
# The proper term is pseudo_replica_mode, but we use this compatibility alias
# to make the statement usable on server versions 8.0.24 and older.
/*!50530 SET @@SESSION.PSEUDO_SLAVE_MODE=1*/;
/*!50003 SET @OLD_COMPLETION_TYPE=@@COMPLETION_TYPE,COMPLETION_TYPE=0*/;
DELIMITER /*!*/;
# at 4
#230911 9:27:28 server id 26718053 end_log_pos 123 CRC32 0xa231cb44 Start: binlog v 4, server v 5.7.42-log created 230911 9:27:28
# at 123
#230911 9:27:28 server id 26718053 end_log_pos 194 CRC32 0x078b6dc1 Previous-GTIDs
# a63b4ed1-4c86-11ee-9029-00163e157053:1-27339
# at 194
#230911 9:27:32 server id 26718053 end_log_pos 259 CRC32 0x59b848c3 GTID last_committed=0 sequence_number=1 rbr_only=yes original_committed_ti
mestamp=0 immediate_commit_timestamp=0 transaction_length=0
/*!50718 SET TRANSACTION ISOLATION LEVEL READ COMMITTED*//*!*/;
# original_commit_timestamp=0 (1970-01-01 08:00:00.000000 CST)
# immediate_commit_timestamp=0 (1970-01-01 08:00:00.000000 CST)
/*!80001 SET @@session.original_commit_timestamp=0*//*!*/;
/*!80014 SET @@session.original_server_version=0*//*!*/;
/*!80014 SET @@session.immediate_server_version=0*//*!*/;
SET @@SESSION.GTID_NEXT= 'a63b4ed1-4c86-11ee-9029-00163e157053:27340'/*!*/;
# at 259
#230911 9:27:32 server id 26718053 end_log_pos 327 CRC32 0xc0dddaec Query thread_id=16849 exec_time=0 error_code=0
SET TIMESTAMP=1694395652/*!*/;
SET @@session.pseudo_thread_id=16849/*!*/;
SET @@session.foreign_key_checks=1, @@session.sql_auto_is_null=0, @@session.unique_checks=1, @@session.autocommit=1/*!*/;
SET @@session.sql_mode=2097152/*!*/;
SET @@session.auto_increment_increment=1, @@session.auto_increment_offset=1/*!*/;
/*!\C utf8mb3 *//*!*/;
SET @@session.character_set_client=33,@@session.collation_connection=33,@@session.collation_server=33/*!*/;
SET @@session.lc_time_names=0/*!*/;
SET @@session.collation_database=DEFAULT/*!*/;
BEGIN
常见问题
以下介绍了使用mysqlbinlog工具遇到的三种常见问题。
-
若出现以下报错内容,请检查使用的mysqlbinlog工具版本。例如您使用3.3版本遇到以下错误,但是在3.4版本中已经修复此问题,3.4版本可以正常查看。因此出现此问题,您可以使用较高版本的mysqlbinlog工具查看。
ERROR: Error in Log_event::read_log_event(): 'Sanity check failed', data_len: 151, event_type: 35 ERROR: Could not read entry at offset 120: Error in log format or read error.
-
通过mysqlbinlog工具查看Binlog日志文件内容时,没有使用
--base64-output=decode-rows
参数,导致输出的结果为未解析的内容。
-
若出现以下报错,请检查
my.cnf
配置文件中是否存在default-character-set=utf8mb4
字段,如果存在,可以通过在命令中添加--no-defaults
参数避免该问题。例如:mysqlbinlog --no-defaults -u[$User] -p[$Password] -h[$Host] --read-from-remote-server mysql-bin.XXX > [$File_Name]
。mysqlbinlog: [ERROR] unknown variable 'default-character-set=utf8mb4'
评论区