为了解决mysqlbing翻译表字段问题而分析frm文件(持续更新)

forminfo_length = 288
header_size = 64

typedef struct st_ha_create_information
{

 003e ~ 003f: 00 00  create table [table_option] 的 KEY_BLOCK_SIZE
在handler.h文件的 ulong key_block_size;

0004 ~ 0005: 03 00 , 反着看 00 30  mysql 5.0+ 总是为3
,如果不是3,那就算了…..

0021: 05 是 frm 文件的 版本号

跟着下来要定位 forminfo_offset , 就是表的字段开始位置

0016 ~ 0019: 00 00 00 00 是 create table 语句的 min_rows 选项 ,
在 handler.h 文件

 

都是unsigned int ( 占 4 bytes) , little-endian

这里算到forminfo_offset:  0x3000

002a: 00 RAID_CHUNKS mysql 5之前的 create table [table_option] ,
没有研究干嘛的

metadata_length: 0x3446

 003d: 00  如果是0C,  就是分区表  , 在handler.h文件的
DB_TYPE_PARTITION_DB = 12

以下的都是固定长度 , 问题是要找出forminfo_offset ,
metadata_length 和 metadata_offset :

图片 1

0037 ~ 003a: 33 00 00 00 create table [table_option] extra_info
信息 

 

enum legacy_db_type
{
DB_TYPE_UNKNOWN=0,DB_TYPE_DIAB_ISAM=1,

 

REC_FORMAT_REDUNDANT = 0, /*!< REDUNDANT row format */
REC_FORMAT_COMPACT = 1, /*!< COMPACT row format */
REC_FORMAT_COMPRESSED = 2, /*!< COMPRESSED row format */
REC_FORMAT_DYNAMIC = 3 /*!< DYNAMIC row format */
};

  1. little-endian & big-endian 的了解 , 一般来说 x86是 little-endian 

唯有自己解释 frm 文件,获取表字段名称,字段出来,
然后对应一下贴贴贴上去翻译出binlog的sql语句咯 ,并不是高深东西 ,
仅此日记记录

forminfo_offset , 就是表的字段开始位置,可变

0020: 没用

  • CONNECTION
  • ENGINE
  • PARTITION BY
  • WITH PARSER
  • Table COMMENT

…}

 

column_count = (forminfo_offset + 258 ) (H) 字段总数 , 占 2 bytes
screens_length 有多少字节数到达 forminfo 的字段metadata , 占 2 bytes
screens_length = (forminfo_offset + 260) (H)

0000 ~ 0001: FE 01 识别是否frm文件 , 固定

您的支持是对博主最大的鼓励,感谢您的认真阅读。本文版权归作者所有,欢迎转载,但请保留该声明。

明天待续补充索引信息和注释信息…………

但没看到有人在 mysql8.0 功能需求时提问题出来 , 自己也没有提出来 

0033 ~ 0036: BF C5 00 00 mysql版本号 ,涉及到一个字节序问题 ,
机器是x86所以是Little-Endian ,链接如下: 

0008 ~ 0009: 01 00 暂时不知道是什么 

0010 ~ 0011: 18 08 rec_length ;这是一个默认值存储字符串的字节

0002: 0A 是mysql版本识别位置table.cc 的 FRM_VER+3+
MY_TEST(create_info->varchar);  为6是5.0+版本mysql , 9 或者
10是有varchar的frm文件

 

0012 ~ 0015: 00 00 00 00 是 create table 语句的 MAX_ROWS 选项

001b: 02 总是2 , 使用长包字段

出处:kelvin19840813 的博客

图片 2

0003: 0C 影射枚举值从 handler.h文件中 legacy_db_type , 0C 是 12
刚刚好是innodb类型 ,如下:

Format C Python 字节数
x pad byte no value 1
c char string of length 1 1
b signed char integer 1
B unsigned char integer 1
? _Bool bool 1
h short integer 2
H unsigned short integer 2
i int integer 4
I unsigned int integer or long 4
l long integer 4
L unsigned long long 4
q long long long 8
Q unsigned long long long 8
f float float 4
d double float 8
s char[] string 1
p char[] string 1
P void * long  

metadata_offset = forminfo_offset + forminfo_length + screens_length

0006 ~ 0007: 00 10 , 反着看 10 00  IO_SIZE: 4096

ulonglong max_rows,min_rows;

rem0types.h文件

0022 ~ 0025: 00 00 00 00 是create table [table_option]
指定的avg_row_length

forminfo_names_length = 文件位置offset: 0x0004 (H) , 3.23版本之后都是3 , 占 2 bytes

000a ~ 000d: 00 40 00 00 暂时不知道是什么 

0029: 00 RAID_TYPE mysql 5之前的 create table [table_option] ,
没有研究干嘛的

0027: 00 不知道

metadata_offset: 0x328C

 

001c ~ 001d: A3 02 key_info_length – keyinfo部分字节大小

002b ~ 002e: 00 00 00 00 RAID_CHUNKSIZE mysql 5之前的 create
table [table_option] , 没有研究干嘛的

生成 MYSQL_VERSION_MAJOR , MYSQL_VERSION_MINOR ,
 MYSQL_VERSION_PATCH 

1. 提前准备知识,struct

…….

001e ~ 001f: 69 00 是create table [table_option]
的值 my_base.h 文件的 HA_OPTION_* 之类变量

 003b ~ 003c: 00 00 extra_rec_buf_length

enum rec_format_enum {

定位了0x3446 就可以知道表的第1个字段位置 , 将2进制转换成字符 , php,
python都有 struct的 pack 和 unpack 函数 , c比较麻烦一点   ,
以 0xff 作为字段名成分隔符:

 

000e ~ 000f: F9
16 tmp_key_length;如果等于0xffff然后密钥长度是4字节整数偏移0x002f

0028: 02 是create table [table_option] 的 ROW_FORMAT

很多人都知道mysqlbinlog 解释出来的binlog的 insert , update 是位置相反的
, 还有表字段都是@1 … @数字 , 很恶心!!!

 

0026: create table [table_option]  指定字符集编码 [DEFAULT]
CHARACTER SET

 

 

001a: 00 没有用

002f ~ 0032: F9 16 00 00  index metadata keyinfo部分字节大小

……, DB_TYPE_INNODB,
……
};

metadata_length = column_count * 17 bytes 到达表的第1个字段距离 +
metadata_offset

相关文章

发表评论

电子邮件地址不会被公开。 必填项已用*标注

*
*
Website