二进制格式——Log 族(页帧 / EntryLog / DeltaLog / LogMeta)
分册:总览与通用约定 | Log 族 | Ring 族 | 段元组/索引/快照 | TierVolume | 产品格式 | 网络线格式
2. 存储结构格式(Runtime)
2.1 Log 页帧(LogPageFrame)
EntryLog/DeltaLog 的物理写单元——N 条 entry 攒满一页(默认 4MiB)组帧写入引擎地址空间。
[LogPageFrameHeader 8B][data: alignedLen B][Crc32Footer 4B][padding: 0..Sector-1 B]
0 8 8+alignedLen
| 偏移 | 宽度 | 字段 | 校验/含义 |
|---|---|---|---|
| 0 | 4 | MagicValue | 0x4647504C "LPGF" |
| 4 | 4 | DataLength | 数据区有效字节数 = AlignUp(pageUsed, Sector)(读侧定界) |
| 8 | alignedLen | data | entry 流(见 2.2/2.3) |
| 8+alignedLen | 4 | Crc | CRC32C,覆盖 [0, 8+alignedLen)(header+data,不含 padding) |
| 后 | var | padding | 全零,把整帧撑到扇区对齐 |
无版本字段;DataLength 即写侧对齐字节数,恢复端按帧头前向扫描。
源码:Structures/Log/LogPageFrameHeader.cs、LogBase.Write.cs:328-417、LogBase.Recovery.cs:144-282。
2.2 EntryLog entry 头(22B,CRC64 in-Header)
raft WAL 底层单条记录头,data 区内连续、每条 4B 对齐。
[MagicValue 4][Version 2][Flags 2][PayloadLength 4][PaddingLength 2][Crc64 8][payload][padding 4 对齐]
0 4 6 8 12 14 22
| 偏移 | 宽度 | 字段 | 校验/含义 |
|---|---|---|---|
| 0 | 4 | MagicValue | 0x474F4C45 "ELOG" |
| 4 | 2 | Version | 0x0100 |
| 6 | 2 | Flags | 含 0x32 = CRC64(0x02)|PAYLOAD_4B(0x10)|META_EMBEDDED(0x20);可叠加 FLAG_ENTRY_IS_META(0x80) |
| 8 | 4 | PayloadLength | ≤ 4MiB(MaxEntrySize=1<<22) |
| 12 | 2 | PaddingLength | 4B 对齐补零 |
| 14 | 8 | Crc | CRC64 in-Header——覆盖 [0,14) ∪ {Crc 置零 8B} ∪ [22, 22+payload+padding) |
源码:Structures/Log/EntryLog.Header.cs:16-48、EntryLog.Codec.cs:26-63。
2.3 DeltaLog entry 头(18B,CRC32C in-Header)
临时增量日志记录头,与 EntryLog 同构。
[Magic 4][Version 2][Flags 2][PayloadLength 4][PaddingLength 2][Crc32C 4][payload][padding]
0 4 6 8 12 14
| 偏移 | 宽度 | 字段 | 含义 |
|---|---|---|---|
| 0 | 4 | MagicValue | 0x474F4C44 "DLOG" |
| 6 | 2 | Flags | 含 0x33 = CRC32C(0x03)|PAYLOAD_4B|META_EMBEDDED |
| 14 | 4 | Crc | CRC32C in-Header(覆盖同 2.2 语义) |
源码:Structures/Log/DeltaLog.Header.cs:16-49、DeltaLog.Codec.cs:26-71。
2.4 LogMeta 水位块(12B + 80B(+opaque) + 4B)
Log 持久化水位 / 2PC 事务恢复元数据(MetaPolicy 原子落盘)。
[LogMetaHeader 12B][LogMetaPayload 80B + opaque][Crc32Footer 4B]
LogMetaHeader(12B):[0] Magic 0x44484D4C "LMHD" + [4] Version 0x0100 + [6] Flags 0x4F(CRC32C 0x03|PAYLOAD_2B 0x08|CRC_IN_FOOTER 0x04|META_STANDALONE 0x40——ValidEquals 强校验)+ [8] PayloadLength 2B + [10] PaddingLength 2B。
LogMetaPayload(80B):
| 偏移 | 宽度 | 字段 |
|---|---|---|
| 0 | 16 | BeginAddress(头回收边界) |
| 16 | 16 | TailAddress(写游标) |
| 32 | 16 | CommittedOffset(group commit 落盘边界) |
| 48 | 8 | LastCommittedSeq(-1 = 未参与事务) |
| 56 | 8 | LastPreparedSeq(-1 = 从未 Prepare) |
| 64 | 16 | PreparedTailAddress(2PC Abort 回退点;Empty = 无窗口) |
CRC:CRC32C 落尾部 Crc32Footer(offset 12+PayloadLength),覆盖 [0, 12+PayloadLength)。
源码:Structures/Log/Contracts/LogMetaHeader.cs、LogMetaPayload.cs、LogBase.LogMeta.cs:103-112。