运行拓扑与一致性
分册导航:net.md | net-topology.md | net-transport.md | [net-raft.md](raft 接入) | net-identity-security.md | net-p2p.md | net-observability.md | 运行拓扑与一致性 | 传输配置与调参 | raft 共识接入 | 身份与安全档 | P2P 会员与 gossip 广播 | 可观测与故障注入
3. 运行拓扑与一致性
3.1 节点与集群:谁包含谁
节点是唯一的运行时实体(一个 NodeEndpoint = 传输枢纽 + 装配的机制);
集群不是实体,是三个层面的共同约定:
集群 = ① 一致的集群标签(ClusterTag——握手期核对,防串集群)
+ ② 一致的成员表(ClusterConfig——谁是这个集群的成员、谁是 learner)
+ ③ 一致的日志与状态(多数派复制的产物)
┌──────────┐ ┌──────────┐ ┌──────────┐
│ 节点 A │ │ 节点 B │ │ 节点 C │
│ (leader) │ │(follower)│ │(follower)│
└────┬─────┘ └────┬─────┘ └────┬─────┘
│ 每对节点一条 TCP 长连接 │
└──────────────┬───────┴─────────────────────┘
(复制 / 选举 / 快照 / 反熵全部共用这条链路——
连接数 = 节点对数,不随协议数量增长)
- 链路由 NodeId 较小的一方主动拨号并负责重连(另一方只监听——防止双方同时拨导致连接 抖动);断线指数退避自动重连,恢复后链路自动续上。
- 客户端(地址制)不进成员表:拨入即用,身份握手得知,断开不自动重连。
3.2 启动流程(从 StartAsync 到可写入)
TierRaftNodeBuilder / ClusterBuilder .StartAsync()
│
├─► ① 传输起网:开始监听 + 按成员表向各对端拨号
│ └─ 每对节点:三步握手(协议版本 / 集群标签 / 安全档核对)
│ —— 任一环不匹配 = 拒连(fail-fast,绝不带病运行)
├─► ② raft 选举
│ ├─ N=1:多数派 = 自己,直接自举为 leader(单机形态)
│ └─ N≥2:候选者拉票,拿多数派票者当选 leader
└─► ③ leader 就绪——接受写入(非 leader 收到写入 = 明确报错,客户端重路由)
全程对使用方只有一个观察点:raft.IsLeader / raft.LeaderId(§6.2)。
3.3 谁和谁通信
| 通信 | 谁发起 → 谁接收 | 干什么 |
|---|---|---|
| 写入复制 | leader → 各 follower | 你的写入(ReplicateAsync)由 leader 追加日志并复制,多数派落盘即提交 |
| 选举投票 | 全员 ↔ 全员 | leader 掉线(心跳超时)时存余节点互拉票选新 leader |
| 心跳 | leader → followers | 告知"我还活着+我的日志进度";follower 持续收不到 = 发起换届 |
| 快照流(单源) | leader → 落后节点 | follower 日志缺口越过快照边界,增量追不上 → 整段基线流式安装 |
| 快照拉取(多源) | 落后节点 ← 全体持有者 | 装配 Swarm 后:块清单 + 并行拉块 + 坏块换源——基线带宽不再全压 leader |
| 反熵比对 | leader ↔ 各对端(轮转) | 按内容树逐层比对,只传差异块——持续收敛漂移 |
| gossip 扇出 | 节点 → 活跃视图邻居 | 通知/通告类消息逐跳转发,最终散布全网(P2P 模式,§8) |
客户端只和 leader 通信写入(非 leader 明确报错引导重路由);读可与任意节点交互 (线性读见 §3.4)。
3.4 两种一致性:怎么启动、代价是什么
线性一致(缺省——不用做任何额外配置):装配 raft 即得。写走默认完成档,
读走 ReadIndexAsync。
写:await raft.ReplicateAsync(cmd)
── 返回时:多数派落盘 + 已应用到状态机(read-your-writes)
读:await raft.ReadIndexAsync(ct)
── leader 向多数派确认身份后返回读位点(分区期拿不到多数派 = 超时,不返回过期数据)
代价:提交要多数派在线——半数以上节点不可达时写入不可用(这是强一致的物理代价)
最终一致(按需组合三件套):
| 手段 | 怎么启动 | 语义 |
|---|---|---|
| LeaderLocal 完成档 | 单次调用 ReplicateLeaderLocalAsync;或 RaftOptions.WithReplicationAck(ReplicationAck.LeaderLocal) 整体切换 |
leader 本地落盘即返回(延迟最低)——换届可能丢未复制尾部,接受异步收敛(Redis 类场景) |
| 多源分发 + 反熵 | 产品节点 WithSwarm(...) + WithAntiEntropyInterval(...)(见 raft-node.md);引擎级组件 SwarmSync/SwarmAntiEntropy(§6.3) |
基线内容寻址、多源并行拉取;对账只修差异——持续收敛 |
| gossip 广播 | P2P 模式 WithBroadcast()(§8.2) |
通知面:最终散布、不保序不保达 |
怎么选:账本/配置/元数据 → 线性一致(缺省);高吞吐低延迟可容忍换届丢尾部 → LeaderLocal;大基线分发与漂移修复 → Swarm + 反熵;成员事件通知 → gossip。
3.5 节点数怎么定
多数派 = ⌊N/2⌋+1(投票节点数;learner 不计入):
| 规模 | 可运行 | 容错 | 说明 |
|---|---|---|---|
| N=1 | ✓ | 0 台 | 单机形态:启动即自举 leader,本地落盘即提交——开发/单机部署 |
| N=2 | ✓ | 0 台 | 多数派 = 2,任一台离线即不可写不可选——能跑但不建议(没换来容错,白付一致性成本) |
| N=3 | ✓ | 1 台 | 生产最小推荐 |
| N=5 | ✓ | 2 台 | 跨机架/可用区起步 |
| N=2k+1 | ✓ | k 台 | 容错上限 = 少数派;偶数不增加容错只增加成本(N=4 与 N=3 容错相同) |
| +learner | — | — | 附加观察副本:收日志可读、不投票不计多数派——读扩容/容灾不损写入可用性 |
运行中变更:Membership 在线加减成员(两步提交);learner 角色在成员表声明。