Table of Contents

运行拓扑与一致性

分册导航:net.md | net-topology.md | net-transport.md | [net-raft.md](raft 接入) | net-identity-security.md | net-p2p.md | net-observability.md | 运行拓扑与一致性 | 传输配置与调参 | raft 共识接入 | 身份与安全档 | P2P 会员与 gossip 广播 | 可观测与故障注入

3. 运行拓扑与一致性

3.1 节点与集群:谁包含谁

节点是唯一的运行时实体(一个 NodeEndpoint = 传输枢纽 + 装配的机制); 集群不是实体,是三个层面的共同约定:

集群 = ① 一致的集群标签(ClusterTag——握手期核对,防串集群)
     + ② 一致的成员表(ClusterConfig——谁是这个集群的成员、谁是 learner)
     + ③ 一致的日志与状态(多数派复制的产物)

   ┌──────────┐          ┌──────────┐          ┌──────────┐
   │  节点 A   │          │  节点 B   │          │  节点 C   │
   │ (leader) │          │(follower)│          │(follower)│
   └────┬─────┘          └────┬─────┘          └────┬─────┘
        │      每对节点一条 TCP 长连接          │
        └──────────────┬───────┴─────────────────────┘
             (复制 / 选举 / 快照 / 反熵全部共用这条链路——
               连接数 = 节点对数,不随协议数量增长)
  • 链路由 NodeId 较小的一方主动拨号并负责重连(另一方只监听——防止双方同时拨导致连接 抖动);断线指数退避自动重连,恢复后链路自动续上。
  • 客户端(地址制)不进成员表:拨入即用,身份握手得知,断开不自动重连。

3.2 启动流程(从 StartAsync 到可写入)

TierRaftNodeBuilder / ClusterBuilder .StartAsync()
  │
  ├─► ① 传输起网:开始监听 + 按成员表向各对端拨号
  │       └─ 每对节点:三步握手(协议版本 / 集群标签 / 安全档核对)
  │          —— 任一环不匹配 = 拒连(fail-fast,绝不带病运行)
  ├─► ② raft 选举
  │       ├─ N=1:多数派 = 自己,直接自举为 leader(单机形态)
  │       └─ N≥2:候选者拉票,拿多数派票者当选 leader
  └─► ③ leader 就绪——接受写入(非 leader 收到写入 = 明确报错,客户端重路由)

全程对使用方只有一个观察点:raft.IsLeader / raft.LeaderId(§6.2)。

3.3 谁和谁通信

通信 谁发起 → 谁接收 干什么
写入复制 leader → 各 follower 你的写入(ReplicateAsync)由 leader 追加日志并复制,多数派落盘即提交
选举投票 全员 ↔ 全员 leader 掉线(心跳超时)时存余节点互拉票选新 leader
心跳 leader → followers 告知"我还活着+我的日志进度";follower 持续收不到 = 发起换届
快照流(单源) leader → 落后节点 follower 日志缺口越过快照边界,增量追不上 → 整段基线流式安装
快照拉取(多源) 落后节点 ← 全体持有者 装配 Swarm 后:块清单 + 并行拉块 + 坏块换源——基线带宽不再全压 leader
反熵比对 leader ↔ 各对端(轮转) 按内容树逐层比对,只传差异块——持续收敛漂移
gossip 扇出 节点 → 活跃视图邻居 通知/通告类消息逐跳转发,最终散布全网(P2P 模式,§8)

客户端只和 leader 通信写入(非 leader 明确报错引导重路由);读可与任意节点交互 (线性读见 §3.4)。

3.4 两种一致性:怎么启动、代价是什么

线性一致(缺省——不用做任何额外配置):装配 raft 即得。写走默认完成档, 读走 ReadIndexAsync。

写:await raft.ReplicateAsync(cmd)
    ── 返回时:多数派落盘 + 已应用到状态机(read-your-writes)
读:await raft.ReadIndexAsync(ct)
    ── leader 向多数派确认身份后返回读位点(分区期拿不到多数派 = 超时,不返回过期数据)
代价:提交要多数派在线——半数以上节点不可达时写入不可用(这是强一致的物理代价)

最终一致(按需组合三件套):

手段 怎么启动 语义
LeaderLocal 完成档 单次调用 ReplicateLeaderLocalAsync;或 RaftOptions.WithReplicationAck(ReplicationAck.LeaderLocal) 整体切换 leader 本地落盘即返回(延迟最低)——换届可能丢未复制尾部,接受异步收敛(Redis 类场景)
多源分发 + 反熵 产品节点 WithSwarm(...) + WithAntiEntropyInterval(...)(见 raft-node.md);引擎级组件 SwarmSync/SwarmAntiEntropy(§6.3) 基线内容寻址、多源并行拉取;对账只修差异——持续收敛
gossip 广播 P2P 模式 WithBroadcast()(§8.2) 通知面:最终散布、不保序不保达

怎么选:账本/配置/元数据 → 线性一致(缺省);高吞吐低延迟可容忍换届丢尾部 → LeaderLocal;大基线分发与漂移修复 → Swarm + 反熵;成员事件通知 → gossip。

3.5 节点数怎么定

多数派 = ⌊N/2⌋+1(投票节点数;learner 不计入):

规模 可运行 容错 说明
N=1 ✓ 0 台 单机形态:启动即自举 leader,本地落盘即提交——开发/单机部署
N=2 ✓ 0 台 多数派 = 2,任一台离线即不可写不可选——能跑但不建议(没换来容错,白付一致性成本)
N=3 ✓ 1 台 生产最小推荐
N=5 ✓ 2 台 跨机架/可用区起步
N=2k+1 ✓ k 台 容错上限 = 少数派;偶数不增加容错只增加成本(N=4 与 N=3 容错相同)
+learner — — 附加观察副本:收日志可读、不投票不计多数派——读扩容/容灾不损写入可用性

运行中变更:Membership 在线加减成员(两步提交);learner 角色在成员表声明。