自适应运行时物理设计 学习路线 —— 从 MorphoSys 到 AURA
把 AURA v27 重塑后的故事(5 维度 runtime physical design + MorphoSys 启发的 A1-A4 levers + drift adaptation + W11/RDMA dispatch 完整 post-mortem)按 9 章拆成可复述、可讲解、可复现的体系化教程;与模块二十三 v25 精讲互补
模块二十三《AURA 论文精讲》写的是 v25 / v26 时期的 AURA 故事——adaptive lock placement + Router-Centric 闭环 + access-graph cohort 学习。这条故事在 2026-05-14 经历了一次关键重塑:AURA 不再只是”自适应锁所有权”,而是事务控制路径的运行时物理设计层——涵盖 5 个维度(执行位置、仲裁位置、仲裁粒度、MN 主权、fallback 模式),并通过 MorphoSys 启发的 4 个 lever(A1 cost-coefficient tuner、A2 affinity binding、A3 cohort split、A4 future-cost reservoir)实现自适应控制。本路线就是这份v27 体系化教程的总目录:9 章按 v27 论文 §1–§9 顺序展开,加入完整的 W11/RDMA dispatch 负结果 post-mortem,全程对齐”看完能徒手把 v27 故事讲给评委、合作者、未来 6 个月后回来翻笔记的自己”的标准。
本模块与模块二十三的关系:模块二十三是 v25 时期的论文精讲,作为历史版本保留;本模块是 v27 重塑后的最新故事,完全独立成体系。每章末尾留 ”📎 v25 对照视角” 链回模块二十三的对应章节,方便对比 thesis 演进。
📑 目录
- 🌟 全景概览:v25 → v27 的 thesis 重塑
- 📖 章节导览(9 章)
- 🔁 v27 论文章节 ↔ 教程章节对照表
- 🔁 v25 模块二十三 ↔ v27 本模块对照
- 🧭 学习路线推荐
- 📚 参考资料
🌟 全景概览:v25 → v27 的 thesis 重塑
v25 时期 AURA 的一句话主张是:
AURA 把”锁放哪、谁说了算”从静态部署决策升级成在线物理设计问题——通过 router 进程集中编排的访问图 → cohort 学习 → ownership planning → migration → affinity routing 闭环。
v27 reframing 后的一句话主张是:
🌟 v27 AURA:在分离式内存 OLTP 系统中,瓶颈会随着 CN 扩展和 workload phase 变化在多种资源之间漂移——MN-side RDMA atomics、CN-CN RPC、CN owner 负载、争用 hot key 各自在不同条件下成为瓶颈。现有系统把事务控制位置写死。AURA 引入一个运行时物理设计层——基于 workload access graph 和资源压力信号,逐 cohort、逐 dispatch 在线决定事务控制该住哪里:cohort owner CN、txn 执行位置、仲裁粒度。
🧠 关键差异:v25 的”in-line physical design”专注于 lock placement;v27 的”runtime physical design”扩展到 5 个维度,并明确哪些 AURA 真做了(execution / granularity / fallback)、哪些 partial(arbitration location)、哪个是 future(MN primary authority)。
┌──────────────────────────────────────────┐
│ v27 Adaptive Runtime Physical Design │
│ │
│ Dim 1: Execution location │
│ Dim 2: Arbitration location ★partial │
│ Dim 3: Arbitration granularity │
│ Dim 4: MN primary authority ★future │
│ Dim 5: Mode/fallback │
└──────────────┬───────────────────────────┘
│
┌────────────┴────────────────────┐
│ MorphoSys-inspired levers │
├─────────────────────────────────┤
│ A1.a Rule tuner │
│ A1.b SGD tuner ✓ measured │
│ A2 Affinity binding │
│ A3 Cohort split │
│ A4 Future-cost reservoir │
└─────────────────────────────────┘
⭐ 核心权衡(贯穿全模块):
| 权衡 | 选择空间 | 影响 |
|---|---|---|
| 控制粒度 | per-key / per-cohort / per-partition | 命中率 vs 决策开销 |
| Cost coefficient 来源 | fixed / rule / sgd | 静态稳定性 vs 在线适应性 |
| 适应频率 | 离线 / 100 ms / 5 ms | 漂移跟随 vs 抖动 |
| 失败诚实化 | 删掉负结果 / caveat 写进 paper | 投稿轻便 vs 学术诚实 |
📖 章节导览(9 章)
整个模块分为 9 章,对齐 v27 paper §1–§9:
| 章 | 主题 | 对应 v27 paper § | 核心问题 | 关键产出 |
|---|---|---|---|---|
| 1 | 从”锁放哪”到”运行时物理设计”:v27 thesis 重塑 | §1 + abstract | v25 → v27 的 Δ、5 维度自适应分级、boundary statement | 一页定位图 + 5 维度状态表 |
| 2 | 必备底座(v27 视角):atomic 物理墙 + OCC + bottleneck shift | §2 | 看 v27 前的 30 分钟预备包 | CREST/LOTUS 三行 motivation 表 |
| 3 | 5 个自适应 dimension 详解 | §3.2 | 哪些做了 / partial / future 的诚实分级 | 5 维度详表 + LOTUS-3MN 对照 |
| 4 | Benefit 函数与 A1 cost-coefficient tuner | §3.3 + §3.4 | fixed / rule / sgd 三模式、SGD 收敛证据 | Benefit 公式推导 + SGD 权重演化图 |
| 5 | MorphoSys 启发的 lever 工程化(A2 / A3 / A4) | §3.5–§3.7 | union-find affinity、contention split、reservoir 怎么协同 | 三 lever walk-through + drift 数据 |
| 6 | 安全运行时重配 + I1/I2/I3 不变式 | §3.8 + §5 | freeze-drain-handoff-publish 四阶段、不变式证明草图 | 时序图 + 三不变式 + 破坏反例 |
| 7 | W11 / RDMA dispatch 完整 post-mortem | §6.5 caveat + §8 | 99.5% abort cascade 根因、mlx5 REMOTE_INVAL_REQ_ERR 还原、何时该 punt | 多次尝试时间线 + 工程判断框架 |
| 8 | 评测方法论 v27 | §6 | 5-cell vs 16-cell、drift workload 设计、rep/CI/SSH 工程坑 | 已有数据清单 + 缺失数据 gap |
| 9 | 端到端实战 v27 复现 | §6.1 + §9 | 5-node CloudLab 一条龙、三条 smoke 脚本、日志→paper 表的 cookbook | 一键脚本 + 故障速查表 |
🍎 学习顺序建议:
- 第 1-2 章必读:建立 “v27 是什么、跟 v25 差在哪、读论文前要懂什么底座”
- 第 3-4-5 章:v27 的设计核心,建议连读
- 第 6 章:在你已经把第 3-5 章吸收完之后再读
- 第 7 章:单独一章,所有写 paper 的人都该读——把负结果做成证据而不是删除
- 第 8-9 章:准备复现实验或解释评测时再读
🔁 v27 论文章节 ↔ 教程章节对照表
| v27 paper § | 内容 | 本教程章节 |
|---|---|---|
| §1 Introduction (thesis + 3 contributions + boundary) | thesis 重塑、5 维度、3 贡献 | 第 1 章 |
| §2.1 Disaggregated-memory transactions | CREST / LOTUS / FORD 谱系 | 第 2 章 §1-§2 |
| §2.2 “Where does the lock live” 三行表 | MN-only / CN-only / Adaptive | 第 2 章 §3 |
| §2.3 Revised thesis | ”master 在 MN,cached replica 可以在 CN” | 第 2 章 §4 + 第 3 章 §6 |
| §2.4 Three sources of bottleneck shift | CN scale-out / phase / mode | 第 2 章 §5 |
| §3.1 Architecture overview | Router + CN + MN 拓扑 | 第 3 章 §1 |
| §3.2 Five adaptive dimensions | 5 维度详表 | 第 3 章 §2-§7 |
| §3.3 Benefit function | atomic·S − rpc·C − move·C − load·C | 第 4 章 §2 |
| §3.4 Cost-coefficient tuners | fixed / rule (A1.a) / sgd (A1.b) | 第 4 章 §3-§5 |
| §3.5 Affinity binding (A2) | union-find + min_edge / max_cluster | 第 5 章 §1 |
| §3.6 Split path (A3) | contention_score 阈值 | 第 5 章 §2 |
| §3.7 Future-cost reservoir (A4) | 256-sample 滑动窗 | 第 5 章 §3 |
| §3.8 Safe reconfiguration | epoch handoff | 第 6 章 §1-§3 |
| §4 Implementation | LOC 表 + 文件路径 | 第 9 章 §1-§3 |
| §5 Correctness (I1/I2/I3) | 不变式证明草图 | 第 6 章 §4-§6 |
| §6.1 Setup | CloudLab 5-node | 第 8 章 §1 + 第 9 章 §1 |
| §6.2 RQ1 静态 5-cell ablation | static baseline 数据 | 第 8 章 §2 |
| §6.3 RQ2 drift adaptation | drift_5sec/2sec 数据 | 第 8 章 §3 + 第 5 章 §4 |
| §6.4 RQ3 tuner ablation | fixed/rule/sgd 对比 + SGD 权重演化 | 第 4 章 §6 + 第 8 章 §4 |
| §6.5 RQ4 MN-only vs CN-only | W11 caveat + LOTUS 缺口 | 第 7 章 §3 + 第 8 章 §5 |
| §6.6 RQ5 CN scale-out | 12-CN sweep gap | 第 8 章 §6 |
| §7 Related Work | LOTUS / FORD / DrTM+H / MorphoSys | 第 1 章 §6 + 第 5 章 §6 |
| §8 Discussion & Limitations | W11/RDMA dispatch 局限 | 第 7 章 §6 |
| §9 Conclusion + reproducibility | commit map | 第 9 章 §5 |
🔁 v25 模块二十三 ↔ v27 本模块对照
| v25 视角(模块二十三) | v27 视角(本模块) | 差异 |
|---|---|---|
| 第 1 章 “AURA 是什么”(adaptive lock placement) | 第 1 章(adaptive runtime physical design) | thesis 升级到 5 维度 |
| 第 2 章 RDMA atomic 物理墙 + OCC | 第 2 章 同 + bottleneck shift 三源 | 加入 phase / mode 漂移 |
| 第 3 章 论文 §2 motivation | 第 2 章 §3-§5 + 第 3 章 §1 | 重新组织:CREST/LOTUS 表前移 |
| 第 4 章 Router-Centric + OLTP 谱系 | 第 3 章 §1 + 第 1 章 §6 | Router 假设不变,谱系对齐到 LOTUS-3MN |
| 第 5 章 访问图与 cohort 学习 | 第 4-5 章 | 拆分:cost coefficient (A1) 与 lever (A2/A3/A4) 分章讲 |
| 第 6 章 Owner 规划与亲和路由 | 第 5 章 §1-§2 | A2/A3 lever 工程化展开 |
| 第 7 章 迁移协议 + I1-I4 | 第 6 章 | I4 暂未在 v27 用,本模块写 I1/I2/I3 三个 |
| 第 8 章 v25 实现 + Lever B 负结果 | 第 7 章(完整 post-mortem) | 力度大幅增加:W11.2/3/4/5 + RDMA dispatch 6 步全展开 |
| 第 9 章 评测方法论 + 端到端复现 | 第 8-9 章 | 拆分:方法论与复现脚本分章 |
🧭 学习路线推荐
Track 1 · 30 分钟极速版:
- 读本路线全景概览(你正在看)
- 读第 1 章 + 第 7 章 §1(thesis + 负结果方法论)
- 跳到第 9 章看一遍复现脚本结构
Track 2 · 2 小时讲解准备:
- 顺序读第 1 → 2 → 3 → 4 → 5 章
- 跳读第 6 章 §1-§3(epoch handoff 时序图)
- 第 7 章 §1-§3(W11 + RDMA dispatch root cause)
- 第 8 章 §1-§4(数据清单 + 缺口)
Track 3 · 完整精读 + 复现:
- 9 章按顺序读完
- 同步把
CREST-aura-impl/docs/aura/v27_paper_outline.md打开对照 - 跑一遍第 9 章的三条 smoke 脚本(5-cell / a1b / drift)
- 把日志 → 表格的 cookbook 落地
📚 参考资料
论文与设计文档(一级资料)
- AURA v27 paper outline:
CREST-aura-impl/CREST-Opensource-0007/docs/aura/v27_paper_outline.md—— 本教程的 source of truth - AURA v25 设计文档:模块二十三《AURA 论文精讲》第 1-9 章
- MorphoSys (VLDB’20) —— Adaptive physical design 启发来源;本教程 A1-A4 lever 命名沿用其方法论 framing
- LOTUS —— 静态 lock placement 基线,v27 §6.4 缺失基线候选
- CREST —— v27 baseline(MN-only locks),代码仓库
CREST-aura-impl/
工程踩坑视角(互补)
- 模块十五《分离式事务的动态锁所有权》—— v25 时间线工程笔记
- 模块二十《分离式内存事务系统全景调研》—— DM 事务 12 年史
- 模块十三《新型互联与远程内存系统》—— RDMA / 分离式底座
框架/代码 anchor
- v27 paper outline:
docs/aura/v27_paper_outline.md - 5-cell ablation harness:
bench/aura/run_v27_step6.sh - A1 tuner sweep harness:
bench/aura/run_v27_a1b_smoke.sh - Drift workload harness:
bench/aura/run_v27_drift_smoke.sh - RDMA dispatch smoke:
bench/aura/run_v27_rdma_dispatch_smoke.sh - v27 累积 commit map:见 v27 paper outline 末尾,18 个 commit hash