跳到主要内容
AIInfra学习路线

自适应运行时物理设计 学习路线 —— 从 MorphoSys 到 AURA

把 AURA v27 重塑后的故事(5 维度 runtime physical design + MorphoSys 启发的 A1-A4 levers + drift adaptation + W11/RDMA dispatch 完整 post-mortem)按 9 章拆成可复述、可讲解、可复现的体系化教程;与模块二十三 v25 精讲互补

AURA Disaggregated Memory MorphoSys Runtime Physical Design Adaptive OLTP SGD Tuner Cohort Planning Drift Workload RDMA Negative Results

模块二十三《AURA 论文精讲》写的是 v25 / v26 时期的 AURA 故事——adaptive lock placement + Router-Centric 闭环 + access-graph cohort 学习。这条故事在 2026-05-14 经历了一次关键重塑:AURA 不再只是”自适应锁所有权”,而是事务控制路径的运行时物理设计层——涵盖 5 个维度(执行位置、仲裁位置、仲裁粒度、MN 主权、fallback 模式),并通过 MorphoSys 启发的 4 个 lever(A1 cost-coefficient tuner、A2 affinity binding、A3 cohort split、A4 future-cost reservoir)实现自适应控制。本路线就是这份v27 体系化教程的总目录:9 章按 v27 论文 §1–§9 顺序展开,加入完整的 W11/RDMA dispatch 负结果 post-mortem,全程对齐”看完能徒手把 v27 故事讲给评委、合作者、未来 6 个月后回来翻笔记的自己”的标准。

本模块与模块二十三的关系:模块二十三是 v25 时期的论文精讲,作为历史版本保留;本模块是 v27 重塑后的最新故事,完全独立成体系。每章末尾留 ”📎 v25 对照视角” 链回模块二十三的对应章节,方便对比 thesis 演进。

📑 目录


🌟 全景概览:v25 → v27 的 thesis 重塑

v25 时期 AURA 的一句话主张是:

AURA 把”锁放哪、谁说了算”从静态部署决策升级成在线物理设计问题——通过 router 进程集中编排的访问图 → cohort 学习 → ownership planning → migration → affinity routing 闭环。

v27 reframing 后的一句话主张是:

🌟 v27 AURA:在分离式内存 OLTP 系统中,瓶颈会随着 CN 扩展和 workload phase 变化在多种资源之间漂移——MN-side RDMA atomics、CN-CN RPC、CN owner 负载、争用 hot key 各自在不同条件下成为瓶颈。现有系统把事务控制位置写死。AURA 引入一个运行时物理设计层——基于 workload access graph 和资源压力信号,逐 cohort、逐 dispatch 在线决定事务控制该住哪里:cohort owner CN、txn 执行位置、仲裁粒度。

🧠 关键差异:v25 的”in-line physical design”专注于 lock placement;v27 的”runtime physical design”扩展到 5 个维度,并明确哪些 AURA 真做了(execution / granularity / fallback)、哪些 partial(arbitration location)、哪个是 future(MN primary authority)

              ┌──────────────────────────────────────────┐
              │   v27 Adaptive Runtime Physical Design   │
              │                                          │
              │   Dim 1: Execution location              │
              │   Dim 2: Arbitration location  ★partial  │
              │   Dim 3: Arbitration granularity         │
              │   Dim 4: MN primary authority  ★future   │
              │   Dim 5: Mode/fallback                   │
              └──────────────┬───────────────────────────┘

                ┌────────────┴────────────────────┐
                │  MorphoSys-inspired levers      │
                ├─────────────────────────────────┤
                │  A1.a  Rule tuner               │
                │  A1.b  SGD tuner  ✓ measured    │
                │  A2    Affinity binding         │
                │  A3    Cohort split             │
                │  A4    Future-cost reservoir    │
                └─────────────────────────────────┘

核心权衡(贯穿全模块)

权衡选择空间影响
控制粒度per-key / per-cohort / per-partition命中率 vs 决策开销
Cost coefficient 来源fixed / rule / sgd静态稳定性 vs 在线适应性
适应频率离线 / 100 ms / 5 ms漂移跟随 vs 抖动
失败诚实化删掉负结果 / caveat 写进 paper投稿轻便 vs 学术诚实

📖 章节导览(9 章)

整个模块分为 9 章,对齐 v27 paper §1–§9:

主题对应 v27 paper §核心问题关键产出
1从”锁放哪”到”运行时物理设计”:v27 thesis 重塑§1 + abstractv25 → v27 的 Δ、5 维度自适应分级、boundary statement一页定位图 + 5 维度状态表
2必备底座(v27 视角):atomic 物理墙 + OCC + bottleneck shift§2看 v27 前的 30 分钟预备包CREST/LOTUS 三行 motivation 表
35 个自适应 dimension 详解§3.2哪些做了 / partial / future 的诚实分级5 维度详表 + LOTUS-3MN 对照
4Benefit 函数与 A1 cost-coefficient tuner§3.3 + §3.4fixed / rule / sgd 三模式、SGD 收敛证据Benefit 公式推导 + SGD 权重演化图
5MorphoSys 启发的 lever 工程化(A2 / A3 / A4)§3.5–§3.7union-find affinity、contention split、reservoir 怎么协同三 lever walk-through + drift 数据
6安全运行时重配 + I1/I2/I3 不变式§3.8 + §5freeze-drain-handoff-publish 四阶段、不变式证明草图时序图 + 三不变式 + 破坏反例
7W11 / RDMA dispatch 完整 post-mortem§6.5 caveat + §899.5% abort cascade 根因、mlx5 REMOTE_INVAL_REQ_ERR 还原、何时该 punt多次尝试时间线 + 工程判断框架
8评测方法论 v27§65-cell vs 16-cell、drift workload 设计、rep/CI/SSH 工程坑已有数据清单 + 缺失数据 gap
9端到端实战 v27 复现§6.1 + §95-node CloudLab 一条龙、三条 smoke 脚本、日志→paper 表的 cookbook一键脚本 + 故障速查表

🍎 学习顺序建议

  • 第 1-2 章必读:建立 “v27 是什么、跟 v25 差在哪、读论文前要懂什么底座”
  • 第 3-4-5 章:v27 的设计核心,建议连读
  • 第 6 章:在你已经把第 3-5 章吸收完之后再读
  • 第 7 章:单独一章,所有写 paper 的人都该读——把负结果做成证据而不是删除
  • 第 8-9 章:准备复现实验或解释评测时再读

🔁 v27 论文章节 ↔ 教程章节对照表

v27 paper §内容本教程章节
§1 Introduction (thesis + 3 contributions + boundary)thesis 重塑、5 维度、3 贡献第 1 章
§2.1 Disaggregated-memory transactionsCREST / LOTUS / FORD 谱系第 2 章 §1-§2
§2.2 “Where does the lock live” 三行表MN-only / CN-only / Adaptive第 2 章 §3
§2.3 Revised thesis”master 在 MN,cached replica 可以在 CN”第 2 章 §4 + 第 3 章 §6
§2.4 Three sources of bottleneck shiftCN scale-out / phase / mode第 2 章 §5
§3.1 Architecture overviewRouter + CN + MN 拓扑第 3 章 §1
§3.2 Five adaptive dimensions5 维度详表第 3 章 §2-§7
§3.3 Benefit functionatomic·S − rpc·C − move·C − load·C第 4 章 §2
§3.4 Cost-coefficient tunersfixed / rule (A1.a) / sgd (A1.b)第 4 章 §3-§5
§3.5 Affinity binding (A2)union-find + min_edge / max_cluster第 5 章 §1
§3.6 Split path (A3)contention_score 阈值第 5 章 §2
§3.7 Future-cost reservoir (A4)256-sample 滑动窗第 5 章 §3
§3.8 Safe reconfigurationepoch handoff第 6 章 §1-§3
§4 ImplementationLOC 表 + 文件路径第 9 章 §1-§3
§5 Correctness (I1/I2/I3)不变式证明草图第 6 章 §4-§6
§6.1 SetupCloudLab 5-node第 8 章 §1 + 第 9 章 §1
§6.2 RQ1 静态 5-cell ablationstatic baseline 数据第 8 章 §2
§6.3 RQ2 drift adaptationdrift_5sec/2sec 数据第 8 章 §3 + 第 5 章 §4
§6.4 RQ3 tuner ablationfixed/rule/sgd 对比 + SGD 权重演化第 4 章 §6 + 第 8 章 §4
§6.5 RQ4 MN-only vs CN-onlyW11 caveat + LOTUS 缺口第 7 章 §3 + 第 8 章 §5
§6.6 RQ5 CN scale-out12-CN sweep gap第 8 章 §6
§7 Related WorkLOTUS / FORD / DrTM+H / MorphoSys第 1 章 §6 + 第 5 章 §6
§8 Discussion & LimitationsW11/RDMA dispatch 局限第 7 章 §6
§9 Conclusion + reproducibilitycommit map第 9 章 §5

🔁 v25 模块二十三 ↔ v27 本模块对照

v25 视角(模块二十三)v27 视角(本模块)差异
第 1 章 “AURA 是什么”(adaptive lock placement)第 1 章(adaptive runtime physical design)thesis 升级到 5 维度
第 2 章 RDMA atomic 物理墙 + OCC第 2 章 同 + bottleneck shift 三源加入 phase / mode 漂移
第 3 章 论文 §2 motivation第 2 章 §3-§5 + 第 3 章 §1重新组织:CREST/LOTUS 表前移
第 4 章 Router-Centric + OLTP 谱系第 3 章 §1 + 第 1 章 §6Router 假设不变,谱系对齐到 LOTUS-3MN
第 5 章 访问图与 cohort 学习第 4-5 章拆分:cost coefficient (A1) 与 lever (A2/A3/A4) 分章讲
第 6 章 Owner 规划与亲和路由第 5 章 §1-§2A2/A3 lever 工程化展开
第 7 章 迁移协议 + I1-I4第 6 章I4 暂未在 v27 用,本模块写 I1/I2/I3 三个
第 8 章 v25 实现 + Lever B 负结果第 7 章(完整 post-mortem)力度大幅增加:W11.2/3/4/5 + RDMA dispatch 6 步全展开
第 9 章 评测方法论 + 端到端复现第 8-9 章拆分:方法论与复现脚本分章

🧭 学习路线推荐

Track 1 · 30 分钟极速版

  • 读本路线全景概览(你正在看)
  • 读第 1 章 + 第 7 章 §1(thesis + 负结果方法论)
  • 跳到第 9 章看一遍复现脚本结构

Track 2 · 2 小时讲解准备

  • 顺序读第 1 → 2 → 3 → 4 → 5 章
  • 跳读第 6 章 §1-§3(epoch handoff 时序图)
  • 第 7 章 §1-§3(W11 + RDMA dispatch root cause)
  • 第 8 章 §1-§4(数据清单 + 缺口)

Track 3 · 完整精读 + 复现

  • 9 章按顺序读完
  • 同步把 CREST-aura-impl/docs/aura/v27_paper_outline.md 打开对照
  • 跑一遍第 9 章的三条 smoke 脚本(5-cell / a1b / drift)
  • 把日志 → 表格的 cookbook 落地

📚 参考资料

论文与设计文档(一级资料)

  • AURA v27 paper outlineCREST-aura-impl/CREST-Opensource-0007/docs/aura/v27_paper_outline.md —— 本教程的 source of truth
  • AURA v25 设计文档:模块二十三《AURA 论文精讲》第 1-9 章
  • MorphoSys (VLDB’20) —— Adaptive physical design 启发来源;本教程 A1-A4 lever 命名沿用其方法论 framing
  • LOTUS —— 静态 lock placement 基线,v27 §6.4 缺失基线候选
  • CREST —— v27 baseline(MN-only locks),代码仓库 CREST-aura-impl/

工程踩坑视角(互补)

  • 模块十五《分离式事务的动态锁所有权》—— v25 时间线工程笔记
  • 模块二十《分离式内存事务系统全景调研》—— DM 事务 12 年史
  • 模块十三《新型互联与远程内存系统》—— RDMA / 分离式底座

框架/代码 anchor

  • v27 paper outline:docs/aura/v27_paper_outline.md
  • 5-cell ablation harness:bench/aura/run_v27_step6.sh
  • A1 tuner sweep harness:bench/aura/run_v27_a1b_smoke.sh
  • Drift workload harness:bench/aura/run_v27_drift_smoke.sh
  • RDMA dispatch smoke:bench/aura/run_v27_rdma_dispatch_smoke.sh
  • v27 累积 commit map:见 v27 paper outline 末尾,18 个 commit hash