Distributed Data Systems LabLynn Lee / Engineering notebook

Storage / Layout / Commit / Read

数据如何存放,
变更如何提交。

从基础出发的分布式数据库与存储课程:检查 Parquet 布局,停止真实 DataNode,观察真正跨节点数据库的事务冲突。

两条路线 · 不同职责

分析型文件SQL engineIceberg (optional)ParquetFiles / HDFS / Objects
事务型键范围SQL gatewayTransactions / MVCCReplicated rangesLSM engine

按职责理解组合关系,不存在所有系统都走 HDFS → Parquet → Iceberg → 数据库的通用链路。

06双语课程章节
04真实可执行 Profile
0检查器文件上传
覆盖范围:02 / 03 / 05 / 06 有真实实操,01 / 04 为阅读推理。Iceberg 使用本地 SQLite catalog,不是分布式或云目录。所有集群节点共用一台笔记本。

沿概念依赖学习

四个实验,可检查的证据

01 / PARQUET

结果相同,读取请求不同。

五种布局、45 次正式查询。区分 Footer 候选范围与引擎实际请求、耗时。

检查布局证据 →
02 / HDFS

可读,也恢复副本了吗?

四个 DataNode、RF=3、十三块。停一节点、验证读取,再检查幸存目标上的补副本。

检查恢复证据 →
03 / DATABASE

一条规则,两次过期决策。

三个真实节点,不同范围租约持有者。先提交转账,再观察真实 40001 冲突。

检查事务证据 →
04 / ICEBERG

文件不等于已提交的表。

读取真实 3/5/6 行快照,保留字段身份,混合分区规范,排除合法但未提交的文件。

检查快照证据 →
结合已核验的 CMU / MIT 课程学习 →
课程边界:Streaming Lab 关注数据变更链路,Distributed Compute Lab 关注分布式执行;本课程聚焦布局、提交、存放与读取。