Storage / Layout / Commit / Read
数据如何存放,
变更如何提交。
从基础出发的分布式数据库与存储课程:检查 Parquet 布局,停止真实 DataNode,观察真正跨节点数据库的事务冲突。
两条路线 · 不同职责
分析型文件SQL engineIceberg (optional)ParquetFiles / HDFS / Objects
事务型键范围SQL gatewayTransactions / MVCCReplicated rangesLSM engine
按职责理解组合关系,不存在所有系统都走 HDFS → Parquet → Iceberg → 数据库的通用链路。
06双语课程章节
04真实可执行 Profile
0检查器文件上传
覆盖范围:02 / 03 / 05 / 06 有真实实操,01 / 04 为阅读推理。Iceberg 使用本地 SQLite catalog,不是分布式或云目录。所有集群节点共用一台笔记本。
沿概念依赖学习
阅读与推理前置 —
真实实操前置 01
真实实操前置 01–02
阅读与推理前置 01–03
真实实操前置 04
真实实操前置 02, 04–05
四个实验,可检查的证据
01 / PARQUET结果相同,读取请求不同。
五种布局、45 次正式查询。区分 Footer 候选范围与引擎实际请求、耗时。
检查布局证据 →02 / HDFS可读,也恢复副本了吗?
四个 DataNode、RF=3、十三块。停一节点、验证读取,再检查幸存目标上的补副本。
检查恢复证据 →03 / DATABASE一条规则,两次过期决策。
三个真实节点,不同范围租约持有者。先提交转账,再观察真实 40001 冲突。
检查事务证据 →04 / ICEBERG文件不等于已提交的表。
读取真实 3/5/6 行快照,保留字段身份,混合分区规范,排除合法但未提交的文件。
检查快照证据 → 课程边界:Streaming Lab 关注数据变更链路,Distributed Compute Lab 关注分布式执行;本课程聚焦布局、提交、存放与读取。