让数据湖仓支持版本控制,让智能体可安全协作开发。
GitLake: Git-for-data for the agentic lakehouse

- 将Iceberg单表快照升级为全湖仓级的提交、分支与合并。
- 流水线在临时分支运行,合并后原子发布全部输出。
- 适合需要版本管理与自动化协作的数据团队。
我们提出GitLake,一种面向智能体的数据湖仓版本控制系统。系统将单表Iceberg快照提升为湖仓级别的提交、分支与合并,使智能体可在隔离分支中工作,人类负责审查并发布变更。流水线在临时分支上运行,通过最终合并发布,确保所有输出原子性可见或全不可见。最后,我们报告了生产实践中的经验教训,以及基于初步Alloy模型对核心抽象的正确性分析。
原文摘要 · Abstract (English)
We present GitLake, a Git-for-data design for an agent-first lakehouse. The system lifts single-table Iceberg snapshots into lakehouse-wide commits, branches, and merges, letting agents work on isolated branches while humans review and publish changes. Pipelines run on temporary branches and publish through a final merge, so all outputs become visible atomically or none do. Finally, we report production lessons as well as correctness insights from a preliminary Alloy model of our core abstractions.
Thank you to arXiv for use of its open access interoperability. PaperDance 不是 arXiv 官方产品;中文卡片由大模型生成,请以原文为准。