arXiv:2409.05512cs.DBcs.DL2024-09被引 1
构建元数据湖,统一管理分布式数据源的元信息。
DatAasee -- A Metadata-Lake as Metadata Catalog for a Virtual Data-Lake
- 提出元数据湖架构,聚合多源数据元信息。
- 实现概念验证系统并完成初步评估。
- 适合科研与图书馆场景下的数据治理。
分布式数据源的元数据管理是一个长期存在且日益严峻的问题。为应对研究数据和图书馆场景中的这一挑战,本文提出一种基于数据湖架构的元数据湖(metadata-lake)数据架构。通过构建一个元数据聚合器,实现对异构数据源的元信息统一管理。论文给出了该元数据聚合器的概念验证实现,并进行了简要评估。结果表明,该架构能够有效整合分散的数据元信息,提升数据可发现性与可访问性,为科研数据管理与数字图书馆建设提供可行的技术路径。
原文摘要 · Abstract (English)
Metadata management for distributed data sources is a long-standing but ever-growing problem. To counter this challenge in a research-data and library-oriented setting, this work constructs a data architecture, derived from the data-lake: the metadata-lake. A proof-of-concept implementation of this proposed metadata aggregator is presented and briefly evaluated.
元数据管理数据湖数据治理
Thank you to arXiv for use of its open access interoperability. PaperDance 不是 arXiv 官方产品;中文卡片由大模型生成,请以原文为准。