一句话定义:数据网格(Data Mesh)是一种把数据所有权交还给业务部门、要求每个业务域像交付产品一样对外提供数据的组织与架构范式,区别于把所有数据集中到一个中央大仓库里统一管理。
它想解决什么
常见做法是建一个数据湖(Data Lake)或数据仓库(Data Warehouse):各业务系统把数据抽取、清洗、灌进中央库,再由中央数据团队对外供数。数据量小时没问题;一旦公司有几十个业务系统、上百个用数的人,中央团队就成瓶颈:他们不熟各业务域的语义,需求排队很久,抽取管道越接越多,湖里堆满没人敢用的表,这就是常说的“数据沼泽”(data swamp)。更关键的是,AI 团队拿到的字段没人解释、没人对质量负责,模型效果自然难保证。
打个比方
这就像连锁餐厅原先只有中央厨房:所有菜品在总部做好再配送到门店。门店一多、口味一变,中央厨房就顶不住。数据网格相当于改成“门店自己炒菜,但共用一套供应链和卫生标准”:总部(平台团队)提供灶台、冷链和食品安全规范;菜品由最懂顾客的门店自己做、自己署名、自己保证质量。顾客看菜单就知道这道菜谁做的、多久能上、出问题找谁。
对应到数据上,就是四条原则:领域所有权(domain ownership)、数据即产品(data as a product)、自助式数据平台(self-serve data platform)、联邦式计算治理(federated computational governance)——规则是大家共同定的,但靠平台自动执行,不靠人工审批。
和相邻概念的区别
| 维度 | 集中式(数据湖/仓库) | 数据网格 |
|---|---|---|
| 谁负责数据质量 | 中央数据团队 | 产出数据的业务域 |
| 数据放在哪 | 抽取汇聚到中央 | 留在域内,通过标准接口暴露 |
| 交付物 | 表、报表 | 有负责人、有文档、有服务承诺的数据产品 |
| 扩展方式 | 加人加管道 | 加域,各自扩展 |
| 治理方式 | 集中审批 | 统一规则 + 平台自动校验 |
还要分清两点:数据网格是一种组织和架构思路,并非能直接采购的技术产品,市面上只有支撑它的平台工具;它和微服务的区别在于,微服务拆分的是应用,数据网格拆分的是“谁对数据负责”。
实际意义
对从业者来说,做 RAG、特征工程、模型训练之前,先问一句“这个数据产品谁负责、更新频率多少、字段含义谁解释”——答案清晰,后面就顺利得多。对普通职场人来说,提数据需求时先找对应业务域,而不是找“数据中台”,往往更快。落地时建议从一两个高价值域试点,把“数据产品”的说明书和服务承诺做扎实,再谈推广;具体工具选型以各家官方页面为准。
