跳到主内容
快讯直播
AI智模界
AI 词典

Avro:给数据配一份“合同”的序列化格式

一句话定义:Avro 是 Apache 旗下的开源数据序列化(serialization)框架,它把“数据的结构”和“数据本身”拆开存:结构用一份 JSON 写成的 schema 描述,数据则编码成紧凑的二进制。

打个比方。用 JSON 传数据,像每件快递上都贴一张写满字段名的清单:“name: 张三, age: 30, city: 上海”。人能直接看懂,但每件都贴一遍,又占地方又啰嗦。Avro 的做法是包裹上只留内容,清单(schema)收发双方各存一份。同一批数据体积更小,解析也更快。

真正让 Avro 在大数据管道里站住脚的,是那份 schema。它用 JSON 写成,字段名、类型、是否可空、默认值都白纸黑字,而且可以被程序读取和比较。这就是“数据契约”(data contract)的含义:上游生产方和下游消费方拿同一份 schema 对齐,字段拼错、类型传错在写入或读取时就能报出来,不用等两周后报表数字对不上再回头查。

更关键的是 schema 演进(schema evolution)。数据管道里,生产方和消费方几乎不可能同时上线,上游加个字段,下游可能还在跑老代码。Avro 在读取时同时拿到 writer schema(写数据时的结构)和 reader schema(读数据时的结构),按规则做映射:新增字段给了默认值就能兼容,删掉的字段读取时忽略。改类型则受限制,得看具体规则。具体兼容策略以官方文档为准。

和几个近邻比一比:

格式结构怎么定义数据里带字段名吗典型位置
AvroJSON schema,运行时读取不带Kafka 消息、批处理中间数据
JSON无强制结构带,冗余大接口调试、配置文件
Protobuf.proto 文件,通常编译生成代码不带(靠字段编号)微服务 RPC
Parquet自带 schema不带数仓/数据湖列式存储

要点在于:Protobuf 更偏“先定义、再编译、强类型调用”,而 Avro 的 schema 是运行时的一份数据,程序可以动态拿到它,适合 schema 经常变、语言混杂的批处理场景(Spark、Flink 作业读到的就是这份 schema)。Parquet 则不在同一层:它是列式文件格式,为“扫一大片做统计”优化;Avro 是行式记录格式,为“一条条写、一条条传”优化。常见组合是消息用 Avro 传输、落盘转成 Parquet。

实际意义。对数据工程从业者:Kafka 加 Schema Registry 是常见搭配,Registry 负责存和校验 schema。改字段前先想清楚默认值和兼容方向,否则下游一起挂。对普通职场人:你在 App 上的行为日志能稳定汇总成报表、风控能及时读到订单变更,中间往往就有这样一层“合同”在把关。它不是最显眼的技术,但决定了管道是稳定运行,还是每周修一次。

AI 生成本文由 AI 基于公开信息自动生成,仅供参考。