Avro

Avro[http://avro.apache.org/]是一种与编程语言无关的序列化格式,Avro 数据通过与语言无关的JSON[todo ref]来描述schema,支持丰富的数据类型,包括整型,浮点数,链表等。数据被序列化成二进制文件或 JSON 文件,应用一般使用二进制格式。由于Avro序列化后的数据更加紧凑,因此比纯文本传输更加高效,能够用于RPC数据定义及实时数据传输。但是Avro将记录序列化成二进制数据时,是按行进行的,这导致Avro数据只能按行读取,不能满足历史数据分析中的按列读取需求,因此Avro一般只用于消息系统Pulsar,Kafka中。

Avro的一个设计初衷是用于Hadoop的RPC格式,因此Hadoop生态中应该有将其用于rpc的,todo investigate

©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成,浏览时请结合常识与多方信息审慎甄别。
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

相关阅读更多精彩内容

友情链接更多精彩内容