xml解析、Gson、protobuf、flatbuffers具体实践对比

情境

Android大文件反序列化

性能简单对比

以下数据来自https://code.google.com/p/thrift-protobuf-compare/wiki/Benchmarking

解析性能

image.png

序列化之空间开销：

image.png

解析类型	支持文件类型	compiler	生成命令	依赖
ProtoBuffer	proto	https://github.com/protocolbuffers/protobuf#protocol-compiler-installation	protoc -I=DST_DIR $SRC_DIR/addressbook.proto	implementation 'com.google.protobuf:protobuf-java:3.21.2'
Wire	proto	https://square.github.io/wire/	https://github.com/square/wire/blob/master/wire-library/docs/wire_compiler.md	api "com.squareup.wire:wire-runtime:4.4.0"
flatbuffers	fbs	https://github.com/google/flatbuffers/releases	flatc -o ./ --java animal.fbs	implementation 'com.google.flatbuffers:flatbuffers-java:2.0.0'

小结

• protobuf Java版反序列化比xml解析稍好一些，比Gson反序列化耗时要长

• wire
  提供了Gradle插件，能根据proto schema文件直接生成Java文件。
  square公司提供的api很符合开发者思维，使用起来比protoBuffer顺手多了，很愉快的就完成转换
  根据相关文件、序列化、反序列化操作，其性能表现也与等量xml解析不相伯仲，目测只是使用方式变了，具体实现方式还是protobuf那一套。

• flatbuffers【Java版】 2ms
  仅仅为2ms的解析时间，后续看了它实现的原理，就不能称为解析时间了，因为它不需要解析。
  后续我又将文件大小扩容到92M，读取速度仅为47ms，这样还比1.8M的Gson解析快一倍

Flatbuffers

• https://google.github.io/flatbuffers/
• https://github.com/google/flatbuffers
  这个库让人头疼的地方：
  1、就是文档很不完善，操作细节全靠摸索
  2、文件scheme和proto文件完全不一样
  3、数据流使用的是bytebuffer （转字节数组有点坑）
  4、文件使用 .fbs ，支持类型：https://google.github.io/flatbuffers/flatbuffers_guide_writing_schema.html

Built-in scalar types are
  8 bit: byte (int8), ubyte (uint8), bool
  16 bit: short (int16), ushort (uint16)
  32 bit: int (int32), uint (uint32), float (float32)
  64 bit: long (int64), ulong (uint64), double (float64)
  Vector of any other type (denoted with [type]). Nesting vectors is not supported, instead you can wrap the inner vector in a table.
  string, which may only hold UTF-8 or 7-bit ASCII. For other text encodings or general binary data use vectors ([byte] or [ubyte]) instead.
  References to other tables or structs, enums or unions

5、fbs文件不同语言编译器：虽然文档没说，但是在release页面找到了
https://github.com/google/flatbuffers/releases 我分别下了Mac、Windows的都试过了，没啥问题
6、序列化、持久化

Flatbuffers 具体实现

1、xml.fbs文件，android studio有fbs高亮插件

namespace com.fbs.app.generated;

table Menu {
    type:string;
    mainmenu:MainmenuDTO;
}

table MainmenuDTO{
    item:[ItemDTO];//数组
}

table ItemDTO{
    code:string;
    activity:string;
    iconum:string;
    icon:string;
    type:string;
    extended:string;
    parentid:string;
    localUrl:string;
    authorityHide:string;
    moreentry:string;
    id:string;
    iconUrl:string;
    homeAuth:string;
    classX:string;
    msgtype:string;
    order:string;
    appnum:string;
    packageX:string;
    textSize:string;
    business:string;
    parentflag:string;
    textPostion:string;
    navigateNote:string;
    constructor:string;
    relationId:string;
    textColor:string;
    url:string;
    authority:string;
    name:string;
    textBackground:string;
    hascontent:string;
    DefaultLoad:string;
    menuAuthority:string;
    ShowTitleLine:string;
    turnViewType:string;
}
root_type Menu;

2、根据fbs文件生成java类
下载相关系统平台的编译器，执行

 $ flatc -o ./ --java animal.fbs 

-o 我指定了当前目录生成，我将flatc配置成了全局变量，可以指定其他目录
--java 生成java文件，也可以指定为kotlin

生成了三个文件：Menu.java MainmenuDTO.java ItemDTO.java

3、根据json Bean生成二进制文件

private void createFlatBuffersFile(Bean bean) {
FlatBufferBuilder fb = new FlatBufferBuilder(100);
int[] dataArray = new int[bean.menu.mainmenu.item.size()];
        for (com.example.locationapplication.Bean.MenuDTO.MainmenuDTO.ItemDTO itemDTO : bean.menu.mainmenu.item) {
            int itemOffset = ItemDTO.createItemDTO(fb,
                    fb.createString(itemDTO.code),
                    fb.createString(itemDTO.activity),
                    fb.createString(itemDTO.iconum),
                    fb.createString(itemDTO.icon),
                    fb.createString(itemDTO.type),
                    fb.createString(itemDTO.extended),
                    fb.createString(itemDTO.parentid),
                    fb.createString(itemDTO.localUrl),
                    fb.createString(String.valueOf(itemDTO.authorityHide)),
                    fb.createString("" + itemDTO.moreentry),
                    fb.createString(itemDTO.id),
                    fb.createString(itemDTO.iconUrl),
                    fb.createString(itemDTO.homeAuth),
                    fb.createString(itemDTO.classX),
                    fb.createString(itemDTO.msgtype),
                    fb.createString(itemDTO.order + ""),
                    fb.createString(itemDTO.appnum + ""),
                    fb.createString(itemDTO.packageX),
                    fb.createString(itemDTO.textSize + ""),
                    fb.createString(itemDTO.business),
                    fb.createString(itemDTO.parentflag + ""),
                    fb.createString(itemDTO.textPostion),
                    fb.createString(itemDTO.navigateNote),
                    fb.createString(itemDTO.constructor),
                    fb.createString(itemDTO.relationId),
                    fb.createString(itemDTO.textColor),
                    fb.createString(itemDTO.url),
                    fb.createString(itemDTO.authority),
                    fb.createString(itemDTO.name),
                    fb.createString(itemDTO.textBackground),
                    fb.createString(itemDTO.hascontent + ""),
                    fb.createString(itemDTO.defaultLoad + ""),
                    fb.createString(itemDTO.menuAuthority),
                    fb.createString("ShowTitleLine"),
                    fb.createString("turnViewType")
            );
            dataArray[index] = itemOffset;
            index++;
        }
  int itemVector = MainmenuDTO.createItemVector(fb, dataArray); //这个文档没有说明，多试了几个create开头的方法，使用vector可行
int mainmenuDTO = MainmenuDTO.createMainmenuDTO(fb, itemVector);
 int menuOffset = Menu.createMenu(fb,
                fb.createString(bean.menu.type),
                mainmenuDTO
        );
fb.finish(menuOffset);//根据文档来的
ByteBuffer byteBuffer = fb.dataBuffer(); //到此处已经映射完成

outPutTofile(byteBuffer, "/xml_flatbuffer");//打算将文件写入到包名下的files目录下，文件名为xml_flatbuffer

}

 /**
 * 将解析数据持久化到文本
 * @param byteBuffer
* @param filename
*/
private void outPutTofile(ByteBuffer byteBuffer, String filename) {
//        byte[] array = byteBuffer.array(); 这里有坑，直接取array 反序列化不出来，之前一直以为是文件存取的问题，后来发现需要使用buf.get(array);的方式，下面是正确的方式

        ByteBuffer buf = byteBuffer;
        byte[] array = new byte[buf.remaining()];
        buf.get(array);

        try {
            String filePath = getFilesDir() + filename;
            File file = new File(filePath);
            if (!file.exists()) {
                file.createNewFile();
            }

            FileOutputStream fileOutputStream = new FileOutputStream(file);
            fileOutputStream.write(array);
        } catch (IOException e) {
            e.printStackTrace();
        }
    }

读取flatbuffers文件

try {
            File file = new File(getFilesDir() + "/xml_flatbuffer");
            RandomAccessFile f = new RandomAccessFile(file, "r");
            byte[] data = new byte[(int) f.length()];
            f.readFully(data);
            ByteBuffer bb = ByteBuffer.wrap(data);
            Menu rootAsMenu1 = Menu.getRootAsMenu(bb);//反序列化结束

            f.close();
        } catch (IOException e) {
            e.printStackTrace();
        }