版权所有, 如需转载请保留链接 http://wangbt5191-hotmail-com.iteye.com/blog/1914408/
Android 下使用ProtoBuff的实践和心得。
在最近的 Android 客户端项目中, 我们由于节省流量和减少序列化和反序列化运算开销的考虑, 我们选择了Protobuff 作为中间传输的序列化的工具。
为了规避编译ProtobufSchema的麻烦, 我们使用第三方的开源包 ProtostuffRuntime 来使用Runntime的Protobuf Schema.
1. 依赖引入:
<dependency> <groupId>com.google.protobuf</groupId> <artifactId>protobuf-java</artifactId> <version>2.4.1</version> </dependency> <dependency> <groupId>com.dyuproject.protostuff </groupId> <artifactId>protostuff-core</artifactId> <version>1.0.7</version> </dependency> <dependency> <groupId>com.dyuproject.protostuff </groupId> <artifactId>protostuff-runtime</artifactId> <version>1.0.7</version> </dependency>
2. 使用Protobuf 做对象序列化反序列化
private Charset charset = Charset.forName("ISO-8859-1"); public P getObj(String s, Class typeClass){ Schema schema = RuntimeSchema.getSchema(typeClass); P obj =null; try { obj = targetType.newInstance(); } catch (InstantiationException e) { //FIXME } catch (IllegalAccessException e) { //FIXME } ProtostuffIOUtil.mergeFrom(Base64.decode(s.getBytes(charset), Base64.DEFAULT), obj, schema); return obj; } public String convert2String(Object o){ if(o == null || "".equals(o)){ return null;//TODO: consider to throw exception } Class typeClass= o.getClass(); Schema schema = RuntimeSchema.getSchema(typeClass); LinkedBuffer buffer = getApplicationBuffer(); try { byte[] protostuff = ProtostuffIOUtil.toByteArray(o, schema, buffer); return new String(Base64.encode(protostuff, Base64.DEFAULT),charset); } finally { buffer.clear(); } } private LinkedBuffer getApplicationBuffer() { return LinkedBuffer.allocate(1024); } }
3. Android Dalvik JVM 实现中的坑
但是且慢, 这样的代码在Server端代码做Junit Test的时候, 和Android 本地的代码Test的时候做本地的Java 对象的序列化到字符串, 再反序列化回Object 都没有什么问题, 但是联调的时候出问题了, 无论怎么调试Android 客户端使用这个代码逻辑去反序列化都不能成功。开始我们怀疑是Http 协议传输的时候, 字符编码的问题, 并在这个上面打转了大半天的时间。 后来突然发现这个是Android JVM 实现中的一个坑。 也或者说ProtostuffRuntime 的没考虑到的Case。 在解释这个问题之前, 我们先看看ProtostuffRuntime 如何生成运行期的protobuf Schema的。 也就是RuntimeSchema.getSchema(typeClass)这里, 到底发生了什么。 它的基本流程是:
1. 获取当前typeClass 的所有Super Class2. 对SuperClass 调用 getDeclaredFields 方法获取Field 列表, 并做一些过滤( 比如transient 修饰的字段是需要过滤的), 把这些Field 列表中field按顺序以 这样的键值对的形式放到HashMap中
3. 重复第二部, 从最根的SuperClass 一直做到当前的typeClass。
4. 然后根据HashMap进行编译出protobuf 的Schema。
我们发现问题出在第二步, Android 下getDeclaredFields 方法返回的Field 列表顺序和我们在类里面定义的不一样。 它是做过字母排序的。 我们知道Protobuf 的序列化中所需要的Schema 是对类下面的Field顺序强依赖的。而在我们的Server端的调式中, 我们发现我们的Field顺序是和我们在类中定义的是一样的。
StackOverflow 上也有类似的讨论, JDK 1.6 以上这个顺序才保证是和类定义中的顺序是一致的, 而在早期版本中这个顺序是没保证的, 是根据各JDK 的实现自己做的。 也就是说 ProtostuffRuntime 其实只能保证在JDK1.6 以上能正确运行。 更别说Android这样的非正统的JVM 系统了。
问题找到了, 那怎么解决呢?
4. 定制RuntimeSchema的生成逻辑
这里要做的事情是需要把Android 的上最终push 到hashMap 中的顺序保证和Java 类中定义的顺序一样就可以了。 好吧, 这个只有借助Annotation了。
@Retention(RetentionPolicy.RUNTIME) @Target({ ElementType.FIELD }) public @interface FieldOrder { public int order() default 0; }
我们定义个这样的Annotation, 然后改写
static void fill(Map<String,java.lang.reflect.Field> fieldMap, Class<?> typeClass) { if(Object.class!=typeClass.getSuperclass()) fill(fieldMap, typeClass.getSuperclass()); List<java.lang.reflect.Field> fieldList = new ArrayList<java.lang.reflect.Field>(); for(java.lang.reflect.Field f : typeClass.getDeclaredFields()) { int mod = f.getModifiers(); if(!Modifier.isStatic(mod) && !Modifier.isTransient(mod)) fieldList.add(f); } final String className = typeClass.getName(); Collections.sort(fieldList, new java.util.Comparator<java.lang.reflect.Field>(){ public int compare(java.lang.reflect.Field lField, java.lang.reflect.Field rField){ if(lField.getAnnotation(FieldOrder.class) == null || rField.getAnnotation(FieldOrder.class)==null) throw new RuntimeException("Class " + className + " " + lField.getName() + " or " + rField.getName() + " not set order."); return lField.getAnnotation(FieldOrder.class).order() - rField.getAnnotation(FieldOrder.class).order(); } }); for(java.lang.reflect.Field f: fieldList){ fieldMap.put(f.getName(), f); } }
上面的实例代码中Collections.sort改写后添加的逻辑, 也就是根据Annotation, 在使用field 列表put 到FieldMap 之前最一次根据Annotation 定义的顺序进行一次排序。
public class SearchObject { @FieldOrder(order = 1 ) private int currentPage; @FieldOrder(order = 2 ) private int pageSize; ....
5. 反思Protobuf的应用场景
我们知道Protobuf 对兼容字段差异的兼容可以做到的是, 如果有一个Bean Class 有10个字段序列化方S方和反序列化方DS 方的字段, 假如有Bean Class 在某一边做了升级, 添加了第11 个field, 如果这第11 个field 在field 列表的末尾, 那么是没问 题的。 如果在中间添加这个字段, 那将会导致在另一边无法做反序列化。
从上面第三节里面, 我们看Protobuf的生成Protobuf Schema的流程我们知道, 假如有个类ClassA extends SuperClassA
如果ClassA 中有FieldA1, FieldA2. SuperClassA 中有FieldsSA1, FieldsSA2。 那么最终编译到Schema 中的顺序会是
FieldsSA1, FieldsSA2, FieldA1, FieldA2. 如果我们对SuperClassA上新增FieldSA3, 那么顺序会是 FieldsSA1, FieldsSA2, FieldsSA2, FieldA1, FieldA2. 如果另外一端因为Class 未升级, 那么编译的顺序还是FieldsSA1, FieldsSA2, FieldA1, FieldA2. 那么将会导致无法正确反序列化。
用一句话总结就是, 如果Super Class中新增字段了, 必须两端程序同时升级。 而如果在子类中新增字段, 并且增加在字段列表中的最后一个, 那么是不需要另外一端跟着升级的。
这里我们可以看到protobuf 的运行高效性所带来的一些问题。 相应的这类问题是不会存在在使用Json 格式转换服务上。
最后, 相关的更改见附件
相关推荐
protobuf for unity 在unity中使用protobuf工程示例,数据的序列化和反序列化工程示例
脚本中描述了如何编译protobuf,包括了ubuntu和android版本
这个是在erlang项目中使用google protobuf例子,配套文章地址http://blog.csdn.net/mycwq/article/details/21864191
在Unity中使用ProtoBuf的工具,使用protoc将写好的proto 3文件生成csharp使用的代码,在网络传输中用着再好不过了
Unity 中使用Protobuf进行序列化和反序列化的Demo
使用.proto 数据格式demo
NULL 博文链接:https://gqdy365.iteye.com/blog/2163076
这个存储库保存了一个为本文开发的示例android应用程序的源代码,该应用程序是在medium.com上发布的,它是关于在android项目中使用protocol缓冲区的。
windows protobuf android 编译.doc
gRPC 和protobuf 在kotlin中的使用demo 可以直接运行并且直接添加项目中也可以,只有客户端 使用的是andorid studio创建 kotlin语言实现
1、以20个浮点类型字段,1百万条记录...2、分别对比二进制与ProtoBuf序列化、反序列化、显示速度的耗时对比以及占用空间大小对比 3、在增加压缩功能后再进行序列化、反序列化、显示速度的耗时对比以及占用空间大小对比
这是我的博客《Websocek笔记三 egret + skynet使用 protobuffer》中用到的源代码
Protocol Buffers(protobuf)是Google提供的一个开源序列化框架,这个demo将演示如何在Windows下VC++使用protobuf 配套文章地址:http://blog.csdn.net/mycwq/article/details/17606527
c#如何使用protobuf
unity使用protobuf-C Sharp和android传递对象,里边包含用到的一些关键jar包,Google.Protobuf源文件,以及传递列表对象的java和c#双边代码,使用前请仔细阅读内附的文本文件。
获取protobuf源代码,使用cmake生成protobuf的Visual Studio工程,在UE4中使用protobuf进行网络通信,包含服务端与客户端的socket实现,以及数据的粘包和断包
NULL 博文链接:https://vincepeng.iteye.com/blog/2171310
一个c++使用protobuf作为消息协议的一个小demo,从这个demo里你可以很好地理解进行socket编程中的数据包的设计以及数据的打包和解包。