字节流的认识
项目的终端设备是通过socket接口传输数据的,到应用层就只有单纯的数据了。数据是以字节流的形式被后台程序接收的,那么什么是字节流呢?
字节流是由字节组成的,字节流是由字符组成的. Java里字符由两个字节组成.字节流是最基本的,所有的InputStream和OutputStream的子类都是,主要用在处理二进制数据,它是按字节来处理的但实际中很多的数据是文本,又提出了字符流的概念,它是按虚拟机的encode来处理,也就是要进行字符集的转化。
而最早的encode方式就是ASCII码,车流量项目的终端发出的socket的也是采用ASCII。
接着说字节流,字节流的最小单位是Byte,在NodeJS中我们data event监听接收到的data(或者在Java中的InputStream)实际上是Byte[],
一个byte型整数在内存中占8位,也就是一个字节. 表数范围:-128 --127
他们是ASCII码编码的,数值都是每个字符对应的ASCII码值[http://www.asciitable.com/]
Net模块
安装nodejs后自带的module可直接使用。
Node.js Net 模块提供了一些用于底层的网络通信的小工具,包含了创建服务器/客户端的方法,我们可以通过以下方式引入该模块:
var net = require("net")
net模块主要有两种对象供我们使用
net.Server
net.Server通常用于创建一个 TCP 或本地服务器。这里用到了回调函数, 参考[http://www.jianshu.com/p/fa9601753942].
net.Socket
net.Socket 对象是 TCP 或 UNIX Socket 的抽象。net.Socket 实例实现了一个双工流接口。 他们可以在用户创建客户端(使用 connect())时使用, 或者由 Node 创建它们,并通过 connection 服务器事件传递给用户。项目是建立一个服务端,所以没有使用net.Socket,按下不表。
项目注意点
从设计的角度看,为了节省空间,如果是表示数值(Int,Float),都是发送的byte内容对应数值,举个栗子,一个三位数123,我们实际用的8位一个字节就能表达出,但是如果用ASCII码对应的字符表示,就需要三个Bytes。所以我们的socket内容如果需要用字符串表达,那么就需要转换成char。总结一下:
String类型:
var str_crossid = new String();
str_crossid = String.fromCharCode(data[i]);
Int类型:
这里有个坑,因为它是用2 Bytes表示的,所以要考虑真实数值对应2个byte的计算关系,高八位就要×2^8的权值。还需要考虑大端小端模式的。
var interval = data[14]+data[15]*256;
Float类型:
参考资料:
浮点数据就是按下表的格式存储在4个字节中:
Address+0 Address+1 Address+2 Address+3
Contents SEEE EEEE EMMM MMMM MMMM MMMM MMMM MMMM S: 表示浮点数正负,1为负数,0为正数
E: 指数加上127后的值的二进制数
M: 24-bit的底数(只存储23-bit)
[http://wiki.jikexueyuan.com/project/nodejs/buffer.html]
代码:
buffer_instance.readFloatLE(0);
Date类型:
String.fromCharCode(data[i]); //还原 原格式
var date_time = new Date(str_date_time); //ISO format
附:接收的数据
处理后的数据
17/06/2017 更新
- 加了一个应用层的加总异或校验
- 关于数据包,数据报,帧
https://segmentfault.com/a/1190000008449308
所以在车流量项目,是(很少见的?)多数据包一个帧,说更精确的话就是多个数据包负载一个帧。
负载——也称为数据包正文或数据。这是数据包向目的地发送的实际数据。
- 防止低八位溢出,低八位变负数,将:
var interval = data[14]+data[15]*256;
更改为:
var buf_interval = new Buffer(2);
for(var i = 0; i<=1; i++){
buf_interval[i] = data[14+59*k+i];
}
console.log('-interval: '+buf_interval.readUInt16LE(0));
然而实际测试过程两种写法结果一样。且16位范围上限是2^15-1。
22/06/2017更新
- 对可能的多负载加入num_packet, 用来区分不同的packet payload,因为我们的存储是以单个数据包payload为单位的。
- 借助mongoose将数据用定义好的Schema转化为Json格式并存储。
23/06/2017更新
- prototype的用法:实例方法
User.save = function(){......}
是这样调用的:
User.save()
User.prototype.save = function(){.......} 是这样调用的:
var user = new User();
user.save();
10/07/2017更新
实现3个新功能:
1.与设备测试提出一个问题:就是如何保证不重复存车数据。了解后使用LaneNo和DateTime决定一个复合唯一索引。即,只是LaneNo或者DateTime相同,依旧存储。仅仅当数据库已存数据与新数据二属性值均相同,才拒绝存储。
Mongo shell:
Unique Compound Index[]:
You can also enforce a unique constraint on [compound indexes]db.collection.createIndex( { a: 1, b: 1 }, { unique: true } )
node代码:
FlowSchema.index({"CrossTrafficData.DateTime":1,"CrossTrafficData.DataList.Data.LaneNo":1},{unique: true});
2.保存浮点数保留两位小数
AveQueueLength: buf_ave_ql.readFloatLE(0).toFixed(2)
3.回复数据包头
buf_packetInfo.writeUIntLE(0x2, 0, 4);
var res_sec = Buffer.concat([buf_crossid, buf_packet_type, buf_packetInfo]);
socket.write(res_sec);
}
第一句表示写入2,表示接收成功。
第二句合并包头各个组成