在c++项目中使用高性能的rapidjson作为json处理库

最近在一个需要高并发的项目中使用到json,最开始使用jsoncpp进行解析和序列化,但是在json数据比较大时jsoncpp会抛异常,在多线程的情况下抛异常的概率更加频繁!后来发现是因为jsoncpp版本比较老,老版本的jsoncpp不是多线程安全的(参考 https://github.com/open-source-parsers/jsoncpp/issues/823) 更新到最新的版本后,处理性能达不到预期,于是查找原因,经过hotspots分析,发现大部分时间消耗在jsoncpp的readValue函数,在一些存在大量float数值的json中解析数值的操作耗时较大。

于是找到了rapidjson,根据benchmark结果看起来不错,经过实际测试发现在40线程的压力测试下相比jsoncpp性能提升10倍左右,一些存在大量float数值的case性能提升更明显!

如下,整理一下rapidjson使用的方法:

1. 通用解析方法放在rapidjson_utils.hpp文件中

#ifndef rapidjson_utils_h__
#define rapidjson_utils_h__
#include "rapidjson/rapidjson.h"
#include "rapidjson/document.h"
#include "rapidjson/pointer.h"
#include "rapidjson/writer.h"
#include "rapidjson/prettywriter.h"
#include "rapidjson/error/en.h"
#include <string>
namespace utils
{
    using std::string;
    static int get_rapidjson_string(const rapidjson::Value& js_in,
        std::string key,
        std::string& value) {
        rapidjson::Pointer pointer(key.c_str());
        if (!pointer.IsValid()) {
            return -1;
        }
        const rapidjson::Value *pValue = rapidjson::GetValueByPointer(js_in, pointer);
        if (NULL == pValue || !pValue->IsString()) {
            return -1;
        }
        value = pValue->GetString();
        return 0;
    }
    static int get_rapidjson_int(const rapidjson::Value& js_in,
        std::string key,
        int& value) {
        rapidjson::Pointer pointer(key.c_str());
        if (!pointer.IsValid()) {
            return -1;
        }
        const rapidjson::Value *pValue = rapidjson::GetValueByPointer(js_in, pointer);
        if (NULL == pValue || !pValue->IsNumber()) {
            return -1;
        }
        value = pValue->GetInt();
        return 0;
    }
    ///< get float number
    static int get_rapidjson_number(const rapidjson::Value& js_in,
        std::string key,
        float& value) {
        rapidjson::Pointer pointer(key.c_str());
        if (!pointer.IsValid()) {
            return -1;
        }
        const rapidjson::Value *pValue = rapidjson::GetValueByPointer(js_in, pointer);
        if (NULL == pValue || !pValue->IsNumber()) {
            return -1;
        }
        rapidjson::Type valueType = pValue->GetType();
        switch (valueType) {
        case rapidjson::Type::kNumberType:
            value = pValue->GetDouble();
            break;
        default:
            return -1;
        }
        return 0;
    }
    static int get_rapidjson_bool(const rapidjson::Value& js_in,
        std::string key,
        bool& value) {
        rapidjson::Pointer pointer(key.c_str());
        if (!pointer.IsValid()) {
            return -1;
        }
        const rapidjson::Value *pValue = rapidjson::GetValueByPointer(js_in, pointer);
        if (NULL == pValue || !pValue->IsBool()) {
            return -1;
        }
        value = pValue->GetBool();
        return 0;
    }
    static void add_member_string(rapidjson::Value& node, string key, string value, rapidjson::Document::AllocatorType &alloc) {
        node.AddMember(rapidjson::Value(key.c_str(), key.length(), alloc).Move(),
            rapidjson::Value(value.c_str(), value.length(), alloc).Move(), alloc);
    }
    static void add_member_int(rapidjson::Value& node, string key, int value,
        rapidjson::Document::AllocatorType &alloc) {
        node.AddMember(rapidjson::Value(key.c_str(), key.length(), alloc).Move(),
            rapidjson::Value(value).Move(), alloc);
    }
    static void add_member_float(rapidjson::Value& node, string key, double value,
        rapidjson::Document::AllocatorType &alloc) {
        node.AddMember(rapidjson::Value(key.c_str(), key.length(), alloc).Move(),
            rapidjson::Value(value).Move(), alloc);
    }
    static void add_member_bool(rapidjson::Value& node, string key, bool value,
        rapidjson::Document::AllocatorType &alloc) {
        node.AddMember(rapidjson::Value(key.c_str(), key.length(), alloc).Move(),
            rapidjson::Value(value).Move(), alloc);
    }
    static string to_string(const rapidjson::Value& v) {
        rapidjson::StringBuffer sb;
        rapidjson::Writer<rapidjson::StringBuffer> writer(sb);
        v.Accept(writer);
        std::string sResult = sb.GetString();
        return sResult;
    }
    static string to_styled_string(const rapidjson::Value& v) {
        rapidjson::StringBuffer sb;
        rapidjson::PrettyWriter<rapidjson::StringBuffer> writer(sb);
        v.Accept(writer);
        std::string s = sb.GetString();
        return s;
    }
} //namespace utils
#endif // rapidjson_utils_h__

2. 测试代码放在rapidjson_example.cpp中


#include <iostream>
#include <fstream>
#include <sstream>
#include <string>
#include "rapidjson_utils.hpp"
using std::string;
int main(int argc, char** argv)
{
    string data = "{\"user\":\"hello\",\"movies\":[{\"name\":\"TENET\",\"like\":10000}],\"song\":{\"暗里着迷\":\"已经播放了3遍\"},\"ratio\":0.98}";
    rapidjson::Document doc;
    rapidjson::ParseResult ok = doc.Parse(data.c_str());
    if (!ok) {
        printf("parse json failure id=%d offset=%d msg=%s\n", doc.GetParseError(), doc.GetErrorOffset(), rapidjson::GetParseError_En(doc.GetParseError()));
        return -1;
    }
    string user;
    utils::get_rapidjson_string(doc, "/user", user);
    printf("user=%s\n", user.c_str());
    ///< 使用迭代器遍历数组
    const rapidjson::Value* pMovies = rapidjson::GetValueByPointer(doc, "/movies");
    if (nullptr != pMovies && pMovies->IsArray() && !pMovies->Empty()) {
        for (rapidjson::Value::ConstValueIterator iter = pMovies->Begin(); iter != pMovies->End(); iter++) {
            string name;
            int like;
            utils::get_rapidjson_string(*iter, "/name", name);
            utils::get_rapidjson_int(*iter, "/like", like);
            printf("movie=%s like=%d\n", name.c_str(), like);
        }
    }
    const rapidjson::Value* pSong = rapidjson::GetValueByPointer(doc, "/song");
    if (nullptr != pSong && pSong->IsObject() && !pSong->ObjectEmpty()) {
        ///< 使用迭代器遍历object
        const rapidjson::Value& song = *pSong;
        for (rapidjson::Value::ConstMemberIterator miter = song.MemberBegin(); miter != song.MemberEnd(); miter++) {
            const rapidjson::Value& name = miter->name;
            const rapidjson::Value& value = miter->value;
            printf("song=%s message=%s\n", name.GetString(), value.GetString());
        }
    }
    float ratio;
    utils::get_rapidjson_number(doc, "/ratio", ratio);
    printf("ratio=%f\n", ratio);
    ///< 生成一个新的json
    rapidjson::Document out(rapidjson::kObjectType);
    rapidjson::Document::AllocatorType &a = out.GetAllocator();
    out.CopyFrom(doc, a);
    rapidjson::Value* pNewMovies = rapidjson::GetValueByPointer(out, "/movies");
    rapidjson::Value movie(rapidjson::kObjectType);
    utils::add_member_string(movie, "name", "Memento", a);
    utils::add_member_int(movie, "like", 12366, a);
    utils::add_member_float(movie, "score", 0.95, a);
    pNewMovies->PushBack(movie.Move(), a);
    ///< SetValueByPointer可以新增节点
    rapidjson::SetValueByPointer(out, "/version", 2.0, a);
    string s = utils::to_styled_string(out);
    printf("after modify json=%s\n", s.c_str());
    return 0;
}

参考:
rapidjson官网:http://rapidjson.org/zh-cn/
git仓库:https://github.com/Tencent/rapidjson.git
一些json解析器的性能对比:https://github.com/miloyip/nativejson-benchmark
jsoncpp和rapidjson哪个好用?:https://www.zhihu.com/question/23654513

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 216,324评论 6 498
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 92,356评论 3 392
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 162,328评论 0 353
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 58,147评论 1 292
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 67,160评论 6 388
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 51,115评论 1 296
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 40,025评论 3 417
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,867评论 0 274
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 45,307评论 1 310
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,528评论 2 332
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,688评论 1 348
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,409评论 5 343
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 41,001评论 3 325
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,657评论 0 22
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,811评论 1 268
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 47,685评论 2 368
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,573评论 2 353

推荐阅读更多精彩内容