在CentOS/RHEL上编译序列化软件Avro的C语言接口库

消息由键,值和头部组成。Kafka不识别消息中键和值,它按字节数组处理他们。但生产者和消费者关心如何读取这些数据。所以我们希望数据存储的方式是易读的,同时它还要尽可能地紧凑和快速编解码。例如,JSON是自解释的一个格式,但是它不紧凑而且解析速度慢。Avro是apache一个快速的序列化框架,它创建的消息相对紧凑。要读取Avro记录,你要有数据序列化的schema(Avro使用一个叫做schma的JSON文档描述数据结构)。

但是,基于C语言的avro API在安装时必须有jansson、snappy等一系列依赖库,且基于cmake的安装方式也不太友好,因此需要进行说明如下。

一、编译snappy

1、下载snappy

$ wget https://github.com/google/snappy/releases/download/1.1.3/snappy-1.1.3.tar.gz

2、解压

$ tar -xf snappy-1.1.3.tar.gz

3、生成编译环境(系统中需要安装autoconf、libtool)

$ cd snappy-1.1.3
$ autoreconf --force --install

此处如果不加参数,则在执行下一步 make 时会报错:

/bin/sh ./libtool --tag=CXX --mode=compile g++ -DHAVE_CONFIG_H -I. -g -O2 -MT snappy.lo -MD -MP -MF .deps/snappy.Tpo -c -o snappy.lo snappy.cc
libtool: Version mismatch error. This is libtool 2.4.2 Debian-2.4.2-1.7ubuntu1, but the
libtool: definition of this LT_INIT comes from libtool 2.2.6b.
libtool: You should recreate aclocal.m4 with macros from libtool 2.4.2 Debian-2.4.2-1.7ubuntu1
libtool: and run autoconf again.
make[1]: *** [snappy.lo] 错误 63
make[1]: Leaving directory `/home/rs3000/rpm/snappy-1.1.3'
make: *** [all] 错误 2

$ ./configure

4、编译

$ make

5、拷贝生成的库到默认库文件地址

$ sudo make install

或者“su”登陆root用户

# make install
  • 生成的 .h 头文件在/usr/local/include下
  • 生成的 .so .a库文件在/usr/local/lib下

二、安装JSON库libjansson

1、下载源文件

$ wget http://www.digip.org/jansson/releases/jansson-2.12.tar.gz

2、解压

$ tar -xf jansson-2.12.tar.gz

3、生成编译环境

$ cd jansson-2.12
$ ./configure

4、编译

$ make

5、拷贝生成的库到默认库文件地址

$ sudo make install

或者“su”登陆root用户

# make install
  • 生成的 .h 头文件在/usr/local/include下
  • 生成的 .so .a库文件在/usr/local/lib下

三、安装Avro C的API接口库

1、下载源文件

$ wget http://mirrors.hust.edu.cn/apache/avro/avro-1.8.2/c/avro-c-1.8.2.tar.gz

2、解压

$ tar -xf avro-c-1.8.2.tar.gz
$ cd avro-c-1.8.2

3、修改cmake文件
avro C的API库要使用 Cmake 交叉编译工具 来生成编译环境,但原始的 CMakeLists.txt 文件并非最终文件,作者没有完成其中的主要库位置snappy和jansson的指定,需要做如下修改:

1) 将CMakeLists.txt的如下行内容进行修改
注释

#pkg_check_modules(JANSSON jansson>=2.3)

在这一行下面增加一行

find_package(jansson)

即去掉无意义的比较jansson版本功能,改为寻找加载jansson包

2)修改FindSnappy.cmake文件
该文件中未指定libsnappy的安装根目录/usr/local,因此需要在开头增加一个定义:

set(SNAPPY_ROOT_DIR /usr/local)

3)因为源文件中没有任何指定jansson库的内容,所以会直接导致cmake找不到jansson依赖,从而无法编译。这里需要增加一个Findjansson.cmake文件,可以从FindSnappy.cmake直接复制而来,然后修改。
由于libjansson的库位置和Snappy相同,可以简单的修改如下:

  • 将文件中的 SNAPPY_ 改为 JANSSON_
  • 将头文件jansson.h文件和库文件libjansson.so重新指定:

结果为:

set(JANSSON_ROOT_DIR /usr/local)

find_path(JANSSON_INCLUDE_DIR
    NAMES jansson.h
    HINTS ${JANSSON_ROOT_DIR}/include)

find_library(JANSSON_LIBRARIES
    NAMES libjansson.so
    HINTS ${JANSSON_ROOT_DIR}/lib)

4、批处理命令编译

$ ./cmake_avrolib.sh

批处理编译后的库文件、头文件和test文件在 ./build/avrolib下,将./build/avrolib/include 和 ./build/avrolib/lib下,需要将相应文件分别转移到/usr/local下的include和lib文件夹中。

libavro的编译即告完成。

如果想要单步编译,也可按照下面的步骤执行,文件直接生成到/usr/local下。

4、生成编译环境

$ mkdir build
$ cd build
$ cmake .. -DCMAKE_INSTALL_PREFIX=/usr/local -DCMAKE_BUILD_TYPE=RelWithDebInfo

注意,默认的库文件位置在/include 和 /lib下,需要将相应文件转移到/usr/local下。

5、编译

$ make

6、拷贝生成的库到默认库文件地址

$ sudo make install

或者“su”登陆root用户

# make install

编译拷贝全部完成。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 212,080评论 6 493
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 90,422评论 3 385
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 157,630评论 0 348
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 56,554评论 1 284
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 65,662评论 6 386
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 49,856评论 1 290
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,014评论 3 408
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 37,752评论 0 268
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,212评论 1 303
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,541评论 2 327
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,687评论 1 341
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,347评论 4 331
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 39,973评论 3 315
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,777评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,006评论 1 266
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 46,406评论 2 360
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 43,576评论 2 349

推荐阅读更多精彩内容