八:AI和AENC绑定并采集音频码流+音频流程梳理(未完待续)

  1. 本章节介绍:

本章节主要讲的是AI模块和AENC模块通过绑定,并且获取对应的AENC编码码流的过程:AI的初始化AENC的初始化绑定AI和AENC节点开启AENC线程进行音频编码的采集

2. 项目框图:

image.png

2.1. AI设备的初始化

image.png

AI设备的初始化,需要用到以下参数:pcAudioNode (音频设备节点)、enSampleFormat(音频采样格式)、enAiLayout(输入布局类型)、u32NbSamples(采样个数)、u32SampleRate(音频采样率)、u32Channels(音频通道)

image.png

设置完上述参数后,需要RK_MPI_AI_SetChnAttrRK_MPI_AI_EnableChn的API对AI进行设置。

2.2. AENC模块的初始化

image.png
image.png

AENC模块的初始化,下面有几个重要参数:enType(编码类型)、u32Bitrate(音频码率)、u32Quality(音频编码质量)、u32Channels(音频通道)、u32SampleRate(音频采样率)

2.3. 绑定AI和AENC节点

image.png

使用RK_MPI_SYS_Bind把AI节点和AENC进行绑定,其中enModId是模块ID号选择的是RK_ID_AI、s32ChnId是通道号,通道号则从容器AENC容器获取。

2.4. 开启AENC线程采集每一帧视频编码数据并存储到音频队列

image.png

在这个audio_aenc_thread线程里面,利用RK_MPI_SYS_GetMediaBuffer的API采集AENC的数据,并把数据赋值到audio_data_packet_t结构体里面(这个结构体里面主要存储编码后音频的缓冲区数据和长度)。并且把这个结构体的数据入到audio_packet_queue队列里面(具体操作:putAudioPacketQueue).

RK_MPI_SYS_GetMediaBuffer.png

音频流程梳理(未完待续)

1.main函数调用init_rkmedia_module_function():

ai部分:
rkmedia_function_init调用 RK_MPI_SYS_Init()完成RK多媒体系统初始化
rkmedia_ai_config的配置及使用rkmedia_ai_init(&rkmedia_ai_config)完成其初始化
若初始化成功则配置ai_container参数,set_ai_container(0, &ai_container)使用互斥锁完成容器的设置,其中all_containers.ai_containers[index] = *ai_container将ai_container中的数据赋给通用的容器all_containers中的ai_containers[index],以此达到解耦化的目的。
aenc部分类似

2。main函数调用init_rv1126_first_assignment(protocol_type, network_address);

绑定

 //从AI容器里面获取AI_ID
    RV1126_AI_CONTAINTER ai_container;
    get_ai_container(0, &ai_container);

    //从AENC容器里面获取AENC_ID
    RV1126_AENC_CONTAINER aenc_container;
    get_aenc_container(0, &aenc_container);

    ai_channel.enModId = RK_ID_AI; //AI模块ID
    ai_channel.s32ChnId = ai_container.ai_id; //AI通道ID

    aenc_channel.enModId = RK_ID_AENC; //AENC模块ID
    aenc_channel.s32ChnId = aenc_container.aenc_id; //AENC通道ID
    ret = RK_MPI_SYS_Bind(&ai_channel, &aenc_channel);//将AI模块绑带到AENC模块

采集

 //AENC线程的参数
    AENC_PROC_PARAM *aenc_arg = (AENC_PROC_PARAM *)malloc(sizeof(AENC_PROC_PARAM));
    if (aenc_arg == NULL)
    {
        printf("malloc aenc arg error\n");
        free(aenc_arg);
    }

    aenc_arg->aencId = aenc_channel.s32ChnId;//参数
    //创建AENC线程,获取麦克风编码数据
    ret = pthread_create(&pid, NULL, audio_aenc_thread, (void *)aenc_arg);
    if (ret != 0)
    {
        printf("create a

该线程具体实现

void *audio_aenc_thread(void *args)
{
    pthread_detach(pthread_self());
    MEDIA_BUFFER mb = NULL;

    AENC_PROC_PARAM aenc_arg = *(AENC_PROC_PARAM *)args;
    free(args);

    while (1)
    {
        // 从指定通道中获取AENC数据
        mb = RK_MPI_SYS_GetMediaBuffer(RK_ID_AENC, aenc_arg.aencId, -1);
        if (!mb)
        {
            printf("get aenc buffer error\n");
            break;
        }

        // 分配audio_data_packet_t结构体
        audio_data_packet_t *audio_data_packet = (audio_data_packet_t *)malloc(sizeof(audio_data_packet_t));
        // 把AENC视频缓冲区数据传输到audio_data_packet的buffer中
        memcpy(audio_data_packet->buffer, RK_MPI_MB_GetPtr(mb), RK_MPI_MB_GetSize(mb));
        // 把AENC的长度赋值给audio_data_packet的audio_frame_size中
        audio_data_packet->audio_frame_size = RK_MPI_MB_GetSize(mb);
        // 入到音频压缩队列
        audio_queue->putAudioPacketQueue(audio_data_packet);
        // 释放AENC资源
        RK_MPI_MB_ReleaseBuffer(mb);
    }

推流?

    //推流服务线程
    ret = pthread_create(&pid, NULL, push_server_thread, (void *)ffmpeg_config);
    if (ret != 0)
    {
        
        printf("push_server_thread error\n");
    }

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 219,539评论 6 508
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 93,594评论 3 396
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 165,871评论 0 356
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 58,963评论 1 295
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 67,984评论 6 393
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 51,763评论 1 307
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 40,468评论 3 420
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 39,357评论 0 276
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 45,850评论 1 317
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 38,002评论 3 338
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 40,144评论 1 351
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,823评论 5 346
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 41,483评论 3 331
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 32,026评论 0 22
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 33,150评论 1 272
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 48,415评论 3 373
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 45,092评论 2 355

推荐阅读更多精彩内容