1. 本章节介绍：

本章节主要讲的是AI模块和AENC模块通过绑定，并且获取对应的AENC编码码流的过程：AI的初始化、AENC的初始化、绑定AI和AENC节点、开启AENC线程进行音频编码的采集

2. 项目框图：

image.png

2.1. AI设备的初始化

image.png

AI设备的初始化，需要用到以下参数：pcAudioNode (音频设备节点)、enSampleFormat(音频采样格式)、enAiLayout(输入布局类型)、u32NbSamples(采样个数)、u32SampleRate(音频采样率)、u32Channels(音频通道)

image.png

设置完上述参数后，需要RK_MPI_AI_SetChnAttr和RK_MPI_AI_EnableChn的API对AI进行设置。

2.2. AENC模块的初始化

image.png

image.png

AENC模块的初始化，下面有几个重要参数：enType(编码类型)、u32Bitrate(音频码率)、u32Quality(音频编码质量)、u32Channels(音频通道)、u32SampleRate(音频采样率)

2.3. 绑定AI和AENC节点

image.png

使用RK_MPI_SYS_Bind把AI节点和AENC进行绑定，其中enModId是模块ID号选择的是RK_ID_AI、s32ChnId是通道号，通道号则从容器AENC容器获取。

2.4. 开启AENC线程采集每一帧视频编码数据并存储到音频队列

image.png

在这个audio_aenc_thread线程里面，利用RK_MPI_SYS_GetMediaBuffer的API采集AENC的数据，并把数据赋值到audio_data_packet_t结构体里面(这个结构体里面主要存储编码后音频的缓冲区数据和长度)。并且把这个结构体的数据入到audio_packet_queue队列里面(具体操作：putAudioPacketQueue).

RK_MPI_SYS_GetMediaBuffer.png

音频流程梳理（未完待续）

1.main函数调用init_rkmedia_module_function()：

ai部分：
rkmedia_function_init调用 RK_MPI_SYS_Init()完成RK多媒体系统初始化
rkmedia_ai_config的配置及使用rkmedia_ai_init(&rkmedia_ai_config)完成其初始化
若初始化成功则配置ai_container参数，set_ai_container(0, &ai_container)使用互斥锁完成容器的设置，其中all_containers.ai_containers[index] = *ai_container将ai_container中的数据赋给通用的容器all_containers中的ai_containers[index]，以此达到解耦化的目的。
aenc部分类似

2。main函数调用init_rv1126_first_assignment(protocol_type, network_address);

绑定

 //从AI容器里面获取AI_ID
    RV1126_AI_CONTAINTER ai_container;
    get_ai_container(0, &ai_container);

    //从AENC容器里面获取AENC_ID
    RV1126_AENC_CONTAINER aenc_container;
    get_aenc_container(0, &aenc_container);

    ai_channel.enModId = RK_ID_AI; //AI模块ID
    ai_channel.s32ChnId = ai_container.ai_id; //AI通道ID

    aenc_channel.enModId = RK_ID_AENC; //AENC模块ID
    aenc_channel.s32ChnId = aenc_container.aenc_id; //AENC通道ID
    ret = RK_MPI_SYS_Bind(&ai_channel, &aenc_channel);//将AI模块绑带到AENC模块

采集

 //AENC线程的参数
    AENC_PROC_PARAM *aenc_arg = (AENC_PROC_PARAM *)malloc(sizeof(AENC_PROC_PARAM));
    if (aenc_arg == NULL)
    {
        printf("malloc aenc arg error\n");
        free(aenc_arg);
    }

    aenc_arg->aencId = aenc_channel.s32ChnId;//参数
    //创建AENC线程，获取麦克风编码数据
    ret = pthread_create(&pid, NULL, audio_aenc_thread, (void *)aenc_arg);
    if (ret != 0)
    {
        printf("create a

该线程具体实现

void *audio_aenc_thread(void *args)
{
    pthread_detach(pthread_self());
    MEDIA_BUFFER mb = NULL;

    AENC_PROC_PARAM aenc_arg = *(AENC_PROC_PARAM *)args;
    free(args);

    while (1)
    {
        // 从指定通道中获取AENC数据
        mb = RK_MPI_SYS_GetMediaBuffer(RK_ID_AENC, aenc_arg.aencId, -1);
        if (!mb)
        {
            printf("get aenc buffer error\n");
            break;
        }

        // 分配audio_data_packet_t结构体
        audio_data_packet_t *audio_data_packet = (audio_data_packet_t *)malloc(sizeof(audio_data_packet_t));
        // 把AENC视频缓冲区数据传输到audio_data_packet的buffer中
        memcpy(audio_data_packet->buffer, RK_MPI_MB_GetPtr(mb), RK_MPI_MB_GetSize(mb));
        // 把AENC的长度赋值给audio_data_packet的audio_frame_size中
        audio_data_packet->audio_frame_size = RK_MPI_MB_GetSize(mb);
        // 入到音频压缩队列
        audio_queue->putAudioPacketQueue(audio_data_packet);
        // 释放AENC资源
        RK_MPI_MB_ReleaseBuffer(mb);
    }

推流？

    //推流服务线程
    ret = pthread_create(&pid, NULL, push_server_thread, (void *)ffmpeg_config);
    if (ret != 0)
    {
        
        printf("push_server_thread error\n");
    }