- 本章节介绍:
本章节主要讲的是AI模块和AENC模块通过绑定,并且获取对应的AENC编码码流的过程:AI的初始化、AENC的初始化、绑定AI和AENC节点、开启AENC线程进行音频编码的采集
2. 项目框图:
2.1. AI设备的初始化
AI设备的初始化,需要用到以下参数:pcAudioNode (音频设备节点)、enSampleFormat(音频采样格式)、enAiLayout(输入布局类型)、u32NbSamples(采样个数)、u32SampleRate(音频采样率)、u32Channels(音频通道)
设置完上述参数后,需要RK_MPI_AI_SetChnAttr和RK_MPI_AI_EnableChn的API对AI进行设置。
2.2. AENC模块的初始化
AENC模块的初始化,下面有几个重要参数:enType(编码类型)、u32Bitrate(音频码率)、u32Quality(音频编码质量)、u32Channels(音频通道)、u32SampleRate(音频采样率)
2.3. 绑定AI和AENC节点
使用RK_MPI_SYS_Bind把AI节点和AENC进行绑定,其中enModId是模块ID号选择的是RK_ID_AI、s32ChnId是通道号,通道号则从容器AENC容器获取。
2.4. 开启AENC线程采集每一帧视频编码数据并存储到音频队列
在这个audio_aenc_thread线程里面,利用RK_MPI_SYS_GetMediaBuffer的API采集AENC的数据,并把数据赋值到audio_data_packet_t结构体里面(这个结构体里面主要存储编码后音频的缓冲区数据和长度)。并且把这个结构体的数据入到audio_packet_queue队列里面(具体操作:putAudioPacketQueue).
音频流程梳理(未完待续)
1.main函数调用init_rkmedia_module_function():
ai部分:
rkmedia_function_init调用 RK_MPI_SYS_Init()完成RK多媒体系统初始化
rkmedia_ai_config的配置及使用rkmedia_ai_init(&rkmedia_ai_config)完成其初始化
若初始化成功则配置ai_container参数,set_ai_container(0, &ai_container)使用互斥锁完成容器的设置,其中all_containers.ai_containers[index] = *ai_container将ai_container中的数据赋给通用的容器all_containers中的ai_containers[index],以此达到解耦化的目的。
aenc部分类似
2。main函数调用init_rv1126_first_assignment(protocol_type, network_address);
绑定
//从AI容器里面获取AI_ID
RV1126_AI_CONTAINTER ai_container;
get_ai_container(0, &ai_container);
//从AENC容器里面获取AENC_ID
RV1126_AENC_CONTAINER aenc_container;
get_aenc_container(0, &aenc_container);
ai_channel.enModId = RK_ID_AI; //AI模块ID
ai_channel.s32ChnId = ai_container.ai_id; //AI通道ID
aenc_channel.enModId = RK_ID_AENC; //AENC模块ID
aenc_channel.s32ChnId = aenc_container.aenc_id; //AENC通道ID
ret = RK_MPI_SYS_Bind(&ai_channel, &aenc_channel);//将AI模块绑带到AENC模块
采集
//AENC线程的参数
AENC_PROC_PARAM *aenc_arg = (AENC_PROC_PARAM *)malloc(sizeof(AENC_PROC_PARAM));
if (aenc_arg == NULL)
{
printf("malloc aenc arg error\n");
free(aenc_arg);
}
aenc_arg->aencId = aenc_channel.s32ChnId;//参数
//创建AENC线程,获取麦克风编码数据
ret = pthread_create(&pid, NULL, audio_aenc_thread, (void *)aenc_arg);
if (ret != 0)
{
printf("create a
该线程具体实现
void *audio_aenc_thread(void *args)
{
pthread_detach(pthread_self());
MEDIA_BUFFER mb = NULL;
AENC_PROC_PARAM aenc_arg = *(AENC_PROC_PARAM *)args;
free(args);
while (1)
{
// 从指定通道中获取AENC数据
mb = RK_MPI_SYS_GetMediaBuffer(RK_ID_AENC, aenc_arg.aencId, -1);
if (!mb)
{
printf("get aenc buffer error\n");
break;
}
// 分配audio_data_packet_t结构体
audio_data_packet_t *audio_data_packet = (audio_data_packet_t *)malloc(sizeof(audio_data_packet_t));
// 把AENC视频缓冲区数据传输到audio_data_packet的buffer中
memcpy(audio_data_packet->buffer, RK_MPI_MB_GetPtr(mb), RK_MPI_MB_GetSize(mb));
// 把AENC的长度赋值给audio_data_packet的audio_frame_size中
audio_data_packet->audio_frame_size = RK_MPI_MB_GetSize(mb);
// 入到音频压缩队列
audio_queue->putAudioPacketQueue(audio_data_packet);
// 释放AENC资源
RK_MPI_MB_ReleaseBuffer(mb);
}
推流?
//推流服务线程
ret = pthread_create(&pid, NULL, push_server_thread, (void *)ffmpeg_config);
if (ret != 0)
{
printf("push_server_thread error\n");
}