扣子平台开发笔记-- 插件开发

0. 官方文档

智能体插件
插件介绍

1. 插件工具创建

目前平台主要支持 云侧插件-基于已有服务创建云侧插件-在CozeIDE中创建端侧插件,这三种模式;

插件类型

  • 1 云侧插件 - 基于已有服务创建
    参考文档
    基于已有服务创建自定义插件,相当于将个人/团队开发的 API 配置为插件,开放给团队或外部人员使用;
    需要设置云端的URL(https协议,并有配置证书,接口认证方式根据服务实际情况配置)
    云端服务插件

添加相关功能接口,并配置请求方式、参数及返回数据结构


工具接口设置
  • 2 云侧插件 - 在Coze IDE中创建
    参考文档
    扣子 IDE 是扣子提供的在线编码和运行环境,允许你在多种技术栈中创建插件。待插件发布后,IDE 会帮助你托管运行代码,你无需关心环境配置、服务部署等步骤。

    云侧插件-CozeIDE

    选择相应的运行方式(Node.js,Python),然后在Coze提供的IDE开发相应的逻辑即可;
    工具代码

    在工具元数据中设置对应的出入参:
    工具元数据

  • 3 端侧插件
    参考文档
    扣子提供端插件功能,用于使智能体直接与硬件设备进行交互,实现对硬件设备的控制和信息获取。
    通过端插件,你可轻松实现设备信息获取、设备行为控制等。例如,若想调慢蓝牙音响的播放语速,只需向部署了扣子智能体的蓝牙音箱发送指令,扣子便会调用端插件,使蓝牙音箱按指令放慢语速。详细流程如下图所示。

    调慢蓝牙音响的播放语速

    插件配置主要内容如下:
    工具基本信息:
    工具基本信息

    工具函数设置:
    工具函数设置

插件设置好,并发布完成后,即可在智能体应用中选择该插件;


插件使用

在语音流交互模式下,如果需要调用端侧的插件,则大模型会给端侧下发requires_action事件:


requires_action事件

对话的运行状态及说明:


对话的运行状态及说明

端侧执行结果,需要给智能体提交事件类型conversation.chat.submit_tool_outputs,将执行结果告知智能体;


端侧执行结果提交
©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容