生成的通用桌面语音终端示意,非实物测试证据

ESP32 AI 语音终端里,一句话经过哪些设备与服务

ESP32 能接入大模型语音,不等于整套 AI 都在芯片上运行。以 ESP32-S3 音频板与官方实时语音示例为依据,解释拾音、ASR与实时模型、会话鉴权、播放和工具执行各由谁负责,以及断网后的能力边界。

麦克风收进一句话,扬声器给出回答,中间那段“智能”却未必发生在 ESP32 上。对自定义语音终端,比较实用的分工是:设备照顾声音和交互,模型服务处理开放式理解与生成,产品后端掌握接入资格和业务权限。三者可以部署在不同位置;让音频直接到达模型,并不会让后端的责任消失。

把这件事看成一段声音的旅程,比先选一个大模型名字更有帮助。拾音时已经失真的声音,不能指望后面的文字推理补回来;服务器已经生成的回答,也可能还堵在设备的播放队列里。开发边界切错,最终就会出现固件和后端都显示成功、用户却一直等不到回应的局面。

麦克风交出的,还不是模型需要的声音

先固定一个能指得清的对象:ESP32-S3-Korvo-2 V3.1 音频主板,经 Wi-Fi 接入对话服务,不把屏幕、摄像头和真人通话并入本轮设计。依据是官方硬件指南与官方 ESP-WebRTC 示例;这里核对的是公开设计,不是已经刷机跑通的产品。

这块板的拾音 ADC 为 ES7210,播放侧使用 ES8311,并有专门的回声参考路径。这样的配置决定了固件需要知道输入通道各是什么、哪个信号来自麦克风、哪个来自播放参考。换成一块只有数字麦克风的小板,可以沿用职责划分,却不能直接照搬音频通道配置。

ESP-SR AFE把通道角色写成 M、R、N,分别表示麦克风、播放参考和未使用通道,输入按通道交织。它的示例接口使用 16 kHz、16 位有符号音频。这个格式约束属于 AFE 入口,不代表所有云服务或所有 WebRTC 轨道都必须按相同格式上传;跨到下一个组件时仍需核对转换。

所谓音频前端,处理的是回声、噪声、语音活动等问题。唤醒检测回答“现在是否开始交互”,语音活动检测帮助判断哪一段含有人声,它们都不负责理解一段开放式问题。把这些角色分开,才能解释为什么一个终端能亮起唤醒灯,却仍然听不完整后半句话。

设备也要负责告诉人自己正在做什么。正在监听、正在连接、已经静音和当前离线,不能都用一盏含义模糊的呼吸灯表达。静音入口尤其不应依赖模型先听懂“请不要再听”;设备自身需要执行这个交互承诺,并让状态可见。

语音终端的麦克风、音频开发板与扬声器场景示意

生成的通用硬件场景,不是 Korvo-2 实物照片、接线图或实测证据。

声音离开设备后,有两种不同的旅程

先变成文字,再组织回答

串联式路径把自动语音识别(ASR)、语言模型和语音合成(TTS)拆开:语音先成为文本,文本进入对话与业务逻辑,回答再变成声音。ESP32 可以只做音频端点,以上服务在自建服务器或托管平台运行。“本地部署”在这里也可能指局域网服务器,并不等于 MCU 内部推理。

这条路径的价值是中间结果容易检查。听错了名字,可以先看转写;意思理解对了却选错设备,再查业务映射;文字答案正常但声音异常,才查合成与播放。各组件能分别替换,也意味着你需要自己维持流式片段顺序、轮次关联和错误传播,而不是把三个 API 顺次调用就算完成。

独立转写还会引入取舍:标点或句末判断过早,会把一句话拆成两个请求;等待整句结束,又会改变交互节奏。应该按产品任务确定何时提交,不把“所有音频都必须完整录完再上传”当作串联架构的定义。真正需要保留的是明确的提交边界与能追踪的中间文本。

音频直接进入实时对话模型

另一条路径把输入和输出音频交给支持实时语音的服务,端点通过媒体连接收发声音,并用事件通道交换会话及工具信息。应用不必把独立 ASR、LLM、TTS 都逐个串起来,但声音之外的状态仍然要管理:会话有没有建立、当前回答属于哪轮、用户是否已经退出。

以固定提交的 ESP-WebRTC openai_demo为参照,官方代码提供采集、播放、WebRTC 接入及函数调用的组合示例。源码中的 Opus 媒体处理和自定义信令说明:网络上传的压缩音频、设备内部 PCM 和对话事件是不同对象。不能把送给 I2S 的字节数组原样当成任意模型接口的输入。

实时路径减少了应用层自行拼接多个语音服务的工作,却让产品更依赖服务方的会话与事件语义。转写文本即使可用,也不应被假定为与声音逐字同步的唯一执行依据。需要词级编辑、术语审校或独立替换识别服务时,串联路径仍有价值;需要自然来回交谈时,可评估实时路径,但不能仅凭示例名称承诺更低时延。

ESP32 AI 语音终端里,一句话经过哪些设备与服务:技术流程图 1

实线表示音频或文本处理路径,虚线表示接入与工具提议。两种路径是替代设计,不表示同时启用;业务后端不必转发全部音频。

一轮对话并不等于一条网络连接

网络连接提供运送声音和事件的通道,产品会话还要说明“谁正在和哪台终端交谈”。同一连接里可能有多个输入和回答;重连也可能产生新的服务端会话。若只把设备 MAC 地址写进日志,固件重启前后的事件仍可能混在一起,难以解释为什么旧回答在新一轮开始后才播出。

一种可落地的设计约定是分别保留设备身份、会话标识、轮次标识和回答标识,并定义它们失效的时机。这些是产品建议字段,不是所有厂商都直接提供的协议字段。服务端返回过期轮次的内容时,设备应知道它已失去播放资格;不是只要套接字还开着就一律接收。

同样,取消生成与停止播放是两件事。用户按了停止键,固件可以先停止本地声音,再按所选接口请求取消远端回答;已经到达播放缓存的声音不会因为服务端停止生成而自动消失。完整的双讲和打断算法值得另写,这里先划清谁有责任关闭哪一段工作。

这种分层也影响错误提示。鉴权失败应结束接入并给出恢复入口,不能继续显示“正在思考”;没有收到音频与没有找到合适的回答,也不应合并成一个“网络异常”。把这些结果留在各自的边界上,产品团队才有办法决定重连、重试、重新录入还是直接结束本轮。

后端不一定转发声音,但必须掌握资格

“ESP32 直连模型”可以表示媒体不经过自有服务器,不应表示把长期服务密钥交给所有售出的设备。核对日的OpenAI WebRTC 文档提供服务端创建短期客户端凭据、客户端据此建立连接的方式。把这种模式用于硬件产品时,还需在自有入口验证设备资格、限制签发频率,并考虑失窃设备的吊销。

这里要特别分清官方演示和产品架构。上述 Espressif 示例使用配置的 API key 请求短期 token,再建立会话;出现了短期 token,不代表长期 key 已经不在设备一侧。量产设计应重新安排签发位置,或选择由受控后端建立会话的接口,而不是只把演示的配置值换成公司密钥。

模型提出函数调用时,后端还有第二项工作:把提议变成受控的业务请求。函数名和参数合法,只能说明格式可解析;它不能证明当前设备、当前用户有权执行动作。身份、资源范围、参数边界和结果回读应在业务执行侧决定,模型说“已完成”也不能替代实际结果。

并非所有语音终端都需要远程控制。知识问答设备可以不提供执行工具,从而缩小权限面;需要查订单或改设备状态时,再加入相应接口与访问规则。让一个用于演示灯光控制的函数获得所有业务能力,会把原本清晰的对话端点变成难以约束的管理入口。

把等待拆开,才知道该升级哪里

用户感受到的等待包含声音采集、提交判断、传输、服务处理,以及返回后的缓冲和实际播放。给模型换版本,只会影响其中一部分。接口收到首个音频包,也不等于扬声器已经发出首个可听见的音节;评估时要分别记录这些时刻,不能拿服务器日志替代用户端体验。

缓冲的代价尤其容易被藏起来。更大的播放队列可以吸收部分抖动,也让停止操作之后还没播放的声音更多;缓存和编解码又与 TLS、网络及音频任务争用设备资源。需要在目标固件上测量并发余量,而不是仅看模组标称 PSRAM 容量就认定足够。

服务预算也不是只有每句回答的费用。接入凭据签发、并发会话、音频传输、日志保留和故障排查都归产品承担。原始声音与转写可能含有私密内容,记录轮次耗时和脱敏错误通常比默认永久保存全部录音更合适;需要录音排障时,应另行规定授权、访问与保留期限。

如果这些成本超出产品承受范围,不妨缩小功能。只需要固定指令的设备,可评估 ESP-SR 的离线 MultiNet 命令识别,而不必为每个动作建立开放式对话。这与“任意问题都能离线回答”是两种产品承诺。

断网后,这个终端还承诺什么

联网对话不可用时,终端仍应能静音、停止播放并说明当前离线;至于还能否识别命令,取决于固件是否真正装载了相应的本地模型和映射。不能因为采购单写了 ESP32-S3,就把联网问答的宣传文案继续套在断网模式上。

一个有用的开发边界是先交付闭合的一轮:听取授权输入,获得可归属的回答,实际播出,再清楚结束。随后分别验证凭据失效、服务无响应、退出时仍有音频到达和断网恢复。这里列的是应验证的场景,不是本方案已经取得的测试结果,也不替代真人对讲的通话系统设计。

这篇采用 Korvo-2 V3.1、ESP-WebRTC 固定源码提交和核验日的公开接口作架构说明;示例 README 的 ESP-IDF 5.4 入口不是本项目验证过的版本锁。落到具体板子,还需要冻结板级配置、组件依赖与模型服务参数,完成编译、声学、网络和长时间运行测试,才可以承诺响应速度与稳定性。

芯片组合尚未确定时,可先看ESP32 各系列在产品中的职责;已有产品要联合安排固件、后端与交互范围时,ESP32 开发服务可以作为需求拆分入口。开发范围应落到哪段声音、哪轮会话、哪项权限由谁负责,而不是只写一句“接入 AI”。

星野云联微信二维码