设备正在念一段回答,用户说:“等一下。”扬声器停了,下一轮识别里却只剩“下”;或者设备继续说话,把自己的回答当成了用户的新问题。要把这三个字接完整,固件需要同时照顾两件事:从扬声器回声里保住人声,以及让已经排队的旧回答及时退出播放。
把这次插话放慢来看,会比继续调高一个“灵敏度”参数更清楚。下面是一段设计推演,说明对象为 ESP32-S3 与 ESP-SR 固定源码;没有刷机或同步录音结果,也不给出打断成功率。我们就沿着这声“等一下”,看它在哪些地方可能消失。
麦克风里,有两个人在说话
先只听设备的原始录音。扬声器播放的回答会经过机壳、桌面和房间反射,重新进入麦克风;用户在此时开口,录音里便同时有近端人声和播放回声。这就是双讲要处理的混合。简单地在播放期间关掉麦克风,确实可以让设备不再听见自己,也会一起关掉用户的插话入口。
AEC需要另一份线索:此刻送往扬声器的声音。它用这份播放参考估计麦克风中的回声成分,再尽量留下近端语音。参考可以理解为“我正在说什么”,麦克风则是“房间里实际听到了什么”。两者之间还有扬声器、声学传播和采样路径,直接把同一段数字音频相减,无法代表这条路径。
在固定ESP-SR AFE说明中,输入通道以M表示麦克风、R表示播放参考、N表示未使用通道,数据按通道交织。读取音频外设时,应先把槽位和这些角色对上,再把缓冲交给AFE。把空闲槽当成R,程序依然可能持续处理数据,却缺少用来追踪回声的那份声音。
如果播放仍在进行,R却是一串零,应该沿参考线路和缓冲装填查下去。若扬声器本来就静音,R为零可能完全正常;此时关心的是近端人声能否保留。公开的问题235恰好问到了这个情形,但提问本身没有给出可据以保证“输出等于原MIC”的回答。输出还受实际处理链影响,不能据此假定逐样本原样通过。

生成的通用实物关系示意,非指定开发板照片或接线指引。话筒与扬声器的实际布局和回采线路仍须按目标硬件核对。
同一段回答,参考必须跟着真正的播放走
最容易接错的参考点,是从网络刚收到的音频里取一份拷贝。此时音频可能仍是压缩帧,后面还要解码、重采样、调音量和排队。麦克风听到的却是稍后真正播出的声音。如果网络接收线程先跑了一大截,参考也跟着提前,AEC面对的两路数据就很难对应。
官方麦克风设计指南建议参考靠近扬声器侧,并讨论了DA后级、PA前级等取样位置。落实到自己的板子,需要在原理图上找出回采点:数字播放拷贝还是模拟回采,采到了哪些增益与失真,它与麦克风是否共享采样时基。这里没有一条能覆盖所有codec和功放的接线捷径。
先保留麦克风与参考的同步短录音,观察播放开始、静音和音量变化处是否对应。若音量已经改变,参考仍保持旧幅度,应查取样位置与软件增益的关系;若偏移越来越大,则需查两路时钟、重采样和丢帧。固定延迟与持续漂移是两种不同的问题,单次挪动一段缓冲只能修正前者的一部分。
输入幅度也值得在这里看。扬声器过响会让麦克风或回采ADC削顶,失真的部分已经改变了波形。此时继续提高抑制强度,可能把近端语音一起压低。先处理增益、声腔、拾音孔与机械隔离,才有条件评价算法。设计指南还讨论了麦克风远离扬声器与振动源的布局;一块裸板上能用的参数,装进另一种外壳后需要重新确认。
对于AFE链,应按接口查询实际feed帧长与通道数,使用它要求的16kHz有符号16位输入;服务端采用其他采样率时,在边界上安排转换。不要把文章里用于理解的时间片写成库的固定帧长。下游独立AEC接口的缓冲布局也有自己的约定,不能把AFE的交织输入直接当成所有DSP接口通用格式。
例如一组输入槽位是M、N、R,读取代码就要保持每个采样时刻的三槽对应。若误按三个连续单通道数组拼装,原本相邻时刻的麦克风值会被当成不同通道;即使缓冲字节数完全正确,信号含义已经错了。先用可识别的离线样本检查拆装,再接真实采样,可以把数据排列错误与声学效果分开。这是建议的开发方法,尚未在本文硬件上运行。
还要区分“参考取到了”与“参考持续更新”。播放线程被网络等待阻塞,采集线程却反复使用上一块参考时,两路长度看起来仍然匹配,内容却冻结了。给每次采集与参考更新留下递增样本位置,比只打印线程存活更有用:位置应随着实际音频推进,缺块要被显式记录。如何给缺块补静音或重建处理状态,需要按选定库与外设的行为决定,不能悄悄重复旧样本。
扬声器播放本地提示音时也需要这份对应关系。若参考只接远端TTS,而设备又把连接提示音混到同一个扬声器,MIC会听见参考未包含的声音。应先确定最终输出由哪些音源混合,参考覆盖的是混合前还是混合后;对多路扬声器与不同播放通道,也要按实际回声路径检查。否则模型回答时能够插话,提示音响起时却反复误触发,看起来像随机故障,实际上是两个播放入口走了不同的参考路径。
“等”字刚出现时,抑制器在留下什么
只有扬声器讲话时,压低输出中的回声很容易被听成“效果很好”。加入真人插话,问题才完整:处理后的声音需要保住用户的音节,而不仅是变得安静。若远端单讲听起来干净、双讲时用户却忽大忽小,应该把原始MIC、R和AEC输出放在一起听,而不是继续只听静音片段。
本篇冻结的ESP32-S3 AEC头文件分别列出SR、VOIP和FD模式,FD包含低成本与高性能选项;AFE配置头也列有全双工类型。通用入门示例采用的SR配置,可以帮助跑通接口,但产品希望边播边听时,还应核对实际构建选择了哪种处理模式、模型和资源组合。
这个版本的接口还公开了非线性后处理等级。头文件对更激进的回声抑制同时提示了目标音频质量的影响。因此,调参时需要听见“等一下”在双讲中的样子:句首是否还在,元音是否被切碎,音量变化后会不会突然消失。全双工模式名称只能说明一种可选配置,最终效果仍依赖板级参考、机壳和实际处理链。
这里还有一个集成时容易忽略的细节:同一仓库的总体说明和某个包装接口,支持通道的描述可能不同。冻结版本的esp_afe_aec.h对其创建接口注明当前选择首个麦克风与参考通道。使用哪个入口,就按那个入口的约束核对,不能从总体介绍的双麦支持直接推导某个调用会处理全部通道。
若产品资源暂时承受不了持续的采集、处理、编码与播放,可以明确保留按键或唤醒词打断,或者采用半双工交互。代价是用户需要等候或使用特定入口;好处是产品承诺和实现范围一致。仅让录音任务与播放任务同时运行,会留下尚未解决的声学问题。
这项交互选择也会改变ESP32固件开发的工作范围:半双工可以围绕录放切换组织任务,自由插话则需要把采集、参考、检测与播放并发一起纳入设计。需求阶段先约定用户怎样打断,比调通以后再加一个“全双工”选项更容易明确改动面。
比较抑制设置时,安排同一句近端语音分别出现在静音、播放和双讲片段中。近端独讲话音完整、双讲才被削弱,才有理由继续关注回声处理与后处理的相互影响;三个片段都含糊,则应先检查采集增益、话筒位置或输入格式。远端回声剩得少和近端语音保留得好,需要分开评价,否则一条几乎全静音的输出也可能被误判成优秀结果。
固定录音回放适合比较两个配置对同一输入的处理差异,但真实扬声器与机壳产生的回声仍需要实物声学回路。耳机里回放一份干净人声,无法代表设备最大音量时的双讲输入。开发时可以先用离线片段定位数据处理,再回到真实音量、距离和朝向,确认那段近端语音仍能穿过整个链路。两个环节各自回答不同的问题,保存材料时也应分开标识。
如果要计算回声衰减指标,也应先标出只有远端播放的时间区间。在双讲混合区间里,输出还包含应该保留的人声,把全部输出能量都当残余回声,会惩罚正确保留用户的算法。实际产品还要听语音可懂度和后续识别表现;单个能量比无法描述“等”字是否仍可辨。本篇没有这组录音,因此不报告任何分贝改善数字。

概念示意而非录音或性能图:蓝色表示播放成分,橙色表示近端人声,目标是降低回声同时保住人声,不代表可达到图中的抑制效果。
VAD亮起之前,句首已经过去了
假设AEC输出已经能清楚听见“等一下”,上传识别仍然少了“等”。这时应把注意力从声学处理移到语音活动检测:系统可能直到第二个音节才判断“有人开始说话”,然后才启动上送。第一段声音早已流经处理链,却没有进入这一轮请求。
固定版本的VADNet说明明确讨论了算法和连续语音触发条件造成的起始延迟,并提供VAD cache来保留前面的音频。拿到fetch结果时,如果存在缓存,应把它接到当前语音之前,再交给同一次上送。缓存长度按结果字段处理,不硬写成一个默认常数。
举一个纯演算:若应用等到100ms后才开始保存声音,这100ms内的句首就可能被丢掉。它在16kHz采样下对应1600个样本,单通道16位PCM为3200字节。这只是把时间换成样本与存储量,100ms并非本板测得的检测延迟,更不是VAD推荐参数。算式的用途,是帮助检查前滚缓冲到底覆盖了多长的声音。
前滚缓存不能无限加长。过长会增加内存和上传量,也可能把上一次对话尾部带进来;过短则继续截词。需要给缓存标明采样时间与本轮归属,并在开始下一轮时确定拼接点。若编码器接收到的前滚和实时块发生重叠,“等”字也可能被重复上传,表现成识别结果里的重复词。
缓存交给异步上传任务时,还需核对接口返回内存的生命周期。处理任务下一次fetch可能继续工作,上传任务却仍排在网络队列里;不能在没有所有权约定的情况下只传一个裸指针,然后假定数据一直保持原样。可由应用复制到自己管理的有界缓冲,或采用库明确支持的所有权转交方式。前者增加一次拷贝和内存占用,后者要求接口确有相应合同。
VAD判定的是语音活动,无法单凭这一位状态认定说话者就是用户。电视、旁人和残留播放都可能影响触发。自由插话、唤醒词插话和按键打断对应不同的交互选择;应该先确定产品要响应哪一种,再决定怎样利用检测结果。把门限一路调低,只是在同时改变漏检与误触发的取舍。
当插话触发过于频繁,临时把麦克风停掉会同时隐藏误触发和真实插话。更有诊断价值的做法,是保留检测前后的短片段与播放状态,听清它触发的是近端人声、回声还是提示音,再决定改检测条件还是参考输入。涉及真实用户录音时,应取得授权并限定保存范围;样本位置、事件时间等脱敏信息可以长期辅助定位,原始声音则需要单独的访问与删除安排。
用户已被听见,旧回答还有多长的尾巴
现在“等一下”完整进入了新请求,但扬声器还在念上一句。把剩余音频分开看,就能找到这段尾巴:服务端可能仍在生成,网络还有在途数据,设备解码与播放队列存着PCM,外设DMA又持有即将输出的样本。各层手上都有一小段过去的回答。
假设设备播放队列里还剩4800个16kHz单声道样本,即使服务端立刻停止发送,队列本身仍代表300ms的播放时间;9600字节PCM在这里换成了可听见的等待。实际设备可能采用别的采样率,还要加上外设与调度影响,这个数字只说明为何“已发送取消”与耳朵听到静音之间会有间隙。
一条可实现的衔接设计,是确认插话后先阻止旧轮次继续进入播放器,并按外设能力停止或冲刷已有输出;同时向服务端发出它支持的取消。新输入保留前滚语音,新的回答到达后再进入新的播放世代。队列里的块可由应用附带本地世代标记,播放器只接受当前世代;该标记是本篇的设计建议,并非所有语音协议现成提供的字段。
以固定小智WebSocket协议为例,它描述了abort和会话标识,但不能由此承诺取消确认或每个二进制音频帧都有轮次ID。若服务端无法把迟到音频可靠归属,集成方需要补双方契约、在明确的协议边界重新开通道,或采取其他可验证的隔离办法。本地给块换个标签,也不能神奇辨认一份无标识迟到包来自哪轮生成。
播放被停止时,参考路径也要跟着真实输出变化。若扬声器已经静音,参考却继续喂入那段被丢弃的旧回答,前面建立的对应关系又被打破。反过来,DMA仍在输出时提前把R清零,同样会留下回声。停止播放与更新参考应围绕实际输出进度协调,具体方法取决于codec、DMA和回采实现。
清队列的操作还要与生产音频的任务协调。如果先把队列清空,解码任务随后又把手里的旧块入队,尾巴会重新出现。应用可以让播放器的世代变更与入队资格检查形成同一个受控切换:旧块在切换后失去资格,新的输出再被接纳。不要让高优先级音频任务长时间等待网络取消确认;耳朵听到的停止应由本地输出控制及时推进,而服务端确认通过另一条状态继续处理。
定位这声插话,可以在同一时间轴上放四份材料:原始MIC、实际参考、处理后近端音频,以及检测、停止和新轮次的事件。MIC有“等”、处理输出没有,沿AEC与参考查;处理输出有、上送没有,沿VAD缓存和拼接查;新请求完整而旧声音没停,沿输出队列与取消查。每次比较保留同样的播放内容、音量和说话位置,改变一个因素才容易解释差异。这里给的是定位方法,尚无本产品测试结果。
最终值得保住的,是用户那声完整的“等一下”:它在扬声器仍然发声时被留下,在检测确认后连同句首进入新一轮,又让上一轮输出真正安静下来。把这段声音一路接住,模型才有机会回答用户刚刚改变的问题。
若要先看终端、模型与业务后端如何分工,可读一句话经过哪些设备与服务;这里继续深入的是那条链路里一声插话的音频衔接。