“关掉主灯”已经被完整转写,关掉的却是卧室灯;“准备睡觉”偶尔能用,换一种说法就失效;电视里一句命令,又让人担心家里的设备会不会跟着动作。这些问题不能统一归因于语音识别差,也不能靠换一个更大的本地模型一起解决。
改善本地 AI 智能家居,要分别处理声音采集、文字转写、房间与设备匹配,以及动作授权。常用控制保留可预测的入口,开放表达可以交给模型理解,但可执行目标、参数范围和持久规则变更应由模型之外的逻辑约束。本地部署让数据路径更可控,不自动带来更高准确率,更不等于不会误控。
下面以一个假设家庭贯穿说明:客厅和卧室各有主灯,客厅放置 ESP32 语音卫星,Home Assistant 负责设备与脚本,本地主机承担中文 ASR,并可选接入本地 LLM。这是一组配置推演,不是真实客户案例,也没有家庭识别率或延迟实测。
文字都对了,为什么还是关错灯?
定位语音问题,可以从一个简单的对照开始:把同一句话分别从文字入口和麦克风入口送进去。在 Assist 中输入“关闭客厅主灯”也失败,应先查名称、实体暴露、意图和执行路径;文字能成功、同一句口述失败,才进一步检查唤醒、录音与 ASR。文字测试通过不能证明拾音没问题,但可以避免在设备命名错误时反复调麦克风增益。
对一次失败,至少留下转写文字、命中的目标和动作结果。只截取一句“没有听懂”的回复,很难分辨系统到底听错了,还是听懂后找不到对象。Home Assistant 的语音排障入口能帮助检查会话;自动化 trace 则用于核对触发与动作步骤,两者需要对应到同一次请求。Assist 排障说明、自动化 trace 与排障
| 看到的现象 | 先核对什么 | 对应的修改位置 |
|---|---|---|
| 没有进入监听,或电视让设备反复亮灯 | 唤醒事件、监听时段、电视是否包含近似唤醒词 | 唤醒模型、门限、设备摆位或按键入口 |
| 转写少了“不要”,或把“主灯”写成别的词 | 实际收到的音频、句首句尾、语言设置 | 拾音、VAD、ASR 模型与任务配置 |
| 转写正确,却选择另一间房 | 卫星房间、实体名称、别名及暴露清单 | 区域与实体注册、意图匹配 |
| 目标正确,设备没变化 | 动作 trace、设备连接、状态更新时间 | 集成与设备执行链 |
| 设备已经变化,助手仍说失败 | 工具返回、状态读取、TTS 是否超时 | 结果协议与反馈路径 |
“关掉主灯”的失败不能只用转写正确率衡量。若系统将它原样转成文字,再选中了错误房间,继续提高 ASR 的词级准确性也不会修复目标选择。反过来,ASR 把“不要关主灯”漏成“关主灯”,下游即使完全按规则执行,仍会产生错误动作。因此,否定词、房间名和动作词需要在测试集中单独标注,不能被大量容易识别的句子稀释掉。
中文本地语音,优化顺序比堆模型更重要
先保住完整的人声,再讨论降噪
客厅拾音的首要问题通常不是“模型参数不够多”,而是目标人声与电视、风扇、扬声器混在一起。先固定卫星位置、人与设备距离以及说话方向,分别试听安静、电视播放、设备自身播报三种录音。记录是否削波、有没有丢掉句首、否定词是否被截断,再改变一个参数。如果每轮都同时换模型、调增益和移动设备,最后很难知道哪项修改有效。

示意场景:电视声和设备摆位都可能改变麦克风收到的音频;这不是声学测试结果。
设备自己播报时识别变差,需要区分回声消除 AEC与普通降噪。AEC 利用本机播放参考信号处理扬声器回声;ESP-SR 的 AFE 输入格式明确区分麦克风通道与播放参考通道。没有正确的参考、通道与时序,不能因为程序里开启了 AEC 就认为可以边播边听。独立电视的声音也不能直接当成本机已知的播放参考,不能指望同一项开关清除所有背景人声。Espressif AFE 输入与算法说明
按 ESPHome 2026.10.2 文档,voice_assistant 提供 noise_suppression_level、auto_gain 和 volume_multiplier 等参数,但它们不等于已经接好了 ESP-SR 的播放参考链。应按实际固件实现核对处理发生在哪里。提高增益会同时放大背景,降噪过强也可能损失弱人声;不存在适合所有麦克风和房间的“最佳三参数”。ESPHome Voice Assistant 参数
VAD 决定何时开始或结束一段人声。结束判定过早可能截掉慢速说话者的后半句,过晚则增加等待并夹入电视内容。针对老人停顿、童声和短句,应保留单独样本。若硬件暂时无法可靠地边播边听,先采用播报期间暂停接收、播报结束再监听的交互,代价是不能自然打断,但比把自己的回答再次识别成命令更可控。更底层的缓冲和网络排障可以另读ESPHome 语音卫星卡顿与时延优化。
“本地识别”不是同一种能力
Home Assistant 的本地语音文档区分 Speech-to-Phrase 与 Whisper:前者围绕已知命令,后者处理更开放的表达。选择时首先核对目标语言,而不是照搬英文演示里的速度。普通话、地方口音、方言、童声和中英文混说是不同条件,某个模型能处理其中一类,不代表已经覆盖其余情况。本地 Assist 组件与语言选择
截至 2026 年 11 月 4 日核对的官方迁移说明,Speech-to-Phrase 原仓库保存至 Kaldi 版 v1.4.3,新实现已迁到 OHF-Voice/apps,识别机制与语言准备状态也有变化;列出的已服务语言中没有中文。不能把 Speech-to-Phrase 当作开箱即用的中文控制默认方案。 后续若出现中文支持,应按实际发布版本及句式覆盖重新验证,而不是继续沿用旧表。Speech-to-Phrase 官方迁移与语言状态
以 Whisper 作为中文候选时,要使用多语言模型,不能选择 .en 英语专用模型;固定中文输入的设备可以比较指定语言与自动判断的差异。中英文混说则另设测试组,不以锁定中文必然更好为前提。任务要保留原语言转写,而不是将设备命令翻译成英文后,再交给只配置了中文名称的控制层。Whisper 模型与语言说明
模型变大后,需要同时观察尾延迟。若 ASR、TTS 和 LLM 共享主机,单独跑一次转写很快,不代表播报、对话或多房间同时使用时依然及时。等待太久可能让用户重复下令,形成执行侧的重复请求。对于“关灯”这样短且高频的任务,转写后走确定性意图、不额外等待 LLM,也是一项可比较的优化,不必把所有命令都绕进聊天模型。
设备名提示、热词或词表只能按实际 ASR 后端支持来设置。Whisper、不同的 Whisper 服务封装和其他中文 ASR 并不共享一套热词接口。提示信息可以辅助识别,但不能当作可靠的否定词保护;把“不要”补丢了,不能让 LLM 根据家庭习惯猜出相反意思再执行。关键动作词缺失或出现相互冲突的解释时,应澄清,而不是自动纠错后控制设备。
两间房都叫“主灯”,名字和上下文怎样配合
假设家中的实体分别为 light.living_main 和 light.bedroom_main。可读名称使用“客厅主灯”“卧室主灯”,分别归入客厅与卧室;两者都可以设置“主灯”这个简短别名。客厅卫星也归入客厅,再测试“关闭客厅主灯”和省略房间的“关闭主灯”。Home Assistant 的别名机制支持实体、区域与楼层,并可结合卫星所在区域进行匹配。实体与区域别名说明
别名解决的是名称与目标的匹配,不等于已经训练了 ASR。 如果录音被转成“关闭竹灯”,添加“主灯”别名不保证转写马上变正确;如果文字已经是“关闭主灯”,但选错房间,则应回头查区域关联、重复名称和实际目标,不应继续调声学参数。
房间上下文也有失效条件:设备搬到卧室但仍登记在客厅,手机发起请求没有同样的房间来源,或同一区域里两个设备都叫主灯。对这些情况,应先用包含完整房间名的表达验证,再决定是否开放省略房间的命令。集成团队若要求“多个候选必须追问”,需要在实际入口验证拒绝与澄清行为,或自行实现候选检查;不能把期望的交互写成所有 Assist 路径的默认保证。
不要为了让“关掉所有灯”更容易命中,就把全屋所有设备和脚本一次性暴露。先暴露少量低风险对象,确认名称、区域和响应,再扩展。实体暴露是进入 Assist 控制面的配置,不是区分客人、孩子或屋主的完整身份权限系统。Assist 实体暴露说明
“准备睡觉”:灵活的是参数,不是任意执行权
一句“准备睡觉”可以包含关客厅主灯、把卧室夜灯调暗等操作。真正需要配置的是:动作对象、目标亮度、哪些条件允许执行,以及执行后怎样反馈。没有必要让模型每次重新决定设备列表,更没有必要给它一个接受任意 entity_id 和任意服务名的通用执行工具。
图中两种入口是可选路径,不表示现成系统会自动先试固定语句、再转给 LLM;真正允许动作的是脚本里的检查,而不是模型的回答。
这里有两条不同的理解路径。固定表达可以使用 Home Assistant 的自定义语句触发自动化;开放表达可以由本地 LLM 选择已经审核的脚本工具。两条路径可以复用同一脚本,但不会因为写了自定义语句,就自动在 Ollama 会话里生效:当前 Ollama 集成明确不直接集成 sentence triggers,设备控制仍被标为实验性功能。若要做“固定命令优先、失败才询问模型”,必须另行验证所用路由或实现该分流,不能画一条箭头就视为已经具备。自定义语句入口、Ollama 集成限制
一份只操作虚拟状态的配置
先不连接真实灯具。同目录附件 local_voice_policy_lab.yaml 是完整的演练 package,使用两个 helper 表示客厅灯的开关与卧室灯的亮度。策略参数另放:允许开关、访客限制模式和 5–35 的目标亮度。数字是教学场景的设计范围,不是照明标准,也不是模型能力指标。
配置参考 Core 2026.10.4 的脚本、自动化和 package 接口;已做 YAML 解析与静态约束检查,未通过实际 Home Assistant 加载或语音运行验证。具体卫星固件、麦克风、ASR/TTS 权重和模型服务镜像仍需在部署时冻结,这不是一套已经联调通过的软硬件组合。
应先在隔离测试实例备份配置,并将演练文件放入其 packages 目录;在已有 homeassistant: 节点中合并下面一项,不另建重复的顶层节点,也不要把整个 package 粘进自动化编辑器。Home Assistant packages 配置
homeassistant:
packages: !include_dir_named packages
脚本核心如下。它不接受设备名或动作名参数;两个目标写死,亮度从单独的 helper 读取。完整附件还包括这些 helper 的定义,以及只匹配“准备睡觉演练”“执行睡前灯光演练”的语句入口。
script:
local_voice_bedtime_lab:
alias: 睡前灯光演练
description: 只更新两项虚拟灯光状态,不操作真实设备,不保存或修改策略
mode: single
sequence:
- variables:
level: "{{ states('input_number.local_voice_night_level') }}"
- choose:
- conditions:
- condition: template
value_template: >-
{{ is_state('input_boolean.local_voice_allow_bedtime', 'on')
and is_state('input_boolean.local_voice_guest_mode', 'off')
and is_number(level)
and 5 <= (level | float(-1)) <= 35
and states('input_boolean.lab_living_main') in ['on', 'off']
and is_number(states('input_number.lab_bedroom_level')) }}
sequence:
- action: input_boolean.turn_off
target:
entity_id: input_boolean.lab_living_main
- action: input_number.set_value
target:
entity_id: input_number.lab_bedroom_level
data:
value: "{{ level | float }}"
- variables:
result:
status: simulated
message: 已更新虚拟灯光状态,未操作真实设备
- stop: 虚拟演练步骤结束
response_variable: result
default:
- variables:
result:
status: rejected
message: 未执行演练,请检查允许开关、访客模式与实体参数状态
- stop: 策略或状态检查未通过
response_variable: result
演练初始状态是允许开关关闭、访客限制开启,所以第一次调用应被拒绝。只有测试者主动打开允许开关、关闭访客限制,并保有合法参数与可用虚拟状态,才进入动作分支。使用 is_state(..., 'off') 而不是“不是 on 就通过”,是为了避免把 unknown、unavailable 等状态当作允许。亮度同样先验证是数字,再验证范围,不把解析失败静默替换成一个看似合理的目标。
此处的“访客模式”只是全局限制开关,没有识别出当前说话者是谁。策略 helper 也不应暴露成语音可修改的对象;否则助手可以先关闭限制,再调用脚本。即使在界面隐藏了它,也不代表其他用户无法通过 API 修改:需要真正按用户隔离策略写入时,应核对部署的权限能力,必要时使用具有独立授权检查的服务,不能把一个面板可见性设置当成权限实现。
脚本用返回数据告诉上层“演练完成”或“拒绝”。完整附件通过直接调用 script.local_voice_bedtime_lab 获取 response_variable,再设置会话回复;不能换成只负责启动脚本的调用方式后,仍假定能拿到相同结果。模型路径还要检查实际工具调用和返回内容,不能以它口头答应“好的”为通过依据。脚本调用与等待、脚本工具与结果反馈
接通语音前,先验证两条入口
把验收配置和日常配置分开保存。记录 Home Assistant Core 版本、会话代理、ASR/TTS 服务版本和脚本文件摘要;之后即使只换一个模型,也重新跑默认拒绝、合法动作和不可用状态三组用例。验收的是这个组合,不是某个组件名称。这样出现回归时,能退回一组明确配置,而不是靠记忆猜上次改了什么。
在测试实例通过配置检查、加载 package 后,先选择 Home Assistant 会话代理,通过文字输入演练语句,检查自动化 trace、脚本返回与两个虚拟状态。固定语句入口不需要 LLM。确认这条路径的允许和拒绝分支后,再接中文 ASR 与麦克风,避免用声学问题掩盖配置错误。
测试 Ollama 路径时,另建助手配置,选择支持工具调用的模型并开启控制;在语音助手暴露设置中只开放演练脚本,不开放三个策略 helper 或其他脚本。实际工具列表仍须在调试界面核查,不能仅凭“我只想开放一个脚本”推断集成不会提供其他工具。输入不同的睡前表达,观察是否调用同一脚本,返回 rejected 后是否如实说明没有动作。如果模型选错工具或忽略返回结果,这条路径就还没通过;可退回固定语句,而不是增加更宽的执行工具。Ollama 控制选项、脚本工具的验证方法
最后接入语音卫星。中文转写、中文会话和中文 TTS 声线分别核对,不能因为 ASR 支持中文,就默认选中的播报模型也支持中文。对演练的判断仍以 trace、返回状态和虚拟实体为准;听见一声中文“已完成”,不算执行证据。
时间、占用和偏好应放在哪里
增加“晚上才允许”时,在执行侧增加时间条件;增加“卧室有人才调灯”时,检查占用实体的可用状态与更新时间,再判断是否满足条件。模型可以理解“别打扰已经睡着的人”,但真正执行什么,应落实为能检查的状态和动作。占用传感器离线时选择跳过、拒绝还是退回手动入口,需要事先确定,不能让模型把缺失数据补成“应该有人”。
睡前亮度可以允许用户在界面调整,但最低和最高范围由配置或独立策略服务持有。若进一步接受“这次调到二十”,工具入口应验证数值类型、单位和范围;界面的滑块范围、字段说明和提示词都不能代替执行侧验证。本例故意不接受外部亮度参数,先把“固定动作、可调配置、明确拒绝”讲清,不把参数工具的额外代码伪装成已经实现。
这份脚本还不是事务。第一步更新客厅虚拟状态后,如果第二步失败,不能宣称所有修改自动撤销;mode: single 也只限制同一时刻的重入,不是跨重试的幂等凭证。连接真实设备时,反馈需要区分“请求已接收”“设备状态已更新”“部分完成”和“结果未知”。助手的成功语句不应比执行侧拿到的证据更强。
特别是动作持续一段时间时,开始前检查一次条件不够。Home Assistant 的条件判断检查的是当时的状态;通过后,状态可能变化。每个关键步骤可再次检查,必要时增加独立停止流程;涉及电热、机械或其他危险对象时,还需要相应设备的持续保护与物理措施。这不是将上面的虚拟实体替换成温控器,就自然补齐的能力。自动化条件的时间语义
“以后都这样”不是另一次调灯命令
“今晚把夜灯调暗”和“以后睡觉都把夜灯调暗”看起来只差几个字,实际跨过了持久化边界。前者是一次动作参数,后者改变未来的行为。若系统把每次对话都变成自动学习的规则,下一次执行时,使用者可能根本不知道设备为什么这样动作。
持久变更应先形成可读提案:修改哪个场景、旧值是什么、新值是什么、影响哪些设备、何时生效。以“睡前亮度从 15 改为 20”为例,确认对象应是这一项明确差异,而不是“允许助手优化家庭”。保存后记录策略版本,先在虚拟状态中演练,再由用户决定是否启用;恢复的是上一版配置,不是已经发生的物理动作。
这里的提案、审批、版本和恢复流程是需要额外设计的变更管理机制,不是本文 YAML 已经实现的功能。初始部署不必急于自动生成和保存规则,可以先让模型解释建议,由具备配置权限的人手动修改。这样少一些“自主性”,但能把临时请求和长期偏好分开,也容易定位是哪一次变更导致行为不同。
电视、访客和模型,分别能越过哪道边界
麦克风知道位置,不代表知道身份
第三个假设场景是电视播放了“打开门锁”,或者访客对客厅卫星说出同样的话。区域上下文只能说明请求来自哪个终端,不能说明是屋主授权。唤醒词不是密码,声纹也不宜单独承担高风险动作授权,更不能把模型根据语气推测的“主人”当作身份。
Home Assistant 文档里的 Acts as user 是让助手代表指定账户行事,并不表示系统识别了正在说话的人。将卫星绑定屋主账户,不能由此推导“访客说话会自动获得访客权限”。如果需要按家庭成员区别待遇,应从真实经过认证的入口建立主体,再核对这个主体可执行的动作;公共麦克风则按低信任入口处理。助手代表用户的含义
本例对敏感设备的处理是:不向语音链暴露,也不把操作藏进一个已暴露的“离家模式”脚本。审计脚本时要沿调用链查看它实际能触达哪些服务、设备和子脚本。隐藏门锁实体,却暴露一个内部会开锁的脚本,并没有消除语音开锁路径。实体清单和脚本实际动作范围必须分别核查。
二次确认不能只是再听见一句“是”
同一麦克风里的“确认”仍可能来自电视、录音或访客。对于确有必要开放的敏感动作,可考虑要求已认证的手机或其他可信入口展示具体目标与参数,并在短时间内确认。确认只绑定这次动作,不授权整个会话,也不允许模型把它替换成另一个目标。
若开发独立授权服务,票据至少应绑定主体、动作、目标、参数、有效期和一次性标识;执行前再次校验权限与状态,重复提交或过期票据拒绝。这是额外工程设计,Home Assistant 默认脚本不因为包含一个“确认”布尔值,就具备这种抗重放能力。没有部署并验证这层机制前,保留敏感动作只走人工可信入口,比给模型一段“谨慎操作”的系统提示更诚实。
模型还可能遇到从设备名称、外部文本或检索内容带来的指令。提示词可以指导它忽略这些内容,但真正限制动作的是可调用工具及其后端校验。不要向家居助手提供通用 shell、任意 HTTP、任意服务调用、配置文件写入或管理密钥。即使模型误解请求,工具层也不应因此获得新的执行范围。
本地隐私要检查到日志和出网路径
语音和模型都在家里运行,仍要检查容器、插件与集成是否调用外部服务,调试日志有没有保存原始音频、房间状态和转写,备份会不会带走这些数据。“本地 AI”描述的是选定推理环节的位置,不等于整条链没有任何出网、留存或第三方账户依赖。
语音卫星、ASR/TTS、模型服务和控制主机只开放必要连接,推理端口不要直接暴露公网。语音链需要的凭证与管理凭证分开,日志尽量只保留请求标识、结果码、必要时间点及脱敏目标;定位声学问题确需录音时,另行征得同意、限制访问并约定删除时间。家庭成员可以接受语音开灯,不代表已经同意长期保存全部家庭对话。
断网验证也要拆开:外网断开、ASR 服务停止、LLM 服务停止、Home Assistant 停止,影响不同。固定文本意图不依赖 LLM,不代表麦克风在 ASR 停止后还能转写;墙面开关可用,也不代表同样依赖 Home Assistant 的手机界面仍可用。保留的物理入口需要实际核对其依赖,不能只在架构图旁边写“手动兜底”。
怎样证明改进有效,而不是只演示一次成功
建立一组固定任务,覆盖两间房的同名设备、否定表达、慢速停顿、电视背景、设备自身播报、未授权请求与不可用状态。先在文字入口检查目标和策略,再引入录音与实际麦克风;这样能够把识别错误与执行错误分开。真实语料须经过同意并脱敏,不需要为了写一篇文章长期收集家庭对话。
比较前后两版时,保持说话者、位置、噪声、设备音量、任务与统计口径一致,记录模型和配置版本。固定录音回放适合比较同一音频的识别差异,但不能替代真实说话者距离、朝向及声学回路验证。用于调参的句子和用于验收的句子也应分开,避免只对已经见过的说法有效。
| 分段指标 | 怎样记录 | 不能替代什么 |
|---|---|---|
| 唤醒 | 固定测试时段内的误唤醒次数;应唤醒请求中的漏检数 | 不能替代转写与控制结果 |
| 中文转写 | 统一标点等规范后的 CER,以及否定词、设备名、房间名错误 | CER 低不代表目标选对 |
| 意图与目标 | 在转写正确的样本中,动作、设备与参数是否匹配预期 | 不能只看回复像不像听懂了 |
| 执行 | 已确认完成、拒绝、错误动作、部分完成和结果未知分别计数 | 发出请求不等于设备完成 |
| 响应 | 句尾到首个反馈、句尾到状态确认的 p50/p95,附样本数 | 单次最好成绩不能代表日常体验 |
| 退化 | 各服务分别故障时,哪些入口仍可用、哪些会拒绝 | 外网断开不代表本地组件不会故障 |
中文 CER 可以反映整体转写差异,但否定词错误值得单列:一句长请求只错一个“别”,字符错误比例可能不高,动作含义却完全相反。反之,“客厅”被写成近音词后被正确澄清,应归入一次未完成请求,而不是误控。不要把安全拒绝与错误动作混成一个失败率,否则团队可能为了提高“成功率”取消必要的拒绝条件。
演练配置的最低验收应包含:默认状态拒绝;手动启用且退出访客限制后更新两个虚拟状态;重新开启限制后拒绝;目标亮度采用合法范围;状态不可用时不进入动作分支。这里描述的是待在隔离 Home Assistant 实例执行的预期,不是已经取得的结果。越界与不可用状态可在可控测试环境或配置测试中注入,不要对真实设备制造危险条件。
发生误控时,先关闭该脚本的语音暴露和相关语句自动化,保留必要 trace,恢复到文字或人工入口。回退时保留最后一份已验证配置,不同时改动模型、别名和动作脚本。对于真实设备的部分完成,不要盲目重放整个场景;先读取当前状态,再由明确支持补偿的操作决定如何处理。门锁、电热、燃气和生命安全设备不应成为这轮语音排障的试验对象。
一套值得继续扩展的本地语音系统,应当能回答四个具体问题:这句话被转写成什么、为什么选中这个设备、哪条规则允许它执行、最终确认到了什么状态。回答不了其中任何一个,先补这一段的可观察性与约束,再增加更自由的对话能力。这样用户得到的不是一个“更会说”的设备遥控器,而是一条遇到歧义会停下、参数可以调整、责任边界看得见的控制路径。
如需判断整条语音链应该如何分配本地与云端,可接着阅读Home Assistant Voice 本地、云端与混合链路选型。要把现有语音终端、模型服务和设备控制连接成产品,工作重点是接口、交互、授权及故障验证的联合设计,而不只是接通一个模型 API;这也是AI 智能硬件开发需要同时覆盖终端与控制平台的原因。