生成的本地语音家居场景示意,非实测安装

智能家居本地 AI 怎么用好:语音听准、策略可配,控制不越界

本地 AI 智能家居听不准、控错房间,不能只靠换大模型。结合 Home Assistant、ESP32 语音前端与虚拟配置示例,拆解拾音和中文识别优化、场景参数校验、持久规则变更与敏感动作授权。

“关掉主灯”已经被完整转写,关掉的却是卧室灯;“准备睡觉”偶尔能用,换一种说法就失效;电视里一句命令,又让人担心家里的设备会不会跟着动作。这些问题不能统一归因于语音识别差,也不能靠换一个更大的本地模型一起解决。

改善本地 AI 智能家居,要分别处理声音采集、文字转写、房间与设备匹配,以及动作授权。常用控制保留可预测的入口,开放表达可以交给模型理解,但可执行目标、参数范围和持久规则变更应由模型之外的逻辑约束。本地部署让数据路径更可控,不自动带来更高准确率,更不等于不会误控。

下面以一个假设家庭贯穿说明:客厅和卧室各有主灯,客厅放置 ESP32 语音卫星,Home Assistant 负责设备与脚本,本地主机承担中文 ASR,并可选接入本地 LLM。这是一组配置推演,不是真实客户案例,也没有家庭识别率或延迟实测。

文字都对了,为什么还是关错灯?

定位语音问题,可以从一个简单的对照开始:把同一句话分别从文字入口和麦克风入口送进去。在 Assist 中输入“关闭客厅主灯”也失败,应先查名称、实体暴露、意图和执行路径;文字能成功、同一句口述失败,才进一步检查唤醒、录音与 ASR。文字测试通过不能证明拾音没问题,但可以避免在设备命名错误时反复调麦克风增益。

对一次失败,至少留下转写文字、命中的目标和动作结果。只截取一句“没有听懂”的回复,很难分辨系统到底听错了,还是听懂后找不到对象。Home Assistant 的语音排障入口能帮助检查会话;自动化 trace 则用于核对触发与动作步骤,两者需要对应到同一次请求。Assist 排障说明、自动化 trace 与排障

看到的现象 先核对什么 对应的修改位置
没有进入监听,或电视让设备反复亮灯 唤醒事件、监听时段、电视是否包含近似唤醒词 唤醒模型、门限、设备摆位或按键入口
转写少了“不要”,或把“主灯”写成别的词 实际收到的音频、句首句尾、语言设置 拾音、VAD、ASR 模型与任务配置
转写正确,却选择另一间房 卫星房间、实体名称、别名及暴露清单 区域与实体注册、意图匹配
目标正确,设备没变化 动作 trace、设备连接、状态更新时间 集成与设备执行链
设备已经变化,助手仍说失败 工具返回、状态读取、TTS 是否超时 结果协议与反馈路径

“关掉主灯”的失败不能只用转写正确率衡量。若系统将它原样转成文字,再选中了错误房间,继续提高 ASR 的词级准确性也不会修复目标选择。反过来,ASR 把“不要关主灯”漏成“关主灯”,下游即使完全按规则执行,仍会产生错误动作。因此,否定词、房间名和动作词需要在测试集中单独标注,不能被大量容易识别的句子稀释掉。

中文本地语音,优化顺序比堆模型更重要

先保住完整的人声,再讨论降噪

客厅拾音的首要问题通常不是“模型参数不够多”,而是目标人声与电视、风扇、扬声器混在一起。先固定卫星位置、人与设备距离以及说话方向,分别试听安静、电视播放、设备自身播报三种录音。记录是否削波、有没有丢掉句首、否定词是否被截断,再改变一个参数。如果每轮都同时换模型、调增益和移动设备,最后很难知道哪项修改有效。

客厅电视与语音卫星位置示意,照片为生成场景,不代表实测家庭

示意场景:电视声和设备摆位都可能改变麦克风收到的音频;这不是声学测试结果。

设备自己播报时识别变差,需要区分回声消除 AEC与普通降噪。AEC 利用本机播放参考信号处理扬声器回声;ESP-SR 的 AFE 输入格式明确区分麦克风通道与播放参考通道。没有正确的参考、通道与时序,不能因为程序里开启了 AEC 就认为可以边播边听。独立电视的声音也不能直接当成本机已知的播放参考,不能指望同一项开关清除所有背景人声。Espressif AFE 输入与算法说明

按 ESPHome 2026.10.2 文档,voice_assistant 提供 noise_suppression_level、auto_gain 和 volume_multiplier 等参数,但它们不等于已经接好了 ESP-SR 的播放参考链。应按实际固件实现核对处理发生在哪里。提高增益会同时放大背景,降噪过强也可能损失弱人声;不存在适合所有麦克风和房间的“最佳三参数”。ESPHome Voice Assistant 参数

VAD 决定何时开始或结束一段人声。结束判定过早可能截掉慢速说话者的后半句,过晚则增加等待并夹入电视内容。针对老人停顿、童声和短句,应保留单独样本。若硬件暂时无法可靠地边播边听,先采用播报期间暂停接收、播报结束再监听的交互,代价是不能自然打断,但比把自己的回答再次识别成命令更可控。更底层的缓冲和网络排障可以另读ESPHome 语音卫星卡顿与时延优化。

“本地识别”不是同一种能力

Home Assistant 的本地语音文档区分 Speech-to-Phrase 与 Whisper:前者围绕已知命令,后者处理更开放的表达。选择时首先核对目标语言,而不是照搬英文演示里的速度。普通话、地方口音、方言、童声和中英文混说是不同条件,某个模型能处理其中一类,不代表已经覆盖其余情况。本地 Assist 组件与语言选择

截至 2026 年 11 月 4 日核对的官方迁移说明,Speech-to-Phrase 原仓库保存至 Kaldi 版 v1.4.3,新实现已迁到 OHF-Voice/apps,识别机制与语言准备状态也有变化;列出的已服务语言中没有中文。不能把 Speech-to-Phrase 当作开箱即用的中文控制默认方案。 后续若出现中文支持,应按实际发布版本及句式覆盖重新验证,而不是继续沿用旧表。Speech-to-Phrase 官方迁移与语言状态

以 Whisper 作为中文候选时,要使用多语言模型,不能选择 .en 英语专用模型;固定中文输入的设备可以比较指定语言与自动判断的差异。中英文混说则另设测试组,不以锁定中文必然更好为前提。任务要保留原语言转写,而不是将设备命令翻译成英文后,再交给只配置了中文名称的控制层。Whisper 模型与语言说明

模型变大后,需要同时观察尾延迟。若 ASR、TTS 和 LLM 共享主机,单独跑一次转写很快,不代表播报、对话或多房间同时使用时依然及时。等待太久可能让用户重复下令,形成执行侧的重复请求。对于“关灯”这样短且高频的任务,转写后走确定性意图、不额外等待 LLM,也是一项可比较的优化,不必把所有命令都绕进聊天模型。

设备名提示、热词或词表只能按实际 ASR 后端支持来设置。Whisper、不同的 Whisper 服务封装和其他中文 ASR 并不共享一套热词接口。提示信息可以辅助识别,但不能当作可靠的否定词保护;把“不要”补丢了,不能让 LLM 根据家庭习惯猜出相反意思再执行。关键动作词缺失或出现相互冲突的解释时,应澄清,而不是自动纠错后控制设备。

两间房都叫“主灯”,名字和上下文怎样配合

假设家中的实体分别为 light.living_main 和 light.bedroom_main。可读名称使用“客厅主灯”“卧室主灯”,分别归入客厅与卧室;两者都可以设置“主灯”这个简短别名。客厅卫星也归入客厅,再测试“关闭客厅主灯”和省略房间的“关闭主灯”。Home Assistant 的别名机制支持实体、区域与楼层,并可结合卫星所在区域进行匹配。实体与区域别名说明

别名解决的是名称与目标的匹配,不等于已经训练了 ASR。 如果录音被转成“关闭竹灯”,添加“主灯”别名不保证转写马上变正确;如果文字已经是“关闭主灯”,但选错房间,则应回头查区域关联、重复名称和实际目标,不应继续调声学参数。

房间上下文也有失效条件:设备搬到卧室但仍登记在客厅,手机发起请求没有同样的房间来源,或同一区域里两个设备都叫主灯。对这些情况,应先用包含完整房间名的表达验证,再决定是否开放省略房间的命令。集成团队若要求“多个候选必须追问”,需要在实际入口验证拒绝与澄清行为,或自行实现候选检查;不能把期望的交互写成所有 Assist 路径的默认保证。

不要为了让“关掉所有灯”更容易命中,就把全屋所有设备和脚本一次性暴露。先暴露少量低风险对象,确认名称、区域和响应,再扩展。实体暴露是进入 Assist 控制面的配置,不是区分客人、孩子或屋主的完整身份权限系统。Assist 实体暴露说明

“准备睡觉”:灵活的是参数,不是任意执行权

一句“准备睡觉”可以包含关客厅主灯、把卧室夜灯调暗等操作。真正需要配置的是:动作对象、目标亮度、哪些条件允许执行,以及执行后怎样反馈。没有必要让模型每次重新决定设备列表,更没有必要给它一个接受任意 entity_id 和任意服务名的通用执行工具。

智能家居本地 AI 怎么用好:语音听准、策略可配,控制不越界:技术流程图 1

图中两种入口是可选路径,不表示现成系统会自动先试固定语句、再转给 LLM;真正允许动作的是脚本里的检查,而不是模型的回答。

这里有两条不同的理解路径。固定表达可以使用 Home Assistant 的自定义语句触发自动化;开放表达可以由本地 LLM 选择已经审核的脚本工具。两条路径可以复用同一脚本,但不会因为写了自定义语句,就自动在 Ollama 会话里生效:当前 Ollama 集成明确不直接集成 sentence triggers,设备控制仍被标为实验性功能。若要做“固定命令优先、失败才询问模型”,必须另行验证所用路由或实现该分流,不能画一条箭头就视为已经具备。自定义语句入口、Ollama 集成限制

一份只操作虚拟状态的配置

先不连接真实灯具。同目录附件 local_voice_policy_lab.yaml 是完整的演练 package,使用两个 helper 表示客厅灯的开关与卧室灯的亮度。策略参数另放:允许开关、访客限制模式和 5–35 的目标亮度。数字是教学场景的设计范围,不是照明标准,也不是模型能力指标。

配置参考 Core 2026.10.4 的脚本、自动化和 package 接口;已做 YAML 解析与静态约束检查,未通过实际 Home Assistant 加载或语音运行验证。具体卫星固件、麦克风、ASR/TTS 权重和模型服务镜像仍需在部署时冻结,这不是一套已经联调通过的软硬件组合。

应先在隔离测试实例备份配置,并将演练文件放入其 packages 目录;在已有 homeassistant: 节点中合并下面一项,不另建重复的顶层节点,也不要把整个 package 粘进自动化编辑器。Home Assistant packages 配置

homeassistant:
  packages: !include_dir_named packages

脚本核心如下。它不接受设备名或动作名参数;两个目标写死,亮度从单独的 helper 读取。完整附件还包括这些 helper 的定义,以及只匹配“准备睡觉演练”“执行睡前灯光演练”的语句入口。

script:
  local_voice_bedtime_lab:
    alias: 睡前灯光演练
    description: 只更新两项虚拟灯光状态,不操作真实设备,不保存或修改策略
    mode: single
    sequence:
      - variables:
          level: "{{ states('input_number.local_voice_night_level') }}"
      - choose:
          - conditions:
              - condition: template
                value_template: >-
                  {{ is_state('input_boolean.local_voice_allow_bedtime', 'on')
                     and is_state('input_boolean.local_voice_guest_mode', 'off')
                     and is_number(level)
                     and 5 <= (level | float(-1)) <= 35
                     and states('input_boolean.lab_living_main') in ['on', 'off']
                     and is_number(states('input_number.lab_bedroom_level')) }}
            sequence:
              - action: input_boolean.turn_off
                target:
                  entity_id: input_boolean.lab_living_main
              - action: input_number.set_value
                target:
                  entity_id: input_number.lab_bedroom_level
                data:
                  value: "{{ level | float }}"
              - variables:
                  result:
                    status: simulated
                    message: 已更新虚拟灯光状态,未操作真实设备
              - stop: 虚拟演练步骤结束
                response_variable: result
        default:
          - variables:
              result:
                status: rejected
                message: 未执行演练,请检查允许开关、访客模式与实体参数状态
          - stop: 策略或状态检查未通过
            response_variable: result

演练初始状态是允许开关关闭、访客限制开启,所以第一次调用应被拒绝。只有测试者主动打开允许开关、关闭访客限制,并保有合法参数与可用虚拟状态,才进入动作分支。使用 is_state(..., 'off') 而不是“不是 on 就通过”,是为了避免把 unknown、unavailable 等状态当作允许。亮度同样先验证是数字,再验证范围,不把解析失败静默替换成一个看似合理的目标。

此处的“访客模式”只是全局限制开关,没有识别出当前说话者是谁。策略 helper 也不应暴露成语音可修改的对象;否则助手可以先关闭限制,再调用脚本。即使在界面隐藏了它,也不代表其他用户无法通过 API 修改:需要真正按用户隔离策略写入时,应核对部署的权限能力,必要时使用具有独立授权检查的服务,不能把一个面板可见性设置当成权限实现。

脚本用返回数据告诉上层“演练完成”或“拒绝”。完整附件通过直接调用 script.local_voice_bedtime_lab 获取 response_variable,再设置会话回复;不能换成只负责启动脚本的调用方式后,仍假定能拿到相同结果。模型路径还要检查实际工具调用和返回内容,不能以它口头答应“好的”为通过依据。脚本调用与等待、脚本工具与结果反馈

接通语音前,先验证两条入口

把验收配置和日常配置分开保存。记录 Home Assistant Core 版本、会话代理、ASR/TTS 服务版本和脚本文件摘要;之后即使只换一个模型,也重新跑默认拒绝、合法动作和不可用状态三组用例。验收的是这个组合,不是某个组件名称。这样出现回归时,能退回一组明确配置,而不是靠记忆猜上次改了什么。

在测试实例通过配置检查、加载 package 后,先选择 Home Assistant 会话代理,通过文字输入演练语句,检查自动化 trace、脚本返回与两个虚拟状态。固定语句入口不需要 LLM。确认这条路径的允许和拒绝分支后,再接中文 ASR 与麦克风,避免用声学问题掩盖配置错误。

测试 Ollama 路径时,另建助手配置,选择支持工具调用的模型并开启控制;在语音助手暴露设置中只开放演练脚本,不开放三个策略 helper 或其他脚本。实际工具列表仍须在调试界面核查,不能仅凭“我只想开放一个脚本”推断集成不会提供其他工具。输入不同的睡前表达,观察是否调用同一脚本,返回 rejected 后是否如实说明没有动作。如果模型选错工具或忽略返回结果,这条路径就还没通过;可退回固定语句,而不是增加更宽的执行工具。Ollama 控制选项、脚本工具的验证方法

最后接入语音卫星。中文转写、中文会话和中文 TTS 声线分别核对,不能因为 ASR 支持中文,就默认选中的播报模型也支持中文。对演练的判断仍以 trace、返回状态和虚拟实体为准;听见一声中文“已完成”,不算执行证据。

时间、占用和偏好应放在哪里

增加“晚上才允许”时,在执行侧增加时间条件;增加“卧室有人才调灯”时,检查占用实体的可用状态与更新时间,再判断是否满足条件。模型可以理解“别打扰已经睡着的人”,但真正执行什么,应落实为能检查的状态和动作。占用传感器离线时选择跳过、拒绝还是退回手动入口,需要事先确定,不能让模型把缺失数据补成“应该有人”。

睡前亮度可以允许用户在界面调整,但最低和最高范围由配置或独立策略服务持有。若进一步接受“这次调到二十”,工具入口应验证数值类型、单位和范围;界面的滑块范围、字段说明和提示词都不能代替执行侧验证。本例故意不接受外部亮度参数,先把“固定动作、可调配置、明确拒绝”讲清,不把参数工具的额外代码伪装成已经实现。

这份脚本还不是事务。第一步更新客厅虚拟状态后,如果第二步失败,不能宣称所有修改自动撤销;mode: single 也只限制同一时刻的重入,不是跨重试的幂等凭证。连接真实设备时,反馈需要区分“请求已接收”“设备状态已更新”“部分完成”和“结果未知”。助手的成功语句不应比执行侧拿到的证据更强。

特别是动作持续一段时间时,开始前检查一次条件不够。Home Assistant 的条件判断检查的是当时的状态;通过后,状态可能变化。每个关键步骤可再次检查,必要时增加独立停止流程;涉及电热、机械或其他危险对象时,还需要相应设备的持续保护与物理措施。这不是将上面的虚拟实体替换成温控器,就自然补齐的能力。自动化条件的时间语义

“以后都这样”不是另一次调灯命令

“今晚把夜灯调暗”和“以后睡觉都把夜灯调暗”看起来只差几个字,实际跨过了持久化边界。前者是一次动作参数,后者改变未来的行为。若系统把每次对话都变成自动学习的规则,下一次执行时,使用者可能根本不知道设备为什么这样动作。

持久变更应先形成可读提案:修改哪个场景、旧值是什么、新值是什么、影响哪些设备、何时生效。以“睡前亮度从 15 改为 20”为例,确认对象应是这一项明确差异,而不是“允许助手优化家庭”。保存后记录策略版本,先在虚拟状态中演练,再由用户决定是否启用;恢复的是上一版配置,不是已经发生的物理动作。

这里的提案、审批、版本和恢复流程是需要额外设计的变更管理机制,不是本文 YAML 已经实现的功能。初始部署不必急于自动生成和保存规则,可以先让模型解释建议,由具备配置权限的人手动修改。这样少一些“自主性”,但能把临时请求和长期偏好分开,也容易定位是哪一次变更导致行为不同。

电视、访客和模型,分别能越过哪道边界

麦克风知道位置,不代表知道身份

第三个假设场景是电视播放了“打开门锁”,或者访客对客厅卫星说出同样的话。区域上下文只能说明请求来自哪个终端,不能说明是屋主授权。唤醒词不是密码,声纹也不宜单独承担高风险动作授权,更不能把模型根据语气推测的“主人”当作身份。

Home Assistant 文档里的 Acts as user 是让助手代表指定账户行事,并不表示系统识别了正在说话的人。将卫星绑定屋主账户,不能由此推导“访客说话会自动获得访客权限”。如果需要按家庭成员区别待遇,应从真实经过认证的入口建立主体,再核对这个主体可执行的动作;公共麦克风则按低信任入口处理。助手代表用户的含义

本例对敏感设备的处理是:不向语音链暴露,也不把操作藏进一个已暴露的“离家模式”脚本。审计脚本时要沿调用链查看它实际能触达哪些服务、设备和子脚本。隐藏门锁实体,却暴露一个内部会开锁的脚本,并没有消除语音开锁路径。实体清单和脚本实际动作范围必须分别核查。

二次确认不能只是再听见一句“是”

同一麦克风里的“确认”仍可能来自电视、录音或访客。对于确有必要开放的敏感动作,可考虑要求已认证的手机或其他可信入口展示具体目标与参数,并在短时间内确认。确认只绑定这次动作,不授权整个会话,也不允许模型把它替换成另一个目标。

若开发独立授权服务,票据至少应绑定主体、动作、目标、参数、有效期和一次性标识;执行前再次校验权限与状态,重复提交或过期票据拒绝。这是额外工程设计,Home Assistant 默认脚本不因为包含一个“确认”布尔值,就具备这种抗重放能力。没有部署并验证这层机制前,保留敏感动作只走人工可信入口,比给模型一段“谨慎操作”的系统提示更诚实。

模型还可能遇到从设备名称、外部文本或检索内容带来的指令。提示词可以指导它忽略这些内容,但真正限制动作的是可调用工具及其后端校验。不要向家居助手提供通用 shell、任意 HTTP、任意服务调用、配置文件写入或管理密钥。即使模型误解请求,工具层也不应因此获得新的执行范围。

本地隐私要检查到日志和出网路径

语音和模型都在家里运行,仍要检查容器、插件与集成是否调用外部服务,调试日志有没有保存原始音频、房间状态和转写,备份会不会带走这些数据。“本地 AI”描述的是选定推理环节的位置,不等于整条链没有任何出网、留存或第三方账户依赖。

语音卫星、ASR/TTS、模型服务和控制主机只开放必要连接,推理端口不要直接暴露公网。语音链需要的凭证与管理凭证分开,日志尽量只保留请求标识、结果码、必要时间点及脱敏目标;定位声学问题确需录音时,另行征得同意、限制访问并约定删除时间。家庭成员可以接受语音开灯,不代表已经同意长期保存全部家庭对话。

断网验证也要拆开:外网断开、ASR 服务停止、LLM 服务停止、Home Assistant 停止,影响不同。固定文本意图不依赖 LLM,不代表麦克风在 ASR 停止后还能转写;墙面开关可用,也不代表同样依赖 Home Assistant 的手机界面仍可用。保留的物理入口需要实际核对其依赖,不能只在架构图旁边写“手动兜底”。

怎样证明改进有效,而不是只演示一次成功

建立一组固定任务,覆盖两间房的同名设备、否定表达、慢速停顿、电视背景、设备自身播报、未授权请求与不可用状态。先在文字入口检查目标和策略,再引入录音与实际麦克风;这样能够把识别错误与执行错误分开。真实语料须经过同意并脱敏,不需要为了写一篇文章长期收集家庭对话。

比较前后两版时,保持说话者、位置、噪声、设备音量、任务与统计口径一致,记录模型和配置版本。固定录音回放适合比较同一音频的识别差异,但不能替代真实说话者距离、朝向及声学回路验证。用于调参的句子和用于验收的句子也应分开,避免只对已经见过的说法有效。

分段指标 怎样记录 不能替代什么
唤醒 固定测试时段内的误唤醒次数;应唤醒请求中的漏检数 不能替代转写与控制结果
中文转写 统一标点等规范后的 CER,以及否定词、设备名、房间名错误 CER 低不代表目标选对
意图与目标 在转写正确的样本中,动作、设备与参数是否匹配预期 不能只看回复像不像听懂了
执行 已确认完成、拒绝、错误动作、部分完成和结果未知分别计数 发出请求不等于设备完成
响应 句尾到首个反馈、句尾到状态确认的 p50/p95,附样本数 单次最好成绩不能代表日常体验
退化 各服务分别故障时,哪些入口仍可用、哪些会拒绝 外网断开不代表本地组件不会故障

中文 CER 可以反映整体转写差异,但否定词错误值得单列:一句长请求只错一个“别”,字符错误比例可能不高,动作含义却完全相反。反之,“客厅”被写成近音词后被正确澄清,应归入一次未完成请求,而不是误控。不要把安全拒绝与错误动作混成一个失败率,否则团队可能为了提高“成功率”取消必要的拒绝条件。

演练配置的最低验收应包含:默认状态拒绝;手动启用且退出访客限制后更新两个虚拟状态;重新开启限制后拒绝;目标亮度采用合法范围;状态不可用时不进入动作分支。这里描述的是待在隔离 Home Assistant 实例执行的预期,不是已经取得的结果。越界与不可用状态可在可控测试环境或配置测试中注入,不要对真实设备制造危险条件。

发生误控时,先关闭该脚本的语音暴露和相关语句自动化,保留必要 trace,恢复到文字或人工入口。回退时保留最后一份已验证配置,不同时改动模型、别名和动作脚本。对于真实设备的部分完成,不要盲目重放整个场景;先读取当前状态,再由明确支持补偿的操作决定如何处理。门锁、电热、燃气和生命安全设备不应成为这轮语音排障的试验对象。

一套值得继续扩展的本地语音系统,应当能回答四个具体问题:这句话被转写成什么、为什么选中这个设备、哪条规则允许它执行、最终确认到了什么状态。回答不了其中任何一个,先补这一段的可观察性与约束,再增加更自由的对话能力。这样用户得到的不是一个“更会说”的设备遥控器,而是一条遇到歧义会停下、参数可以调整、责任边界看得见的控制路径。

如需判断整条语音链应该如何分配本地与云端,可接着阅读Home Assistant Voice 本地、云端与混合链路选型。要把现有语音终端、模型服务和设备控制连接成产品,工作重点是接口、交互、授权及故障验证的联合设计,而不只是接通一个模型 API;这也是AI 智能硬件开发需要同时覆盖终端与控制平台的原因。

星野云联微信二维码