掘金 人工智能 10月08日 12:48
Rokid AR眼镜:解放双手的智能厨房助手
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_guoji1.html

 

本文提出一个利用Rokid AR眼镜打造“厨房小助手”的创意构想,旨在解决烹饪时手忙脚乱、信息获取不便的痛点。通过语音交互、智能语音转述大模型和空间显示技术,用户可以解放双手,在眼前浮现清晰的菜谱步骤、接受语音指导,并实时查看计时器。文章详细阐述了Rokid AR眼镜在语音识别、离线大模型、空间锚定等方面的核心能力如何支撑这一创意,并对比了手机支架的局限性,强调了AR技术在提升烹饪体验、安全性和乐趣方面的价值,最终回归到技术服务生活的本质。

🍳 **解决厨房痛点,提升烹饪体验**:文章指出,厨房是一个高干扰、高风险、高专注需求的场所,烹饪时常面临手湿、需要频繁查看菜谱、信息获取不便等问题。Rokid AR眼镜通过“厨房小助手”的设想,利用语音交互、AR显示等技术,让用户无需动手、低头或分心,即可获得烹饪所需的全部信息,从而提升效率、改善体验并减少安全隐患。

🗣️ **语音交互与智能大模型,实现“有温度”的指导**:Rokid AR眼镜支持离线语音识别,用户可通过语音指令控制菜谱进程。更重要的是,它能接入轻量化本地大语言模型(LLM),实现对用户问题的语义理解和智能回复,而非简单的预设问答。这使得助手能像家人一样提供耐心、口语化且具上下文感知能力的指导,即使在网络信号不佳的厨房也能安全使用。

📍 **空间显示与精准锚定,信息“贴”在真实世界**:利用Rokid的空间计算能力,菜谱步骤、计时器等UI元素可以稳定地锚定在灶台等真实空间位置,不会随头部移动而漂移。这种“抬头即见、稳定不飘”的AR显示方式,确保用户视线自然落点,信息易于获取,极大地增强了AR工具的实用性和沉浸感,尤其适合厨房这种对稳定性和可用性要求极高的场景。

💡 **解放双手,专注操作,内容灵活扩展**:作为穿戴式设备,AR眼镜使双手在烹饪过程中始终保持自由,视线不离灶台,注意力高度集中,天然适合高专注、高风险的操作。同时,该应用的内容来源灵活,可对接公开API、支持用户自定义食谱,未来还可集成图像识别,实现智能推荐,降低了技术门槛,增加了应用价值。

✨ **技术服务生活,AR的实用价值**:文章强调,AR技术的真正价值在于服务日常生活,解决实际问题。Rokid AR眼镜的“厨房小助手”应用,不仅降低了烹饪门槛,提升了厨房安全,增强了烹饪乐趣,还具备适老化潜力。它展示了AR技术如何从“未来科技”走向“日常工具”,让用户在需要专注的时刻,获得更多的从容和便利。

【征文计划】用 Rokid AR 眼镜做“厨房小助手”:让做饭不再手忙脚乱

一、一个被忽视的日常痛点:做饭时,手忙脚乱

现代人越来越愿意下厨,但厨房却是一个“高干扰、高风险、高专注需求”的场所。

我们常常面临这样的困境:

于是,很多人要么放弃复杂菜式,要么在“看手机—擦手—操作—再看手机”之间反复切换,效率低、体验差,甚至存在安全隐患。

有没有一种方式,能让我们不用动手、不用低头、不用分心,就能获得烹饪所需的全部信息?

答案是:有。Rokid AR 眼镜,正好能成为你的“厨房小助手”。


二、我的创意构想:一个悬浮在眼前的智能菜谱助手

想象这样一个场景:

你系上围裙,戴上轻便的 Rokid AR 眼镜,走进厨房。

对着空气说一句:“小助手,开始做番茄牛腩煲。

瞬间,你眼前的视野中浮现出清晰的步骤卡片,位置刚好在灶台前方、视线自然落点处:

🍅 番茄牛腩煲 · 第1步

牛腩切块,冷水下锅,加姜片、料酒,焯水5分钟,捞出冲洗干净。

你一边处理食材,一边抬头就能看到下一步。手上有水?完全没关系。

当你把牛腩放入砂锅后,只需说:“下一步。

AR 界面自动翻页:

🍅 第2步:炒番茄

热锅冷油,放入番茄块,中小火炒至出沙(约3分钟)。

过程中,你不确定“出沙”是什么状态,便问:“怎么判断番茄出沙了?

眼镜立刻用温和的语音回答:“当番茄变软、汁水变浓稠、颜色变深红,就是出沙了。 ” 同时,旁边还浮现出一张参考图。

更贴心的是——当你设定“炖煮1.5小时”后,一个半透明的倒计时圆环会悬浮在砂锅上方,随着时间流逝缓缓收缩。你不用记时间,也不用设手机闹钟。

整个过程,双手始终专注于烹饪,眼睛只看食材和步骤,耳朵接收关键提示——这才是真正的“无感交互”。


三、Rokid 的哪些能力支撑了这个创意?

你可能会问:这听起来很酷,但真的能实现吗?

其实,这个“厨房小助手”并不依赖尚未成熟的新技术,而是巧妙组合 Rokid AR 眼镜已公开的核心能力

1. 语音交互:你说,它听

Rokid 官方 SDK 支持语音唤醒 + 自然语言理解,用户只需说出菜名或指令(如“下一步”“暂停”“查火候”),系统即可响应。更重要的是,它支持离线语音识别,即使厨房网络信号弱,基础功能依然可用。

技术实现要点(面向智能菜谱场景)
void Awake() {    if (!Permission.HasUserAuthorizedPermission("android.permission.RECORD_AUDIO")) {        Permission.RequestUserPermission("android.permission.RECORD_AUDIO");    }}private void InitializeVoiceControl() {    if (!isInitialized) {        ModuleManager.Instance.RegistModule("com.rokid.voicecommand.VoiceCommandHelper", false);        OfflineVoiceModule.Instance.ChangeVoiceCommandLanguage(LANGUAGE.CHINESE);        isInitialized = true;    }}OfflineVoiceModule.Instance.AddInstruct(LANGUAGE.CHINESE, "下一步", "xia yi bu", this.gameObject.name, "OnReceive");OfflineVoiceModule.Instance.AddInstruct(LANGUAGE.CHINESE, "暂停", "zan ting", this.gameObject.name, "OnReceive");OfflineVoiceModule.Instance.AddInstruct(LANGUAGE.CHINESE, "番茄出沙了吗", "fan qie chu sha le ma", this.gameObject.name, "OnReceive");OfflineVoiceModule.Instance.Commit();void OnReceive(string msg) {    switch (msg) {        case "下一步":            ShowNextStep();            break;        case "暂停":            PauseTimer();            break;        case "番茄出沙了吗":            ShowVisualGuide("tomato_cha_sha_reference.png");            Speak("当番茄变软、汁水变浓稠、颜色变深红,就是出沙了。");            break;    }}void OnDestroy() {    OfflineVoiceModule.Instance.ClearAllInstruct();    OfflineVoiceModule.Instance.Commit();}

✅ 优势:无需联网、响应快、指令精准,专为厨房“湿手+噪音”环境优化。

2.智能语音转述大模型:让回答“有温度、有理解”

你可能已经注意到,前面的 OnReceive 示例中,我们用了一句固定文本:“当番茄变软、汁水变浓稠、颜色变深红,就是出沙了。” 但这只是“预设答案”。如果用户问的是:“番茄炒蛋要放糖吗?”“油温几成热最合适?”“这个肉炖多久才嫩?”——我们不可能为每种问题都写死一条指令。

这时,离线语音识别只是“听懂了你”,而智能语音转述大模型,才是“真正听懂了你的心”。

Rokid AR 眼镜支持接入轻量化本地大语言模型(LLM),例如 Qwen-Chat-1.8B 或 Phi-3-mini,这些模型可在边缘设备上高效运行,无需联网,响应时间低于 800ms,完全满足厨房的即时性需求。

我们不是在“查答案”,而是在“对话”。

技术实现升级:从“指令响应”到“语义理解”
private void InitializeLLMVoiceAssistant() {    LLMEngine.Instance.LoadModel("qwen-chat-1.8b.onnx");    LLMEngine.Instance.SetSystemPrompt(        "你是一个耐心、温和的厨房助手,擅长用生活化语言解释烹饪技巧。" +        "回答要简短、口语化,不超过3句话。如果不确定,就说‘我还不太清楚,建议查一下食谱’。"    );}void OnReceive(string msg) {    switch (msg) {        case "下一步":            ShowNextStep();            break;        case "暂停":            PauseTimer();            break;        case "番茄出沙了吗":            ShowVisualGuide("tomato_cha_sha_reference.png");            string response = LLMEngine.Instance.Query("如何判断番茄已经出沙?");            Speak(response);            break;        default:            string generalResponse = LLMEngine.Instance.Query(msg);            Speak(generalResponse);            break;    }}

在LLMEngine.Instance.SetSystemPrompt中我们设置了系统提示词,他的作用简单来说就是:人格设定,给他赋予一个身份,这里我们设置了厨房助手,语音识别触发后的处理逻辑 —— 如果没有“关键词匹配”就调用大模型进行“语义理解” ,使回复的更加智能化。

为什么这很重要?

💡 小贴士:我们使用的是“语音识别 → 语义理解 → 语音合成”三段式流水线。 语音识别(离线)负责听清你说了什么; 大模型负责“思考”你真正想问什么; TTS(Text-to-Speech)负责用温柔女声(或男声)“说”出来—— 这三者在 Rokid SDK 中均已原生支持,只需组合调用,无需额外硬件。

实际体验对比

用户提问传统预设式回答大模型智能回答
“番茄出沙了吗?”“当番茄变软、汁水变浓稠、颜色变深红,就是出沙了。”“你看番茄皮裂开了,汁水变稠,颜色从鲜红变成暗红,就是出沙啦~别急,再炒半分钟。”
“油温几成热?”“油温七成热。”“用筷子戳一下锅边,如果周围冒细密小泡,就是六七成热,适合爆香。要是冒大泡泡,就太热啦!”
“能用鸡胸肉代替牛腩吗?”“不支持该菜谱替换。”“可以哦,但鸡胸肉容易柴,建议先用料酒和淀粉腌15分钟,炖的时候火要小一点,时间也缩短到40分钟。”

这才是真正的“智能助手”——不是数据库,而是懂你、陪你、帮你的人。

3. 空间显示:信息“贴”在真实世界

Rokid 的空间计算能力允许开发者将文字、图标、计时器等 UI 元素锚定在真实空间中的特定位置。这意味着菜谱不会漂浮乱动,而是稳定显示在灶台前方,无论你左右移动头部,内容始终处于视野舒适区。

如何用 AR Plane Manager 把菜谱“贴”到灶台上?

整个过程可分为三步:开启检测 → 识别灶台 → 锚定内容。

第一步:开启平面检测(只关注水平面)

厨房中干扰较多(锅具、调料瓶等),为提高效率和准确性,我们只需检测水平面:

ARPlaneManager.Instance.SetPlaneDetectMode(PlaneDetectMode.Horizontal);ARPlaneManager.Instance.OpenPlaneTracker();

💡 为什么选水平面? 灶台、料理台、水槽台面都是典型的水平面,且高度适中(通常离地 80–90cm),是放置虚拟菜谱的理想“画布”。

第二步:监听并筛选最合适的灶台平面

系统会持续检测环境中的平面,并通过事件回调通知开发者:

ARPlaneManager.OnPlaneAdded += OnNewPlaneDetected;void OnNewPlaneDetected(ARPlane plane) {    BoundedPlane bp = plane.boundedPlane;    if (bp.planeType != PlaneType.Horizontal) return;    float area = CalculatePlaneArea(bp.boundary3D);    float height = bp.pose.position.y;     if (area > 0.3f && height > 0.7f && height < 1.0f) {        AnchorRecipeToPlane(bp.pose.position);    }}

📌 关键字段解释(来自 BoundedPlane 结构体):

    pose.position:平面中心点的世界坐标(单位:米)pose.rotation:平面的朝向(通常水平面的法向量朝上)boundary3D:平面边界的 3D 顶点数组,可用于判断形状与面积planeTypeHorizontal 表示水平面(如桌面),Vertical 表示垂直面(如墙面)
第三步:将菜谱 UI 锚定到该位置

一旦确定灶台位置,即可将菜谱卡片、倒计时器等 UI 元素作为 3D 对象放置在该坐标附近:

void AnchorRecipeToPlane(Vector3 anchorPosition) {    Vector3 uiPosition = anchorPosition + Vector3.forward * 0.3f + Vector3.up * 0.15f;    recipePanel.transform.position = uiPosition;    recipePanel.transform.LookAt(Camera.main.transform); }

✅ 效果保障: 即使用户左右移动、弯腰或转身,菜谱 UI 会始终“固定”在灶台空间坐标中,不会随头部晃动而漂移——这才是真正的空间锚定(Spatial Anchoring)。


平面检测的生命周期管理

为避免资源浪费或误触发,建议在合适时机关闭平面检测:

void StartCooking() {    ARPlaneManager.Instance.SetPlaneDetectMode(PlaneDetectMode.Horizontal);    ARPlaneManager.Instance.OpenPlaneTracker();    ARPlaneManager.OnPlaneAdded += OnNewPlaneDetected;}void OnRecipeAnchored() {    ARPlaneManager.Instance.ClosePlaneTracker();    ARPlaneManager.OnPlaneAdded -= OnNewPlaneDetected;}void OnDestroy() {    ARPlaneManager.Instance.ClosePlaneTracker();}

为什么这对厨房场景至关重要?

传统 AR 显示ROKID 空间锚定显示
内容随头部移动而漂移内容固定在真实灶台位置
需频繁调整视角找信息抬头即见,视线自然落点
容易因遮挡丢失内容平面持续追踪,稳定性高
体验“虚拟感”强体验“融入感”强,像真实工具

在油污、蒸汽、手忙脚乱的厨房中,稳定性 = 安全性 = 可用性。Rokid 的平面检测能力,正是让 AR 从“玩具”走向“工具”的关键一步。


小结:空间显示 ≠ 悬浮显示,而是“环境感知 + 精准锚定”

通过 AR Plane Manager,开发者可以:

这不仅是技术能力的体现,更是对真实用户场景的深度尊重——毕竟,在厨房里,没人有空去“找”菜谱,它应该就在你最需要的地方,静静等着你。

🔧 开发提示:建议在原型阶段优先使用 Horizontal 模式 + 面积/高度过滤策略,可大幅提升灶台识别准确率。后续可结合用户标定(如语音说“就在这儿显示”)进一步优化定位。

4. 第一视角体验:解放双手,专注操作

与手机、平板不同,AR 眼镜是穿戴式设备。你不需要手持设备,也不会因为低头看屏幕而忽略锅里的变化。

这种“抬头即见、语音即控”的交互方式,天然适合高专注、高风险的操作场景——比如烹饪、维修、实验等。

在厨房中,这意味着:

5. 内容可扩展:菜谱来源灵活

应用本身不需要内置海量菜谱。 它可以:

关键点:这个创意的实现门槛并不高。它不需要训练 AI 模型、不需要改造硬件,只需合理调用 Rokid SDK 提供的语音、显示、空间定位等模块,再设计好用户交互流程即可。


四、为什么这个应用有价值?

也许你会说:“我用手机支架不就行了?”

但体验完全不同:

场景手机支架Rokid AR 厨房助手
手湿/油污时不敢碰,怕弄脏完全无需触碰
需要看锅又看步骤频繁低头抬头,易分心视线自然覆盖锅与步骤
询问细节(如火候)需手动搜索语音提问,即时回答
计时提醒依赖手机闹钟,可能错过倒计时直接悬浮在锅上,视觉+声音双重提醒

更深层的价值在于:


五、结语:技术的意义,在于服务生活

AR 技术常被描绘成“未来科技”“元宇宙入口”,但它的真正价值,或许就藏在这些微小却真实的日常场景里。

Rokid AR 眼镜不是为了炫技,而是为了让人在需要专注的时候,少一分干扰,多一分从容

厨房,正是这样一个地方。

当你不再为“下一步该做什么”而手忙脚乱,

当你能安心地盯着锅里翻滚的汤,

当你笑着对眼镜说“谢谢,这道菜成功了”——

那一刻,技术才真正融入了生活。

而我的“厨房小助手”,或许就是这样一个温暖的开始。

技术文档:ar.rokid.com/

开发文档:ar.rokid.com/doc

Fish AI Reader

Fish AI Reader

AI辅助创作,多种专业模板,深度分析,高质量内容生成。从观点提取到深度思考,FishAI为您提供全方位的创作支持。新版本引入自定义参数,让您的创作更加个性化和精准。

FishAI

FishAI

鱼阅,AI 时代的下一个智能信息助手,助你摆脱信息焦虑

联系邮箱 441953276@qq.com

相关标签

Rokid AR眼镜 厨房助手 智能烹饪 AR应用 语音交互 空间锚定 科技生活 Rokid AR Glasses Kitchen Assistant Smart Cooking AR Application Voice Interaction Spatial Anchoring Tech Life
相关文章