Skip to content

About

轮式陪伴机器狗的公开作品集:整机架构、实机视频、硬件样件、工作原理、分项验收记录。

Topics

Resources

Stars

0 stars

Watchers

0 watching

Forks

Latest commit

 

History

2 Commits

Folders and files

NameName
Last commit message
Last commit date
 
 
 
 
 
 
 
 

Repository files navigation

CompanionDog 轮式陪伴机器人。陪伴,有了形状。一只会用眼神、声音和小表情回应你的轮式机器狗,从硬件选型、三块控制板的软件到 iPhone App 和角色视觉,由我独立完成。关键数字:7 轮语音问答实测、11 类情绪表情、6 个蓝牙日常场景、3 块控制板分工。右侧是外观概念渲染图。

实拍与验收记录 · 原理与技术细节 · English

RK3566 ESP32-S3 ×2 人脸检测与识别 本地唤醒与听写 云端对话 SwiftUI + 蓝牙 WebRTC

现在的样子

实拍循环:手指触碰表情屏,小狗闭眼笑并冒出音符;睡着时被摸醒后睁开眼睛
表情屏单板实拍 · 原速 · 摸一下会笑,睡着时被摸醒 看三段完整原片 →

进度一览

✅ 实机验证 🧪 台架或独立原型 🚧 尚未验证 · 每一项都能在验收记录里按编号找到原始说明。

能力 验证到哪一步 记录
✅ 表情与触摸 11 类情绪动作;触摸触发、定向注视,动作结束后回到待机 E01
✅ 眼神跟随 双板实测:左、中、右持续注视;人离开后休眠,回来后恢复 E10
✅ 认出主人 单主人登记、识别、删除、重新登记;经同意的陌生人测试返回“未知” E08
✅ 语音问答 7 轮完整问答;录音、等待回答、合成、播放四个阶段均可取消 E03
✅ 唤醒与打断 叫“小狗”唤醒;短时间内可直接接话;摸屏停止播报 E09
✅ 记住喜好 经授权整理喜好笔记,之后在相关对话中正确提起 E07
✅ iPhone 连接 真机蓝牙收发与重连;自动连接、重开恢复、手动暂停等 6 个日常场景 E05 E06
🧪 双轮转速控制 两只临时轮离地运转并停车;落地行驶、载重、制动距离未测 E02
🧪 远程看画面 iPad 浏览器在 Wi-Fi 和热点下看到实时画面,刷新后能重连;尚未接入 App E11
🚧 整机 装配与供电、头部俯仰、耳尾动作、落地转向、避障防跌、长时间运行 —

它怎样回应你

实拍分镜:摸一下,它会笑,然后自己回到待机。四格依次是待机(00:02.4)、手指触碰(00:03.3)、闭眼笑并冒出音符(00:04.6)、回到待机(00:06.7),取自 2026-08-03 验收录像,验收记录 E01

和主板连在一起时,触摸还会传回主板,所以小狗说话时摸一下屏幕,它就会停下来(E09)。

眼神跟随示意图:你走到哪,它就看向哪。摄像头画面里的人脸分别在左、中、右时,表情屏上的眼睛分别看向左、前、右;屏幕画面取自角色表情素材,瞳孔位置为合成,实测见 E10

两块板一起实测过:左、中、右持续注视,人离开后休眠,回来后恢复(E10)。眼神转动是屏幕动画,不需要机械头部。

认出主人示意图:先登记一次,以后就认得你。左边是由点阵组成的面部示意,标出人脸检测与面部关键点;右边三步:登记时提取面部特征,特征模板加密保存在设备上并可删除、重新登记,以后看到人脸就与模板比对。结果为“主人”时进入个性化互动,为“未知”时不当作主人。微笑和张嘴只作互动线索,不据此判断心情;只用于陪伴互动,不用于安全认证,未做活体防伪;实测见 E08

跟随一张脸不需要知道对方是谁;认出主人要先登记,只用于陪伴互动,不用于安全认证(E08)。

语音流程图:叫一声“小狗”,到它开口回答。设备上:唤醒、录音听写、播放;云端:等待回答、语音合成。第二到第五步可取消,播放时摸屏即停,播完后短时间内可直接接话;实测见 E03、E09

实机完成 7 轮完整问答,录音、等待回答、合成和播放四个阶段都测过取消(E03);唤醒、短时接话和摸屏停声见 E09。

记忆流程图:过些天再聊,它还记得你喜欢什么。短期记忆:你说“我喜欢爵士乐”,紧接着问“这种音乐常用什么乐器”,它知道“这种音乐”指爵士乐。长期记忆四步:征得同意;在云端整理成喜好笔记,需要联网;按主人分开、加密保存在设备上;相关时只取获准使用的内容。几天后再聊到音乐,它自然提起你喜欢爵士乐。例句为虚构示例,实测见 E07

体验者已确认喜好整理正确,之后也能在相关对话中自然提起(E07);连续换多个话题后能否准确接回,仍在验证。

表情总览:每一种心情,都写在脸上。11 类情绪加一个待机画面:开心、好奇、馋、睡觉、难过、困惑、惊讶、尴尬、期待、灵光一闪、喜欢、待机。这是角色设计稿,不是屏幕实拍;其中开心、睡觉、难过、惊讶、期待、灵光一闪在验收录像里出现过

整机怎样构成

整机构造:头部看高低,车身转左右。在外观概念渲染图上标出 01 摄像头、02 触摸表情屏、03 只做俯仰的颈部、04 双轮差速底盘;外观图为概念渲染,非实物照片

三板分工架构图:主板 KICKPI K11C(RK3566)接收摄像头、麦克风和 USB 摄像头输入,向表情板发送注视方向与表情、接收触摸事件,驱动扬声器,连接云服务、iPhone App 和浏览器视频原型;双轮台架上,运动板(ESP32-S3)经 DRV8833 驱动两只 N20 编码电机,编码器反馈实际转速

台架验证示意图:车轮和远程画面,先在台架上单独验证。左边是双轮转速闭环:运动板(ESP32-S3,PI 控制)经 DRV8833 驱动两只 N20 编码电机,编码器反馈实际转速;已测两只临时轮离地运转并停车,未测落地行驶、载重和制动距离(E02)。右边是远程画面原型:USB 摄像头取画面,主板 RK3566 做 H.264 硬件编码,经 WebRTC 传到 iPad 浏览器;Wi-Fi 和手机热点下都能看,刷新后能重连,尚未接入 App(E11)

样件实拍:这些器件,已经摆上工作台。六张实拍依次是触摸表情屏(ESP32-S3,2.8 英寸触摸屏)、摄像头模组(MIPI CSI)、DRV8833 双路电机驱动、三只 TowerPro MG90S 舵机(耳尾动作,已购样件)、ESP32-S3 运动控制开发板、USB 摄像头(UVC,远程画面专用)

各器件型号与用途见原理说明,完整样件照片见验收记录。

我做了什么

这是我的个人项目,主要验收集中在 2026 年 8 月至 10 月。

  • 硬件架构与选型: 把工作拆给三块控制板(RK3566 主板 + 两块 ESP32-S3),选定摄像头、电机驱动、编码电机,以及耳尾舵机和感知器件。
  • 端侧视觉与语音: 人脸检测、主人识别和微笑判断;本地唤醒词与中文听写;主板与表情板之间的注视方向和触摸事件通信。
  • 对话与记忆: 接入云端回答和流式语音合成,做到四个阶段都能取消、摸屏即停;长期记忆按主人分开、加密保存。
  • 运动控制: 运动板读取编码器反馈,用 PI 控制让两轮跟上目标转速。
  • iPhone App: 用 SwiftUI 和 CoreBluetooth 实现设备关联、状态查看、自动重连和提醒。
  • 角色与视觉: 萨摩耶角色和表情、App 日间与夜间界面、小院手绘场景。
  • 验证与记录: 每项能力都写清测到哪一步、还没测什么,整理成本仓库的 E01–E11 记录。

设计取舍

  • 用眼神代替转头。 屏幕上的眼睛可以先跟着人走,不必等机械头部做出来;头部只规划俯仰一个方向,左右交给差速底盘带动整个身体。
  • 本地听,云端想。 唤醒和听写在设备上离线完成;生成回答和合成语音交给云端,代价是需要联网,断网恢复还没有测试。
  • 随时能打断。 从录音到播放的每个阶段都能取消,说到一半摸一下屏幕就停,不用等它说完。
  • 记忆先征得同意。 只有开启记忆并同意整理后才保存喜好;记录按主人分开、加密存在设备上。人脸匹配只用于陪伴互动,不用于安全认证。
  • 验收写清边界。 每条结论都标明适用范围。比如车轮只在离地台架上转过,不能据此说整机已经能走。

App 与视觉原型

iPhone App:口袋里的小狗。左边是原生 SwiftUI App 在模拟器中实际运行的首页(E04),中间和右边是日间、夜间界面设计稿

真机蓝牙收发与重连,以及自动连接、重开恢复、手动暂停等 6 个日常场景已验证(E05 E06)。

原型总览:小院里的日常,正在一点点长出来。左边是小院手绘场景;右边九项:天气、联网搜索、提醒、音乐、主动互动、思考气泡六项能力原型,玩球与秋千、情绪符号两项小院动作,以及仍在探索的菜园玩法。最新小院与动作待原生集成,不计入整机验收

查看小院手绘场景原图。最新的小院与动作仍待原生集成和整体验收,菜园玩法还在探索。

下一步

  • 整机: 耳尾舵机、测距和边缘感知器件已选型,头部驱动件与最终电源待定。接下来验证装配与供电、头部和耳尾动作、落地转向、避障防跌,以及整机与 App 联动和长时间运行。
  • App: 把最新小院与动作做进原生 App,把远程画面接进 App。

展示集整理于 2026-11-12,依据截至 2026-10-23 已核实的项目材料。仓库只收录公开说明、造型示意与经过筛选的展示素材;不含固件源码、内部接线、私人样本或部署配置。

About

轮式陪伴机器狗的公开作品集:整机架构、实机视频、硬件样件、工作原理、分项验收记录。

Topics

Resources

Stars

0 stars

Watchers

0 watching

Forks

Releases

Packages

Contributors