电子工程师技术服务社区
公告
登录
|
注册
首页
技术问答
厂商活动
正点原子
板卡试用
资源库
下载
文章
社区首页
文章
DIY智能家居语音助理——语音智控万物
分 享
扫描二维码分享
DIY智能家居语音助理——语音智控万物
esp32
Blynk
语音识别
铁熊
关注
发布时间: 2021-02-18
丨
阅读: 1117
![](https://img-blog.csdnimg.cn/img_convert/a7da76f05be457c0a4c7f2fec6cbba81.png) 本文作者:**默** & **铁熊**。 开源电子平台兴起以来,诞生了不少的创客们,他们用天马行空的想象力,创造出各种新鲜有趣的作品,他们热衷于改变千篇一律的生活,享受科技创造带来的乐趣。其中与我们的生活息息相关的就包括智能家居相关的作品,在这方面国内外大牛们各显神通,纷纷创造出自己独特的智能家居作品,例如智能窗帘、智能宠物投食机、家庭气象站、智能小夜灯等居家必备的实用项目。 我自己也喜欢改造家里的电器,赋予传统家具新鲜的活力,让它们知冷暖,变成真正的生活小帮手。但随着改造或者是创造出的智能家居项目越来越多,他们的控制变得越来越困难:往往需要切换到不同 App 去控制不同的设备,这变得相当繁琐,而且它们之间是相互独立的。那有没有办法使他们有机结合在一起呢? **语音控制**就是一个非常理想的控制方法,我们只需要一句话就可以获取各种传感器的信息,也可以控制各种执行器完成我们的操作。本期教程就教大家打造一个智能家居语音助理,通过语音识别享受智能家居带来的便捷与乐趣。 先来看一下演示视频,对本期教程实现的效果有一个大致的了解。视频中演示了如何用语音控制灯的开关、查询灯的状态以及获取室内温度。 # 作品效果图 可以通过继电器将本项目中的 LED 灯换成普通的灯泡,视觉效果更佳,如下图所示。利用这种方式,我们可以控制的设备就不仅仅是模拟的 LED 灯了,而是智能家居里的各种设备。 ![](https://img-blog.csdnimg.cn/img_convert/0da03df4daaffbb16f914a0c4f6b2de5.png) # 设计思路 下面开始详细讲解程序设计过程,项目框架如下: ![](https://img-blog.csdnimg.cn/img_convert/b8fd97f4b6374b85b16b1fb1ac80c63f.png) 语音助理控制端,我们采用 M5StickC 开发板来编程,因为 M5StickC 开发板集成了电池、麦克风以及屏幕,可以实现方便地实现语音识别,是一个比较理想的测试模块。 智能小灯与传感器受控端,我们采用 ESP8266 结合各种传感器来制作,ESP8266 是一款性价比很高的开发板,性能强大,同时又可以连接 WiFi,接入各种物联网平台。 物联网方面,我们采用 Blynk 物联网框架,因为 Blynk 是一个相对简单实用的物联网平台,拥有丰富的控制组件,仅需少量代码即可完成复杂的物联网开发,又因其具有开放 API,故而可以轻松的集成到种物联网项目或者是自己 DIY 的 App 当中。 # 准备工作 我们使用 Arduino 软件来编写本项目的程序,开发板选择 ESP8266 及 ESP32 类型。至于如何在 Arduino 中配置 ESP8266 及 ESP32 的开发环境,不在本文的介绍范围,请自行查阅相关资料。 要完成本课程的项目,需准备如下材料: - M5StickC 开发板; - ESP8266 开发板; - DHT11 温湿度传感器。 # 电路接线 DHT11 温湿度传感器连接 ESP8266 开发板的 GPIO5 接口。注意视频中使用的开发板与下图不同。视频中采用了一块集成的 ESP8266 开发板,自带 DHT11 温湿度传感器,省去了接线的烦恼。但是掌握了接线原理,使用任何 ESP8266 开发板都是可以的。 ![](https://img-blog.csdnimg.cn/img_convert/f96066180f67fbd28107a1d2dcfa69bc.png) # 语音助理程序设计(控制端) **第一步:获取语音助理项目及授权码** 此处我使用的 Blynk 服务器是国内第三方搭建的免费服务器,地址是:
**blynk.mixly.org**
。 使用 Blynk App 扫描下面的二维码,就可以克隆智能家居助理项目,并且复制 Blynk 授权码备用。(对 Blynk 不熟悉的朋友,可以参考裘炯涛和陈众贤老师编写的《物联网So Easy!》这本书,上面有很多 Blynk 物联网的基础知识及案例,可以帮助大家快速入门。 ![](https://img-blog.csdnimg.cn/img_convert/f8f85c6b9e857cc86908a0edc2496bd8.png) **第二步:获取 M5 语音识别授权码** 我们先去 M5 官方网站(
https://m5stack.com/pages/download
)下载并安装 M5Burner 烧录软件。如下图所示,打开 M5Burner 软件插入 M5StickC 开发板,选择自己的端口号,然后选择 **ATOM** 模块看到 EchoSTT 点击 **Get Token** 获取语音识别授权码,获取到授权码后复制该授权码备用。完成这些步骤之后就可以关闭 M5Burner 软件了。 ![](https://img-blog.csdnimg.cn/img_convert/0a06fb5508ef42e3211c5276387f3390.png)**第三步:修改程序** 使用 Arduino IDE 软件选择本教程附录的 **voice_assistant** 程序并打开(程序下载方法见文末)。主要代码如下: ```cpp // Blynk与联网相关库 #define BLYNK_PRINT Serial #include
#include
#include
// 语音识别相关库 #include
#include
#include "BaiduRest.h" // M5StickC相关库(含TFT彩屏库) #include
#include "image.h" // 图片取模数据 #include "Function_wrapper.h" // 函数封装 // -------------------------- 用户设置开始 ------------------------------ // // -------------------------------------------------------------------- // // WiFi账号与密码 char ssid[] = "********"; char pass[] = "********"; // 语音识别授权码 #define voiceAuth "f008d1c88064c8c38084de074b73b823" // Blynk授权码 char auth[] = "SDzbDasOYxRDYqr7NdZiSIk2VSI52e6b"; // -------------------------------------------------------------------- // // -------------------------- 用户设置结束 ------------------------------ // BaiduRest rest; uint8_t microphonedata0[1024 * 80]; size_t byte_read = 0; int16_t *buffptr; uint32_t data_offset = 0; String speakStr; bool speakFlag = false; String feedback; String Control_instruction; // Blynk反馈信息显示 BLYNK_WRITE(V1) { feedback = param.asStr(); Serial.println(feedback); M5TextDisplay(feedback); } // API指令转接 BLYNK_WRITE(V2) { Control_instruction = param.asStr(); Serial.println(Control_instruction); // 解析虚拟引脚数据 uint8_t Virtual_pin = String(String(Control_instruction).substring(0, 2)).toInt(); String Value = String(Control_instruction).substring(2, String(Control_instruction).length()); // 将解析指令发送到对应解析虚拟引脚触发webhook请求 Blynk.virtualWrite(Virtual_pin, Value); } // M5StickC屏幕显示 void M5TextDisplay(String Text) { M5.Lcd.setRotation(1); M5.Lcd.fillScreen(BLACK); M5.Lcd.setCursor(10, 5); M5.Lcd.writeHzk(utf8togb2312(String(Text).substring(((1 - 1) * 3), (9 * 3)))); M5.Lcd.setCursor(10, 30); M5.Lcd.writeHzk(utf8togb2312(String(Text).substring(((10 - 1) * 3), (18 * 3)))); M5.Lcd.setCursor(10, 55); M5.Lcd.writeHzk(utf8togb2312(String(Text).substring(((19 - 1) * 3), (27 * 3)))); } void setup() { Serial.begin(9600); // M5显示屏初始化 M5.begin(); M5.Lcd.setRotation(0); M5.Lcd.setTextSize(1); M5.Lcd.setTextColor(WHITE, BLACK); M5.Lcd.loadHzk16(); M5.Axp.ScreenBreath(10); M5.Lcd.drawXBitmap(0, 40, network, 80, 80, RED); // 显示WiFi离线图标 // M5按键初始化 pinMode(37, INPUT_PULLUP); // 连接Blynk服务器 Blynk.begin(auth, ssid, pass, "blynk.mixly.org", 8080); // 麦克风初始化 Serial.println("Init microphone"); InitI2SSpeakOrMic(1); delay(100); rest.settoken(voiceAuth); M5.Lcd.drawXBitmap(0, 40, network, 80, 80, GREEN); // 显示WiFi在线图标 M5.Lcd.setRotation(1); } void loop() { // 按下M5按键开始语音识别 if (!digitalRead(37)) { M5.Lcd.setRotation(0); M5.Lcd.fillScreen(BLACK); M5.Lcd.drawXBitmap(0, 17, microphone, 80, 125, GREEN); data_offset = 0; speakFlag = false; // 麦克风开始录音 InitI2SSpeakOrMic(0); while (1) { i2s_read(I2S_NUM_0, (char *)(microphonedata0 + data_offset), 1024, &byte_read, (100 / portTICK_RATE_MS)); data_offset += 1024; // 松开M5按键或超时停止录音 if (digitalRead(37) || data_offset >= 81919) break; } Serial.println("end"); // 提交录音,若果识别成功返回识别文字 if (rest.Pcm2String(microphonedata0, data_offset, DEV_PID_MANDARIN, &speakStr) != -1) { Serial.println("Speech recognition success!"); Serial.println(speakStr); if (speakStr.equals("")) { M5TextDisplay("您没有说话!"); // 未说话反馈显示 } else { Blynk.virtualWrite(V0, speakStr); // 识别语音结果文本发送到Blynk显示 M5TextDisplay(speakStr); // M5屏幕显示语音识别结果文本 } speakFlag = true; } else { Serial.println("Voice recognition failed!"); M5TextDisplay("语音识别失败!"); } } Blynk.run(); } ``` 替换程序中的 WiFi 网络信息、语音识别授权码及 Blynk 授权码。若使用其他 Blynk 服务器,请同时修改程序中的 Blynk 服务器地址。然后在 Arduino IDE 中选择自己的 M5StickC 串口号,开发板选择 ESP32 开发板下的 **M5Stick-C** 开发板。 ![](https://img-blog.csdnimg.cn/img_convert/2ce64978e10904037708d4511ed9d29b.png) Blynk 中的文本显示标签 V0 主要用于调试目的,可以显示语音识别的结果; 文本显示标签 V1 用于反馈状态的显示,当 V1 数据发生改变时,将触发 V1 发送事件,将 V1 数据发送到语音助理进行显示; 指令输入框 V2 用来发送控制指令,指令格式为 `xxXXX`,如 03on,其中 03 为固定两位数字不足位请补 0,该数字代表了语音助理未被使用到虚拟引脚,on 为智能家居有效控制指令。语音助理将指令进行解析,并且拆分为虚拟引脚号 Virtual_pin 及有效控制指令 Value。解析完成后对 Blynk 的虚拟引脚 Virtual_pin 发送控制指令 Value,从而触发 Blynk 的 webhook 组件发送 http 请求,控制其他设备或是获取状态,webhook 组件将在后面进行具体介绍。此处用到了条件控制组件 Eventor Settings,该组件用于判断语音识别的文本是否是特定关键字(例如开灯或关灯之类的关键字),当为特定关键字时,设置指令输入虚拟引脚 V2 的值为相关智能家居的有效控制指令。其工作流程如下图所示: ![](https://img-blog.csdnimg.cn/img_convert/9efcd740ceca3c8e273855906363ecc9.png) # 智能小灯程序设计(受控端) 使用 Blynk App 扫描下面的二维码,克隆智能小灯项目,并且复制 Blynk 授权码备用。 ![](https://img-blog.csdnimg.cn/img_convert/4f9c07708beccc3f54a48a0bcc40413f.png) 受控端智能小屋程序比较简单,直接采用 Mixly 软件进行图形化编程,程序如下: ![](https://img-blog.csdnimg.cn/img_convert/e195ea092ab9e065268a4e0b697afeeb.png) 注意这里有两个授权码,第一个授权码是智能小灯的授权码,第二个是语音助理的桥接授权码。关于 Blynk 桥接知识的讲解,可以参考裘炯涛和陈众贤老师编写的《物联网So Easy!》这本书,上面有很多 Blynk 物联网的基础知识及案例,可以帮助大家快速入门。 程序控制 ESP8266 板载指示灯的亮灭,当虚拟引脚 V0 按钮按下时,将 V0 数据发送到 ESP8266。ESP8266 收到 V0 数据后进行打印并判断:当发送 1 时将 GPIO2 设置为低电平,板载指示灯点亮;当发送 0 时将 GPIO2 设置为高电平,板载指示灯熄灭。 虚拟管脚 V2 用于开放控制指令。当 Blynk 反馈输入框输入控制指令时,ESP8266 接收指令并处理。当发送指令 on 时将板载指示灯状态变量 control 设置为 1,同时将状态发送到 Blynk 刷新按钮状态,桥接虚拟引脚给 M5StickC 语音助理反馈处理信息并显示,其他指令类似分析方法,示例中提供了on、off、Inquire、temperature 四个指令接口,分别用来开灯、关灯、查询状态及查询 DHT11 的温度。当然你还可以添加更多的执行器或者传感器来满足你的控制需求。 # 自定义语音指令 在讲解自定义语音指令设置前,我们先来了解下 Blynk 开放 API、Webhook 组件、Eventor Settings 组件,这将有助于你理解自定义语音指令运行的逻辑是什么。 ## Blynk 开放 API 介绍 Blynk 开放了一些 API,可以让我们更加灵活地访问或者控制 Blynk 物联网项目,这里我仅介绍 Blynk 虚拟引脚的数据修改 API,对于其他 Blynk 开放 API 请参考以下网址进行学习:
https://blynkapi.docs.apiary.io/#reference/0/write-pin-value-via-get/write-pin-value-via-get
Blynk 修改虚拟引脚值的 API 格式为:
http://`
`/`
`/update/`
`?value=`
`
- 其中 `
` 为 Blynk 官方服务器地址,如果使用本地服务器,如本文使用的服务器,请对应设置为
blynk.mixly.org:8080
; - `
` 为被控项目的具体项目授权码,`
` 为控制的虚拟引脚,最后的 `
` 为想要设置的虚拟引脚值。 例如智能小灯项目中,我们使用了虚拟引脚 V1 作为控制指令的输入接口,我们在浏览器中输入:
http://blynk.mixly.org:8080/UDKsGEONVb7UrcafQ7T47SNLt902Wzjb/update/V1?value=on
就可以在 ESP8266 的板载指示灯将被点亮,同时语音助理上面也会显示智能小灯的反馈信息。 通过这个例子,相信你已经简单了解了 Blynk API 是什么了,它可以灵活性应用在很多项目中,将 Blynk 与其他库或组件有机结合到一起。 ## Blynk Webhook 组件介绍 Webhook 组件是 Blynk 的特殊功能组件之一,它能够发送 http 请求,获取网络的各种数据,例如可以用它来获取天气、查询快递等等。 > 只需要知道信息流的 API 就无所不能,例如语音助理就是将录音文件发送到百度 API 进行语音识别,然后返回语音识别结果。理论上来说,通过在线语音合成,我们完全可以将智能家居的反馈文本朗诵出来。 我们来看一下 Webhook 组件的设置界面都有哪些东西。 ![](https://img-blog.csdnimg.cn/img_convert/f1dc7dc0f7a14ba94e23dc1b55c8c4f1.png) Webhook 组件有三个特点: - 第一是**触发方式**。Webhook 组件可以由虚拟引脚的值改变进行触发,虚拟引脚值的改变可以是 APP 改变的,亦可以是硬件端发送的数据变化而改变,其触发限制为 1 秒触发一次,当然你可以通过修改服务器配置来解除此限制; - 第二是**参数提交方式**。你可以将虚拟引脚的值作为参数进行提交,此时将虚拟引脚值用 /pin/ 占位符来代替,例如:
http://blynk.mixly.org:8080/UDKsGEONVb7UrcafQ7T47SNLt902Wzjb/update/V1?value=/pin/
; - 第三是 **Webhook 数据的获取方式**。其获取方式与普通虚拟引脚从 APP 发送到硬件相同。在语音助理这个项目当中我们获取的是字符串类型的数据。 ## Blynk Eventor Settings 组件介绍 Blynk 条件控制组件 Eventor Settings 可以用来使用条件触发动作,其触发条件可以是虚拟引脚的值大于某个值、等于某个值或者是出现特定字符串等,也可以是某个星期几的某个时间点等为条件进行触发。触发后的动作可以设置某个虚拟引脚值、打开某个 GPIO、发送通知邮件、设置组件属性等。 在语音助理这个项目当中我们就是通过判断语音识别文本数据 V0 是否等于某个特定关键词来进行触发的,其触发动作为修改控制指令 V2 的值并发送到语音助理,最后由语音助理解析指令,进而触发 Webhook 组件发送控制请求获得反馈的。具体例子我们见下面的创建语音控制。 ## 创建语音控制 语音控制自定义流程如下,我们按照下面的步骤添加语音指令即可享受语音控制带来的乐趣,对于同一项目你仅需创建条件触发关键词而无需修改 Webhook 组件属性。按教程所示方法制作的物联网项目,一个 Webhook 组件即代表这个物联网项目本身。 ![](https://img-blog.csdnimg.cn/img_convert/9dafc698eb7e852cadec3b434d18f45f.png) ![](https://img-blog.csdnimg.cn/img_convert/ac0b03d82cd3719d73ef42fb89a2f584.png) # 小结 通过本次教程,我们学会了如何使用在线语音识别识别任意语音,M5StickC 的语音识别是基于百度的短句语音识别,其支持语言有普通话、普通话/简单英语、英语、粤语四种模式,本教程使用的是第一种普通话模式,对于其他的语言请参考库文件 BaiduRest 进行相关参数设置。 教程中我们介绍了 Blynk 开放 API 以及 Blynk Webhook 组件的使用方法,教程中的相关技巧或许可以让你对 Blynk 有更深入的了解,Blynk 作为一款快速原型开发的物联网平台,可以轻松的实现我们的各种创意而无需学习复杂的编程知识,相信你通过本教程的知识能够创造出更多有趣的物联网项目。 值得一提的是,在本教程中我们使用按钮去使用语音识别,你完全可以加上语音唤醒以达到更加灵活的使用目的,这将比某爱、某猫控制智能家居来的更加灵活,而且完全可以自定义,如果你想让语音助理能够开口说话不妨试试语音合成吧。 想到即做到,让我们一起捣鼓一起创造吧。 # 代码下载 关注公众号“**铁熊玩创客**”,后台回复“**语音助理**”,就可以获取本次课程的全部源码下载链接。 ![](https://img-blog.csdnimg.cn/img_convert/9cbd3b375b8d48a7065d5a6af5a6d6e2.png)
原创作品,未经权利人授权禁止转载。详情见
转载须知
。
举报文章
点赞
(
0
)
铁熊
关注
评论
(0)
登录后可评论,请
登录
或
注册
相关文章推荐
MK-米客方德推出工业级存储卡
Beetle ESP32 C3 蓝牙数据收发
Beetle ESP32 C3 wifi联网获取实时天气信息
开箱测评Beetle ESP32-C3 (RISC-V芯片)模块
正点原子数控电源DP100测评
DP100试用评测-----开箱+初体验
Beetle ESP32 C3环境搭建
【花雕体验】16 使用Beetle ESP32 C3控制8X32位WS2812硬屏之二
X
你的打赏是对原创作者最大的认可
请选择打赏IC币的数量,一经提交无法退回 !
100IC币
500IC币
1000IC币
自定义
IC币
确定
X
提交成功 ! 谢谢您的支持
返回
我要举报该内容理由
×
广告及垃圾信息
抄袭或未经授权
其它举报理由
请输入您举报的理由(50字以内)
取消
提交