个人案例
- 复读鷄
复读鷄小程序思路: 1. 当用户点击说话的时候开始录音。 2. 录音结束后将录制的数据发送到服务端进行变声,同时通过wx.setStorageSync放入客户端缓存,这样再次点击可以回听自己说的原始声音。 3. 服务端接收到声音文件后,通过ffmpeg将mp3文件转换成wav格式的文件,然后通过soundstretch将wav文件进行变声处理生成新的文件。 4. 配置nginx,将声音文件数据发布出去。 5. 客户端获取到变声之后的数据播放地址,直接播放即可。
2018-09-03 - 智能说
1. 用户使用小程序进行说话 2. 发送语音内容到AIServer 3. AIServer把语音内容发送给百度语音识别 4. 百度语音识别 5. 百度语音识别出文本信息发送回小程序 6. 小程序展现文本信息,然后把文本信息发送给AIServer 7. AIServer把文本内容发送给语义解析平台 8. 语义解析平台有多个,百度Unit,讯飞AIUI,以及腾讯AI(说明:百度Unit只有意图解析系统;讯飞AIUI不仅可以意图解析,而且还提供了部分资源,比如天气,限行和成语等等等等大约30多个资源信息;腾讯AI我主要用了它闲聊,所以意图都无法识别的时候,可以用闲聊的方式进行回复。) 9. 当意图识别出是歌曲的话,就去调用虾米音乐服务查询音乐列表,如果是其他音频资源则可以调用喜马拉雅音频数据。 9.1 如果意图在讯飞AIUI里识别出来,并且带有资源的话,可以直接使用。 9.2 如果是音频资源,就直接把播放数据发送给小程序进行播放,如果是文本信息则需要发送给百度语音合成,把文字合成为语音,这样小程序可以直接播报。 10. 小程序根据返回数据类型进行播报合成语音或者播放资源数据。
2018-09-03