微分享回放 | 从设计到开发,硅谷专家教你做“声控”APP

编者:本文为携程机票研发部技术专家祁一鸣在携程技术微分享中的分享内容,欢迎戳视频观看回放。

【携程技术微分享】是携程技术中心推出的线上公开分享课程,每月1-2期,采用目前最火热的直播形式,邀请携程技术人,面向广大程序猿和技术爱好者,一起探讨最新的技术热点,分享一线实战经验,畅谈精彩技术人生,搭建一个线上的技术分享社区。

祁一鸣,2016年4月加入携程, 任机票研发部技术专家。毕业于美国常春藤名校Dartmouth College本科,曾先后在硅谷的Oracle, Yahoo!和Salesforce总部效力过。从scratch到delivery完成过的最成功的产品是年销售额超1亿美金的商业社区网站模板。平时喜欢吃冰激凌和甜甜圈, 也蛮喜欢上海野兽派的花。

在6月中刚刚结束的2016苹果全球开发者大会上, 人工智能助手Siri又一次成为焦点。Siri Intelligence不仅已被加入到快速输入功能和照片应用中,苹果还将在iOS 10版本中第一次开放Siri SDK给广大开发者们,使用户通过自己的声音与各种iOS APP互动成为可能。

此次让我们在携程技术微分享中先睹为快,看看如何模拟Siri智能来设计并开发一款搜索和试听iTunes音乐的手机App。

分享内容分为上下两部分。上半部分以设计为主,我们将一起了解Siri SDK在iOS10中给用户带来的新功能,回顾了人工智能的发展史,并一起用Sketch和Principle两款工具设计声控音乐APP的页面和交互。

下半部分以开发为主,用Xcode和Objective-C来实现APP页面开发。同时将用一款全新的移动端软件开发工具包资源来做语音识别,将我们想听歌曲的名字从声音转化成文字。之后,通过苹果iTtunes搜索API接口来获取歌名的专辑图片和歌曲试听资源。最后,将这些资源整合在一起,用精细的UI动画效果来开发完成这款声控音乐APP。

一起来体验下自己完整做件产品的快乐吧~

设计部分

将用到的设计工具包括Sketch和Principle。

Sketch (http://sketchapp.com/)是一款专为产品和UI设计师量身定做的设计工具, 它在2015在设计工具中被评为APP of the Year. 比起传统型的photoshop设计工具, Sketch更加轻量灵活,且价格便宜 。

我们先用Sketch绘制声控APP的第一个页面和第二个页面的prototype。 包括用Sketch自带的iOS UI Design 模板添加status bar, 用Sketch自带的绘图工具添加文字Label, 背景形状图案,图片。

之后, 我们在Principle里导入 用Sketch设计的两张页面。Principle是一款实现每个设计页面之间动画衔接的工具。它可以直接importSketch设计稿,在设计稿页面之上添加丰富的动画。 作为一款业界有名的设计动画工具, Principle在硅谷也是被设计师们广泛使用的。

首先我们在Principle里复制一张和设计稿第一页显示一模一样的 Artboard放在第一页之后。 当用户点击第一页中的麦克风图标之后,Principle将自动跳转到第二页,我们对相应的提示文案做修改, 并实现一个新的动画:在第一页点击麦克风后,第二页的麦克风将围绕着图标中心旋转, 以此作为APP正在倾听用户声音的提示。最后,当麦克风旋转的动画结束后,再添加一个自动跳转到第三页的动画,让用户看到搜索到音乐。三个页面的衔接如下图。

实现的动画可以从以下的gif中看到。

至此, 我们用Sketch和 Principle完成了一款“声控”APP的原型prototype以及页面交互设计。主流程是, 用户用手tap麦克风, 麦克风旋转加上页面文案提示 告知用户APP正在倾听用户声音,当APP解析到用户声音并找到相关的歌曲以后, 将跳转到下一页显示歌曲的专辑图片以及播放一段音乐的节选。

开发部分

完成设计之后,我们将更换装备,用Xcode和Objective-C来开发这款 智能音乐APP。我们将使用一款全新的移动端软件开发工具包资源来做语音识别,将我们想听歌曲的名字从声音转化成文字。之后,通过苹果的音乐搜索API接口来获取歌名的专辑图片和歌曲试听资源。

开发完成以后的project结构如下:

首先来介绍 在APP中如何实现 智能识别用户语音的功能。语音识别是人工智能应用广泛的一个领域。在众多已有科技中,我选择了使用Nuance Speech Kit 2 的iOS SDK来实现APP中的功能。SpeechKit的具体使用指南可以在 https://developer.nuance.com/public/Help/DragonMobileSDKReference_iOS/Overview.html中找到。在这个Xcode project中, 我们会用 CocoaPods (https://cocoapods.org/)来维护工程依赖。在Project的目录下, 新建一个名为 Podfile 文件, 然后在Podfile里添加一行

pod'SpeechKit'

保存文件后, 在本地App目录下, 执行命令

pod install

安装成功后,打开 .xcworkspace工程可以直接通过以下的import语句来使用SpeechKit

#import <SpeechKit/SpeechKit.h>

安装成功后, 还需要在Nuance 的官网上注册一个开发者账号, 得到访问服务器的URL地址以及一个APP KEY,在之后调用云端的语音识别服务时会用到。

在下面的代码中, 将SKSServerUrl和SKSAppKey 替换成你账号里显示的数值。 这段代码起到的作用就是建立一个语音识别的session, 然后开始一个transaction去做automatic speech recognition识别手机设备听到的语音:

Transaction成功以后的delegate回调方法里,我们只需获取recognition参数里的最佳text推荐, 它便是对语音识别出最好的文字。

识别了语音之后, 我们接下来要做的便是去获取与识别文字相关的音乐了。苹果自己就有这样的公共接口可以让我们使用。

https://itunes.apple.com/search?term=牛仔很忙

假设我对着APP说出了一首周杰伦的歌 “牛仔很忙”, 那么通过HTTP调用以上的url的发一个GET请求, 苹果就会通过搜索iTunes音乐库里返回所有的与“牛仔很忙”相关的所有音乐数据。

为了使demo的逻辑尽量简单, 我在之前的url里加上一个参数,把返回的结果数量控制在一。

https://itunes.apple.com/search?term=牛仔很忙&limit=1

这样一来,我从仅返回的一首歌的数据里获取关于这首“牛仔很忙”歌曲的专辑图片地址以及试听歌曲地址,再把这些数据拼凑起来,组成一张页面, 就有了我们在设计稿中看到的第三页。

至于每个页面中的动画交互,则是由基本的CABasicAnimation来完成。例如, 麦克风图标的旋转动画的代码如下。

综合涉及的各个点,我们就开发完成了一款智能声控的音乐APP。两张Sketch设计稿, 三张Principle交互页面,便有了这样一款娱乐的APP。 更多细节内容, 请大家移步观看视频。

原文发布于微信公众号 - 携程技术中心(ctriptech)

原文发表时间:2016-08-12

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏李成熙heyli

腾讯 Web 前端大会<TFC2017 /> 分享浅析 -- 主会场篇

腾讯 Web 前端大会完美落幕。希望大家能收获满满干货。博主负责大会部份的讲师的遴选。虽然我全程都没怎么听(基本都在安排展位和发微博),但我希望通过选题的角度,...

2537
来自专栏Sign

微信小游戏开发技巧

之前有幸收到掘金邀请去分享小游戏开发相关的技术主题,正好公众号一直也没有比较全面的和大家聊如何从技术层面做游戏,这里整理一下之前的分享ppt。

5015
来自专栏Sign

2个小时制作一款微信小游戏

游戏是这个 基于cocos creator做的 Dolo的朋友们:Boo的冒险 ? 扫描菊花码进行游戏。 不想扫描的同学看动图。 ? 对,就是这样一个『蹦一蹦』...

11.4K10
来自专栏即时通讯技术

技术福利:最全实时音视频开发要用到的开源工程汇总

实时音视频的开发学习有很多可以参考的开源项目。一个实时音视频应用共包括几个环节:采集、编码、前后处理、传输、解码、缓冲、渲染等很多环节。每一个细分环节,还有更细...

8622
来自专栏CSDN技术头条

苹果正在怎样毁掉设计之名

【编者按】Don Norman与Bruce “Tog” Tognazzini,在20世纪80年代初期两人分别担任各自项目的领导者,他们从所经历的项目中提取编纂的...

2089
来自专栏编程微刊

初中级前端开发工程师如何提升个人能力?

1382
来自专栏腾讯社交用户体验设计

教你爱的正确姿势-QQ红包520项目总结

1523
来自专栏IMWeb前端团队

IMWebConf 2016总结

本文作者:IMWeb link 原文出处:IMWeb社区 未经同意,禁止转载 ? 9月10号,IMWeb团队在腾讯大厦成功举办了IMWebConf 2...

2766
来自专栏企鹅号快讯

2017年,Mozilla为Web做了哪些事情?

2017 对于 Mozilla 来说是非常重要的一年。我们发布了历史上最快的 Firefox,重新构建了 DevTools 开发者工具,见证了四个主流浏览器对 ...

1935
来自专栏程序员互动联盟

都大三了,学点什么语言好?

大学时光转眼即逝,就像猪八戒吃人参果,还没尝到啥滋味,已经吃完了。为了能在毕业的时候顺利找到工作,这时候是不是该做点什么了。亡羊补牢,为时未晚。 计算机专业或者...

3525

扫码关注云+社区