专栏首页音视频技术万物皆可“小程序”——迟到的iOS 14之猜想
原创

万物皆可“小程序”——迟到的iOS 14之猜想

这是一篇没能赶上热点的文章,但好在对技术的讨论总是多多益善,不分冷热。

作者:唐赓&LiveVideoStack

编辑:Coco Liang

时间倒回4月9日,9To5Mac通过iOS 14的代码,猜测苹果或将推出全新的APP下载和使用方式,用户只需扫描二维码或打开链接,即可体验应用程序的某些特定功能,而不需要在iPhone或iPad上安装APP的完整版本。

消息称,iOS 14将会使用一种被苹果内部称为“Clips”的API。 “Clips”允许开发人员向用户提供应用程序中交互式的动态内容(在用户尚未安装该应用程序的情况下)。

假设用户扫描的二维码带有指向YouTube视频的链接,但是该用户并没有在iPhone上安装YouTube官方应用程序,那么只要通过 “Clips”,用户便能够扫描该二维码,并在本地用户界面而不是Safari网页上观看视频内容。

由于目前关于 “Clips”的资料非常有限,我们专门采访了花椒直播技术部负责人唐赓,和他一起对“Clips”进行了一些有(大)限(胆)的探(猜)讨(测):

1. 相比Android的Slice,更像是微信小程序 2. 可能是Siri功能的延伸,但容易引发隐私忧虑 3. 将强化专有生态(iOS、Webkit) 4. 完善iOS用户定制化的短板

有关第1、2点猜测,唐赓的看法是:

"先说说我熟悉的直播领域音视频技术的现状,目前iOS系统硬件已经很强大,H.264、H.265硬件编解码也已经很普及,此外,硬件回声消除效果也很令人满意,常规的采集和播放也不存在难度,更多的问题还是集中在网络层面。

低延迟、抗丢包、抗抖动以及多人实时互动等等,还需要技术优化。另外,基于AI的视频人脸识别、表情识别、肢体识别、背景分割、虚拟形象驱动、虚拟主播等也是目前非常重要的方向,可以提供很多面向未来的体验和玩法。

说回Clips,大家都拿安卓的Slices进行对比,不过我觉得安卓Slices主要出现在Search结果页和Assistant,目标是用于整合手机内部应用的功能。

而iOS的Clips从描述上看更接近国内用户早已熟悉的微信扫码和小程序,主要定位应该是和线下应用结合,进行动态展示和交互,就像现在大家常用的扫码购物、点餐、租车、导游和购票等等。

‘Clips’API允许开发人员向用户提供应用程序中交互式的动态内容,支持用户‘扫描二维码—跳出程序卡片—本地观看视频’。为了让用户无感下载显然应该要想方设法最小化Clips组件的体积,我认为开发者应该选择基于系统已有的组件来实现。

比如基于系统的HLS播放器、原生WebRTC,或者可以更激进一些,把一些原来基于客户端实现的一些特效如点赞、礼物特效等等,在服务端混入视频流后在Clips内进行展示,以提供更完整更接近App的用户体验。

估计苹果也会允许直接调用ApplePay、IAP进行支付,登录也会基于Apple ID(苹果要求6/30之前所有App都要支持苹果登录可能就是在给它铺路?)。

如果主要基于HLS播放的话,要实现低延迟的用户体验,采用去年苹果推出的低延迟HLS方案可能是一个必然选择。当然,如果不需要强调低延迟特性的话,普通HLS也应该够用了。

理论上,只要能不受限地访问网络,观看、互动问题都不大,功能取舍更多是在资源、布局限制下的产品设计问题,如果连登录、支付都利用上的话,功能支持和体验可以更完整快捷。

Clips的定位应该主要是线下应用,音视频方面应该是更倾向于点播类型的业务,实时类型的业务基于WebRTC也应该没有问题。

而花椒直播本身作为线上直播平台,平台本身直接与线下结合的场景相对较少(当然我们有不少主播是做线下户外直播的),可能会有一些线下的广告扫码后就可以推荐附近的主播、附近的兴趣类似的用户进行一些交互,或者用于线下活动场合方便用户体验和安装。"


也有另一种声音认为,无论是Android的Slice还是iOS的Chips,都对开放网络标准(HTML5和Web)构成了巨大的威胁,使网络环境变得更加碎片化,甚至让前者开始为专有生态系统(iOS、Webkit)提供额外的功能,使得专有标准在实现硬件、操作系统以及应用程序之间的紧密集成方面更上一层楼。

事实上,即使是Chrome也很难同时支持网络应用、iOS和Android,而我们最不需要的就是Android和iOS也同样加速脱离Web标准。

有网友称,如果你担心Chromium的影响太大,那么你也应该担心Webkit的控制太多。

拿HLS举例,HLS由苹果开发,也被广泛使用。但如果要在Apple设备上播放视频,则必须使用HLS。而iOS上的Webkit中不提供构建自己的播放器(MSE)所需的工具,并且由于用户无法使用其他浏览器引擎,事情因此变得很麻烦。

Safari不支持WebP或VP9之类的开放标准,苹果也在尽力禁用硬件解码器支持的类型。现在基本上每个大型流媒体平台都需要对内容分别进行DASH和HLS编码,类似与Webkit-iOS相关的问题肯定也存在于其他行业。而将所有人锁定在一个渲染引擎上是非常anti-consumer的。

不会有人想让一家公司控制Web标准,这将意味着这家公司可以在该标准损害其商业模式的情况下对其进行修改甚至是删除。这就类似于AppStore可以通过限制用户对应用程序类型的访问(例如游戏直播应用)来减少用户的选择,which,损害了消费者利益。

目前并不确定Clips的应用范围(iOS 14构建了QR码),但如果它被用在搜索结果或Siri中,也不足为奇。但Siri的功能因此被延伸的同时,也存在着很大的安全隐患就是了。

苹果公司正在OpenTable、Yelp、DoorDash、索尼(及其PS4 Second Screen应用程序)和YouTube测试新的API,并可能在WWDC演示中将这些APP用作示例,也就是说,或许一切将在6月揭晓。

原创声明,本文系作者授权云+社区发表,未经许可,不得转载。

如有侵权,请联系 yunjia_community@tencent.com 删除。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • SVT-AV1:开源编解码最新进展

    文/ Andrey Norkin, Joel Sole, Mariana Afonso,Kyle Swanson, Agata Opalach, Anush M...

    LiveVideoStack
  • SVT-AV1:开源编解码最新进展

    文/ Andrey Norkin, Joel Sole, Mariana Afonso,Kyle Swanson, Agata Opalach, Anush M...

    LiveVideoStack
  • Netflix与英特尔共同发布开源编解码器SVT-AV1

    https://www.streamingmedia.com/Articles/News/Online-Video-News/NAB-19-Netflix-an...

    LiveVideoStack
  • LogisticRegression实验

    实验目的 了解logistic regression的原理及在sklearn中的使用 实验数据 鸢尾花数据集是由杰出的统计学家R.A.Fisher在20世纪30...

    听城
  • 下一代网络钓鱼技术——滥用Azure信息保护功能

    在这篇文章中,我们将从攻击者的角度介绍如何使用Azure信息保护(Azure Information Protection,AIP)来改进网络钓鱼技术。这个想法...

    周俊辉
  • 【一天一大 lee】最接近原点的 K 个点 (难度:中等) - Day20201109

    我们有一个由平面上的点组成的列表 points。需要从中找出 K 个距离原点 (0, 0) 最近的点。

    前端小书童
  • 倍数提高工作效率的 Android Studio 奇技

    这是从Philippe Breault的系列文章《Android Studio Tips Of the Day》中提取出来的自认为精华的部分。这些技巧在实际应用...

    非著名程序员
  • 管道符和作业控制,shell变量和环境变量配置文件

    叶瑾
  • GCAC32 9.12 A fun application: private information retrieval

    1. http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.22.1099&rep=rep1&typ...

    安包
  • django-模板之过滤器Add(十三)

    绝命生

扫码关注云+社区

领取腾讯云代金券