前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >入口之争:苹果的Apple Intelligence如何重新定义AI?| AGI路线图

入口之争:苹果的Apple Intelligence如何重新定义AI?| AGI路线图

作者头像
小腾资讯君
发布2024-07-01 09:24:39
1540
发布2024-07-01 09:24:39

在刚刚结束的WWDC,苹果发布了他们的第一个人工智能系统Apple Intelligence。作为七巨头中最后一家发布AI系统的大公司,苹果如何定义Apple Intelligence? AI手机、端侧AI的时代是否要到来了?Apple Intelligence对当前的AI生态会带来哪些变化?

本期嘉宾:

Indigo 前微博创始团队 Brilliant Phoenix Partner 

胡延平 FutureLabs 未来实验室首席专家 

陈   然 前机器学习总监 硅谷AI应用创业者 

Neethan Co-founder of Hallidai 前TikTok Tech Lead

节目主理人:

徐思彦 腾讯研究院高级研究员

来自于AI总结的主要内容:

  • 苹果发布Apple Intelligence:作为硅谷七大巨头中最后一家发布AI系统的公司,苹果发布了名为Apple Intelligence的人工智能系统,更侧重用户体验和应用层面。
  • AI手机时代的来临:讨论了苹果发布AI系统是否预示着AI手机时代的真正到来。
  • Apple Intelligence对AI生态的影响:探讨了Apple Intelligence可能对当前AI生态带来的变化,包括端侧AI的发展。
  • 端云混合AI模型:Apple Intelligence采用了端云混合的AI模型,强调了在端侧设备上运行AI的能力,以及与云端的加密通信。
  • 个性化和隐私保护:Apple Intelligence重视个性化服务和用户隐私保护,使用户数据在本地完成处理,减少对云端的依赖。
  • 应用与服务的重构:预计Apple Intelligence将改变应用与服务的交互方式,从传统的应用开发转向为智能代理提供接口和服务。
  • 情感价值与用户体验:讨论了AI在提供情感价值和改善用户体验方面的潜力,未来智能手机有望实现更高程度的个性化和情感价值。
  • 大模型竞争格局:分析了不同公司在AI大模型领域的竞争状态,包括Open AI、Google等,并讨论了苹果在这一领域的定位。
  • AI技术的未来趋势:对AI技术的未来发展趋势进行了预测,包括个性化AI模型、多模态交互和端侧智能的提升。
  • 端侧AI的多样化发展:苹果AI可能会推动端侧AI设备的多样化发展,包括可穿戴设备、家用机器人和车载系统等。

Apple Intelligence

带来哪些新变化

徐思彦:如何评价这次Apple Intelligence发布会?

Indigo: 我对发布会很期待,我觉得今年的WWDC很有时代意义。因为时代在改变。虽然苹果可能被迫做出动作,但实际上苹果早就开始行动了。他们通常会等市场比较成熟时才会采取行动。现在的苹果不同于过去,他们需要维护他们的市场。因此,他们需要有全面的计划来保护市场,包括发展人工智能。他们的重点应该是他们的设备,如iPad,iPhone和Mac,以及在这些设备上运行AI。

发布会的重点是在设备上运行AI,也就是apple intelligence。这是一种混合AI,可能会有一些合作伙伴,如OpenAI。不过,苹果的主角还是自己。他们的AI是在设备上运行的,并且有清晰的架构。他们的AI在设备和云中是一体的,可以在手机端,芯片级别进行加密通讯。

苹果做了一套模型,包括一个在手机上运行的小模型和一个在云中运行的大模型。这些模型可以处理手机完成不了的任务,所有这些通讯都是加密的。每个用户都有一个小模型和一个大模型在为他们服务。所有的用户数据,包括第三方应用的数据,都会被转化为向量化的数据,发送到云端的大模型进行处理。

苹果的模型是个性化的,它是一个设备和云的混合模型。苹果如果发现自己的云端处理不了的任务,他就会建议用户使用open AI。用户也可以选择使用open AI,但苹果也会判断如果他自己完成不了的事情,他也会交给open AI来做。

陈然: 事实上,我最关心的是苹果会叫这套新东西什么名字。苹果很擅长创新命名,例如在深度学习时代,他们不叫深度学习,而是叫 Apple Neural Engine。在 AR/VR 时代,他们不叫 AR/VR,而是叫 Spatial Computing。这次他们给 AI 取名为 Apple Intelligence,我觉得很有趣。

苹果一贯擅长做应用,把更好的用户体验带给大家。这次升级了 Siri,让更多用户第一次真正接触到智能助手。科技圈的人可能早就开始使用基于 GPT 的工作流管理,享受科技带来的生产力提升。但是苹果一次做到位,整合到 Siri 里,串联了很多应用。这对大多数用户来说,就像魔术一样,他们能享受到科技的乐趣。

苹果拥有强大的用户数据,如屏幕、日历、邮件、照片等,这对做机器学习的人来说,是非常宝贵的。我会关注苹果如何在其框架下,开放这些数据给其他应用,如果想要进一步发展,这些应用必须要访问到这些敏感信息。我关注的是苹果如何在其隐私框架下,控制和提供这些敏感信息。

我认为可能还有一个点我觉得很有意思,但大家没有太多讨论。不仅是苹果智能(Apple Intelligence)这次发布,很多人会吐槽说苹果的一些功能都是一些细微的改变,包括emoji变得更漂亮了,文字变大了,可以跳动等。所以就有很多人会有所担忧。但实际上,我认为这是另一个范式的思考,人工智能给我们带来的到底是知识价值还是情感价值?我认为这是一个大的范式,我们作为技术的关注者,往往关注的是能否更快地获取更多的数据。而对于一个用户而言,他可能觉得更好的永远是有更多的情感价值的出现。那人工智能在那里,它能够时刻响应你的回复,虽然有时候功能可能没有那么华丽,但实际上它绝对能给你提供超出你预期的一些情感价值。我觉得这个价值可能被低估了,我为什么看好苹果,不仅是Siri,还是它在你屏幕上的陪伴,因为我觉得它后面会不断的迭代出会让你更开心的一种感觉。这种感觉会让你更喜欢这个手机,你会觉得它懂你,你会对这个手机产生更大的依恋感。我觉得这是大模型能够潜在的给人带来一种情感价值的支持。这种价值比较难以量化,但我认为这是一个正在发生的大趋势。

Neethan: 我觉得开始时网上会有许多不同的意见,比如把Siri换成GPT等等,包括底层模型。那时我觉得苹果可能不会用其他公司的模型,可能短期内会妥协,这符合我们的预期。但可能跟外界看,它和OpenAI的结合并不深,我觉得这可能是好事。而且,它和open I的结合可能比我们想象的还要浅一些。

我觉得长远看有两个方向。第一,我们可以看到,通过Siri直接唤醒GPT。苹果相当于官方化了这样一个东西。以这个维度看,Apple intelligence像一个Super app,它具有很多AI相关的能力,如做图,写文章等,它扮演的是一个app的角色。

另一方面,我们把open AI和其他的一些三方模型作为一个call back,当苹果的有些模型或者有些事情不适合,或者用户选择不用苹果自己的东西的时候,它可以作为一个第三方的支持出现。推特上OpenAI的人很兴奋,因为对openAI来说,苹果是一个大的流量入口,但实际上,我觉得目前可能并没有达到open AI或者像奥特曼想要的那个程度,因为他们关心的是用户海量的数据。以Open AI现在的策略,他们希望能获取更多的数据,但以目前的结合来看,我觉得苹果做得很好,做到了隔离。这一点跟他的隐私和私有策略有很好的结合。

胡延平:为什么发布会当天和之后各方对Apple的评估先抑后扬?为什么Apple Intelligence秋季才会正式发?为什么苹果生态内合作伙伴心态复杂?主因是Apple Intelligence发布坐实了6件事(前三件都是生态相变级别),而另外6件事悬而待解。1.超级入口成型,已无悬念,且多因素促动,不止强智能。再次确证智能生态发展基于“端边云网感算数智”8要素,AI2.0格局、与App尤其超级App关系指定要变。2.自然交互来临,语音-手势-体感-触感-空间计算,视觉是表智能多模态+融合传感+云-端算力是里。会引导用户重新理解智能设备。3.应用原子化、数据元子化。从块状、碎片到颗粒度更小的原-元子,解构指向流量、秩序和利益的历史性重构。和之前聊过的"超越算法推荐-走向智能耦合"、媒体-自媒体-超级个体、大众-分众-微众、资讯-UGC-AIGC三个维度的转变历程异曲同工。4.端云协同的混合智能趋于最优解,是废话但却是需要被实证的“必然”,需要演进出真正高效率高水准高可用性的基本框架。5.封闭但内部深度整合的系统级生态实现强智能更高效。这也是昨天为什么说“到最后会发现最垄断的反倒成为最开放的选择,最封闭的反倒成了最高效的智能平台,App死在为Apps创造生态的生态里,人机转了一圈又回到的有人无机时代的自然交互,没理了。唯有芯片算力与基础设施不会辜负”。6.生态级头部-平台,AI底座一定是自己做,缝合GPT-4o只是权宜之计。所以发布之前我预期“如果与OpenAI合作对苹果来说是负面”并没有被打脸。

徐思彦: 关于未来,Apple的AI将通过什么方式呈现出来呢?它会是一个网页端设备,还是像现在的手机端?有人用“管道化”这个词来形容这一趋势,那么它究竟会像现在的Siri那样,还是将融入到各种应用当中呢?

Indigo: 我觉得接下来我们都不叫做应用了。我们都在给这种智能代理开发接口。没有应用公司了,接下来可能只是人家硬件公司可能做这种系统级的这种壳的公司。然后剩下的就是在壳下面,我们创建了一个智能代理,这个代理可以是Siri,也可以是你在Google上使用的代理,或者你使用的GPT。最麻烦的是它没有硬件,没有身体,它需要去任何人那里。这个买入钱需要给现在的第一次好不容易跑苹果那去的人。所以,你想看,在这个端口非常重要,谁控制的入口,谁就控制了智能流量。这是非常重要的,特别是在应用被讲话之后。你只需要和应用说话就好了。有Siri或者这些智能代理帮你来做和应用之间的复杂交互,那我们还需要做那么复杂的APP界面设计吗?不需要了,你很多东西只需要告诉它就好了,或者说这个里面就变成了你的方式。我问你怎么做,它弹出两个界面,然后再弹出两个结果。这个界面的设计会变得更复杂,交互设计会变成语音式的,然后APP也会消失。所有东西都藏在智能手机或者未来的智能眼镜里。

我们可能都不再叫应用开发者,我们会成为一些Service Provider。然后把你的应用注册到最早的地方,他在一个对话框里面做plugin肯定是不行的。现在的操作系统层面上的壳效果,我们叫做壳上做的plugin,因为是天然的,所以我觉得siri能做得很好。它可以带来很多变化,其实使用率不需要很高的智能。不需要它,一切都可以在本地做,他本地的30个31参数的语音引擎去理解多语言文字是没什么问题的。

徐思彦: 我也对Neethan的想法很感兴趣,因为你是最早的语音交互产品的开发者。从最早的Alexa到现在的Siri,你认为它们的发展方向符合你的预期吗?

Neethan: 我在推特上分享了关于Alexa、Apple智能和新Siri的看法。它们都有相似的功能,但也有很大的改变。

我要说的两点是:

  • Apple智能就像是app接口加PCC。Siri之前并不开放,但现在已经内置了很多原生功能。Alexa也有自己的技能,许多第三方开发者会提供很多东西,Google助手也有类似的功能。
  • Apple是一个强大的流量入口。Alexa主要只能在家庭应用场景里面使用,而且在手机端的应用并不强大。Siri则可以整合很多功能,成为一个重要的新的生态入口。

虽然看起来没有变化,但实际上有很大的变化。我认为真正的赢家是苹果,因为它已经打开了更大的流量入口,也打开了更多的可能性。苹果的这个动作非常聪明,它告诉我们AI是一个feature,而不是一个产品。苹果一直都擅长在终端上给用户提供一个无感的很好用的体验。

苹果的很多产品在发布的时候都会被质疑,但用户用起来就是爽的,AI也是一样的。我期待苹果能在这方面做得很好,能给用户提供一个非常好的体验。

最后,我认为苹果是最大的赢家,因为它开放了更大的流量入口,也开放了更多的可能性。我认为这是其他公司做不到的。

徐思彦: Apple提出了一个名为Context AI的项目,特别是这个可以读屏的AI,在了解你的评估习惯、邮件等后,能给用户给出更智能的建议。这个方向的发展成立吗,会带来一些隐私问题吗?

Neethan: 我觉得,Context AI并不新鲜,过去一年很多创业公司和大厂都在提供类似的服务。例如,我之前做广告时,已经有很多个性化的推荐系统,这些系统需要个人数据,如你在屏幕的停留时间,你阅读的邮件等。我认为这条路是行得通的,但可能并非通过录屏等行为。人们对此有很高的期待,但是否真的能火起来,还需要看用户的使用习惯。

大部分人的设备并非专业的AI设备,他们最多的需求是吃穿住行,叫Uber,叫外卖,或者突然想知道某个信息。因此,个人AI不一定局限于某些交互形式。在北美,用户的隐私是一个大问题。例如,欧洲已经发出了一些关于隐私的咨询。我觉得这很科幻,但是否真的能交付给用户,用户是否真的会这样做,还有待看。

大部分用户最常问的问题还是关于衣食住行。那个是实际的personal AI的场景会通过apple intelligence去实现。我觉得会有许多应用开始尝试去接入apple,尝试去抢这个接口,什么样的东西都可能尝试。其次,实际上来讲,这也非常依赖于苹果的分发和routing,用户如何使用。我觉得会优先的是一些生活场景化,或者是说非常简单的场景,如我想快速知道我email里面的某个信息。

我觉得所有的简短场景,关于信息展示和信息切分,app会更回归于业务本质,GUI会逐渐的被淡化掉。例如,你可能会在Uber里面绑定银行卡,但是你叫Uber,查看路线图,查看ETA可能都会慢慢来到siri或者apple intelligence这个层面上。但是,其他一些更长的沉淀,如你的路线的计划等,可能还需要更长的时间,通过apple提供更好的ux,慢慢再走到上一层上。我对apple的隐私部分,还是比较有信心的。

胡延平: 我们正在讨论的问题可以归结为以下几点。我们明确了六个事实,但有几个疑问,这是我们正在探索的。首先,这个事情会发展得多快?我认为可能不会很快,因为入口与应用之间的关系需要时间发展。

其次,入口的形态会是什么?目前,已经进入第三阶段。第一阶段是基本的问答,第二阶段开始连接一些服务信息或简单的应用。第三阶段的入口被称为超级入口,因为它有自然交互和智能,能有效地组织应用、服务信息、知识、内容和数据,并以用户需要的方式呈现。目前,很多方面还有待改善,但在封闭或整合的系统下,它效率最高。

关于形态,还有一些不确定的地方。除了自然交互和智能能力,还有端侧的算力,包括端侧的传感和深度感知。这些因素在此汇聚,因此大家对超级入口非常关注。

智能与智能的关系是什么?一种关系是可以接入各种智能,如Google G、Open AI的GPT等。另一种关系是这些App也有自己的智能,可以与Apple的AI能力结合、连接、融合或合作。如何更好地连接并给用户更好的体验,还需要观察。

如何获取深层的用户数据,如读屏,还不清楚。但一些服务,如旅行预订、天气预报、订餐、交通等,应该会首先实现。对于深层的任务,可能需要借助Apple Intelligence的功能来处理,这些任务通常是用户在app中进行的。

此外,智能与智能的关系也是一个需要解决的问题。在下一阶段,可能会出现一些问题,如强大的头部效应可能导致一部分app从入口获取大量的流量和用户,而其他部分可能被边缘化。在这种情况下,存在利益冲突。这个冲突可能导致APP store的系统无法承载超级入口和Apple Intelligence的合作关系,也无法处理新生态中各方的利益分配。

我认为,必然会有一场利益冲突,这可能会和用户数据隐私保护,以及一些与竞争有关的问题相交汇。苹果可能需要考虑如何形成新的生态秩序,形成新的与开发者和应用之间的关系。这个过程可能比超级入口来得更慢,更晚一些,所以这几个问题仍然有待明确。

图片
图片

入口之争

竞争新局面如何展开?

徐思彦: 我们非常关注智能和智能之间的关系。这里面有两个问题,一个是Apple会如何影响未来模型底层的竞争格局?Open AI能否维持其领先地位?如果可以,能维持多久?第二个问题是,模型之间是否可能互相调用?未来是走向融合还是分裂?我很想知道大家的看法,你们认为未来的模型竞争会是什么样子?

Indigo:我认为现在的AI模型,如Claude和J以及OpenAI,已经很出色,甚至超过现有的测试基准。但有时候,我们并不需要那么高的智能。像Open AI和Google这样的公司,他们的目标是创造超级智能,但像Apple这样的公司,他们的目标是创造一个简单的小助手。

我认为有两种竞争方式。一种是竞争最高智能,这是Open AI和Google这样的公司的目标。另一种是提供用户最好的体验,这是Apple这样的公司的目标。

对于超级智能,每个公司有自己的定义。我认为,我们现在正在向这个目标迈进。我们现在可以给机器一些提示,然后让机器完成剩下的工作。随着技术的发展,可能我们只需要给一些简单的提示,机器就可以完成所有的工作。

对于像Apple这样的公司,他们的目标是提供最好的用户体验,而不是创造最高的智能。他们的目标是创造一个可以帮助用户完成日常工作的小助手,而不是一个可以替代人类的超级智能。

总的来说,我认为现在的AI竞争有两种方式。一种是创造最高的智能,另一种是提供最好的用户体验。这两种方式都有其优点和挑战。

徐思彦: 我想听听你如何看待硅谷的几个大公司未来AI的方向。我最近用了Gamma做PPT,觉得非常好用。如果Google把它整合到自己的产品中,可能会对微软的Office造成挑战。硅谷的各个大厂现在的定位是什么?

Neethan: 我和Indigo的看法一样。我认为在你解决问题后,应该回归产品本身,因为你最终是要做产品。Apple非常明确他们是做产品的,他们有用户,需要满足用户的需求。他们没有像Facebook那样的推广部门,也没有Google Deep Mind那样的部门,他们的核心是产品。其他的大公司也会有类似的做法。Meta一直在开源场景中探索模型,但如果你看看他们的应用场景,他们已经在广告平台上使用大量的AI技术,如文案生成,图片生成等。这些都是回归到业务和产品本身。Google也是一样,他们把重心放在Google Workspace上,包括Gama,Google Space,Gmail等等。Microsoft也是一样的,他们把重心放在CoPilot上。研究是研究,但业务是业务,你还是要找到自己的场景去看,我觉得这是很重要的。你可能需要适应流量入口,重新设计你的交互,但你能提供的场景,你能带来的价值,这些是不能被轻易替代的。所以,你还是要专注在你要解决什么样的问题。

徐思彦:Indigo之前在文章中提到了一个名为AI workforce的概念。陈然刚才讲的金融场景,实际上就是把AI当作一种新的劳动力来使用,它甚至有可能成为一个供应商。而对于apple来说,可能仍然是应用的升级。你怎么看待未来这两种方式会越来越分化,还是在某些时候它们会融合在一起?

Indigo: 我认为未来的发展可能会有所分化。各大公司如Google和Apple都在改进智能模型,但每家公司所需的模型不尽相同,因为每家公司都有自己的特定场景。我认为训练模型、数据调优和数据的独特性将更重要。而且多模态和用户产生的特殊数据,如用户使用的屏幕数据,也将更重要。

至于OpenAI的模型架构能领先多久,我不确定。我认为接下来的竞争将在结构改进和数据使用上。

在强化训练方面,我们可以用专家来训练模型,而不需要大量数据。专家可以为AI模型生成数据,这将使模型训练得更好。

在使用场景方面,我认为在agent时代,一个好的代理需要有好的记忆并能完成长时间的技术问题。目前所有的模型,包括GPT-4,都不能做到这一点。如果我们想要一个更好的代理,它需要有长时间记忆和推理能力。它可能会在云端实现,因为云端有更好的服务器架构,不会中断。

最后,我认为我们需要挑战现有的架构,实现更长的规划,才能做出更好的产品。

图片
图片

EdgeAI的时代来了吗?

徐思彦: 最后一个问题我还是想请大家展望一下对未来的AI智能手机或者端测AI,大家有哪些预期和这个期待?

Neethan: 实际上,我对云端非常期待,因为我在会前说过,我期待苹果在PCC(private cloud compute)上的一些改进。我和朋友讨论过一些观点,我期待的是个性化模型。模型的训练成本降低,架构的改变,可以使其更小。用户维度,甚至可以引入一些个人偏好,这样它的推理能力可以在个人维度上产生变化。但是从现在的功能角度来看,要达到很好的效果还是比较难的。但我觉得PCC已经为这种可能性开了一个口子,无论是苹果在芯片上的一些储备,还是架构上的一些储备。当然了,如果这个东西能在本地运行,这个个性化模型,我会非常期待。我觉得这会开辟更多的场景,让更多的交互成为可能。

胡延平: 我期待每个人都能有自己的强大AI,而且希望它能更快地来到我们身边。虽然我们现在还在初始阶段,例如我手机里的模型是8B,电脑里的模型是70B,但是体验速度很慢,几乎没有多模态能力。这也是我期待苹果智能的原因。虽然现在的进展非常快,但是从用户体验来看,尤其是端侧模型,还处在原始的状态,可用性不强。我期待云端的能力更强大,但是离线可用,数据隐私,和个人应用的整合等方面,我更希望端侧智能有很好的发展。

陈然: 我永远关注AI的提供的情感价值这个是我最关注的事情,因为我觉得。对一个普通人而言,他对于生产力也好。一个设备的理解也好,跟我们可能专业的人是完全不一样的。那如果说一个智能,它希望能够触及到更广大的大众一定是它提供了更高的情感价值,而这个反而也是AI更擅长的。所以我觉得apple的这一套on device的这个model哈。我觉得真正值得创新的点,或者说能创新能够做AI native的东西,我觉得一定是提供了足够情感价值的一些东西,而不仅仅是说在业务逻辑上或者一些资源整合上有些创新的。所以我觉得大家如果真的想做AI native的创新,在这个时代上应该去从情感价值作为突破。去思考怎么样让AI更好的陪伴人类提供更多的情绪引导思考,就是让大家能够过得更开心哈。

徐思彦: 谈谈你对未来智能HAI创新的一些预测吧。 

Indigo:我希望让大家用手机的时间少一些。让手机成为身上的计算中心,其他的可穿戴设备只是辅助设备,比如智能设备。AI提供了一个好思路。例如,语音交互和视频的设备都已经实现,只是电池问题还没解决。Google和苹果都在准备这样的产品。如果有手表,耳机,眼镜等配件,我们就能少用手机。

苹果在2019年就启动了一个可行走的iPad项目,叫做Human Joy。这是一个机器人项目,用于家庭和办公室。许多公司都在做这样的陪伴机器人。苹果的车队裁掉了一部分人,转去做AI。

未来苹果的三大新的增长方向,一个是手机,一个是可穿戴设备,还有一个是可行走的机器人。机器人可以作为你的助理,不在你口袋里面,可能在你身边或者你随叫随到。未来的Mac可能会朝这个方向演化。

下一代的竞争将在端上,不在云端。端上的智能设备会很多,除了手机和可穿戴设备之外,还有家用机器人等。在不同级别的端上面,他们的智能程度也会不同。所有解决不了的问题都会去云端解决。未来会形成一个大的网络,端的数量会大于云端,云端会解决超级智能问题,云端会联网,形成一个超级大的网络Neural Network。不同公司的模型之间也可以协助调用,形成一个大的网络。我在我的文章中都写了这些。

徐思彦: 再次感谢各位嘉宾的精彩分享和总结。随着Apple Intelligence的发布,大模型的竞争已经进入到第二个阶段,端侧AI的大变革才刚刚展开。我们预测,未来可能会有更多不同的产品融入更高级别的智能,比如iPad,眼镜,汽车,家用机器人等。未来的变革速度将会越来越快,我们的手机也可能会变得更有个性和更有情感。我相信大家都非常期待看到这些变化。

我们也会持续关注未来的变化,并欢迎大家关注我们的AGI路线图。在每个重要的里程碑发布时,我们会第一时间与大家分享这些变化背后的技术趋势,以及它们对我们每个人的影响。

本文系转载,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文系转载前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档