【WE重现】Daniel Leithinger：3D 触感屏幕，告别平板世界

来自麻省理工大学媒体实验室的Daniel Leithinger，在2014腾讯WE大会上展示了一款名为inFORM的3D交互界面，它颠覆了我们熟知的触摸屏，让用户可以用手来感受和触摸数字信息。通过inFORM，你可以和千里之外同样坐在电脑前的人握手，一起玩传球游戏，甚至自如的挪动他面前的水果。Daniel Leithinger在演讲中说道：“我希望未来不是一个像素主宰的世界，我们的手不是处于次要的位置，而是能够感受彼此，并与这个丰富的世界交互。”

一、平面图形交互是对双手资源的浪费

我们讨论的是未来，而我将从我自己的过去说起。我来自奥地利，在欧洲中部的一个乡村长大。奥地利有个古老的智慧——“地球不是平的”。如果你在奥地利长大，你肯定知道这一点，因为四面都是山，你根本想不到地球是平的。这里面有一个很根本的东西，那就是人类是在三维世界中成长的。我们的身体是进化的结果，是与环境交互的最佳形态。我们有空间的意识，用四肢在空间中操作世界。当你去看人类发明的工具时，你会发现，原来我们为自己设计了一个可以用工具强大地操作的世界，这也是人之所以为人的部分原因。

这个世界里，哪些东西不是三维的呢？我想这两张图很说明问题。左图里的材料很丰富，人与人用手交互；右图是现在最先进的电脑，可以多点触控。右图比左图单调了许多，对身体的调动少了许多，一切都化于一块“平板”上，与世界的交互少了些精彩。Malcolm McCullough说得很好，我们的双手真是被低估了。我们的眼睛负责学习，大脑负责说话，手用来打字，因此手并非闲置，而是“不充分就业”，这很遗憾。

我觉得这是有历史原因的。电脑的屏幕几乎从一开始就是平的。1960年代 Ivan Sutherland在 MIT 研发的 Sketchpad可以说奠定了我们今天所见的图形交互模式。当然，苹果在1980年代使之进入寻常百姓家。今天最尖端的设备依然主要是基于平面的图形交互。这种交互对于眼睛很方便，但就是有点浪费我们的手。我觉得不一定要这样子，我对这种设计一直不满意。

二、奠定未来的“实体用户界面”

我还在奥地利念书时，很幸运地在一间博物馆打暑期工。那是十年前 2004年，我在那间电子博物馆编程，馆里有很棒的项目展览深刻地影响了我，我看见过“实体用户界面”，是由 MIT 媒体实验室下的“实体媒体组”开发的。项目的名字叫SandScape，这是个做地景设计的项目，就像在 CAD 程序上做一样。你可以动手用不同的材料去制作地景，电脑会感应你用的材料并进行相应的模拟，最终建立出一个数字模型。

从我看到这个项目的一刻起，我便想去 MIT 的这个小组学习，我想发明这样的电脑界面，这奠定了我的未来。四年后 2008年，经过努力，我考上了 MIT 媒体实验室的研究生。当时我的问题是，我有什么作品可以摆上台面，在目前的基础上我可以做什么。我和同事便开始分析，我们的注意力落在了这种界面的一个大问题上。这种界面确实非常直观，用起来很有乐趣，但也有点“不太好用”，因为假如你想保存这个模型，两周后再打开，把它分享给朋友，在网上进行协作，这是做不到的。你的朋友需要亲手再建一次模型，这需要另一台3D打印机，要花一天的时间。也许我们可以做一个这东西的电脑版或电机版？可以实时建立出我们所需的形状。

三、从“针幕”屏到“数字化粘土”

我们开始了解各种技术，其中一种是“针幕”屏，一项诞生于1970年代的发明，发明者是 Ward Fleming。这跟一种玩具很像，把手放在这一边，手的形状就出现在另一边。我们可以做一个这种针幕屏的电机版，因为人们已经在制造等领域用过这项技术。当时还是学生的我便做了第一个“针幕”屏，用到了120个电机，我给它取名叫“Relief”，因为它的样子像浮雕 (relief)，而且大功告成时我也是长舒了口气 (relief)。

这是我同事在我的基础上做的新的东西。这里的想法就是电脑辅助设计。电脑能够建立物理形状，我们把这称为“数字化粘土”。你可以拉出个形状，拉完以后可以操作它，譬如移来移去或用双手直接改变形状，重新定一个形状。我们想也许这可以用于3D建模和协作，因为你可以把它发给同样拥有这种屏的朋友，你们可以同时雕塑。

这是我们的起点，虽然分辨率很低，但我们觉得这有前景。于是我和朋友便着手制作分辨率更高的版本，也就是大家这里看到的。我们便想象，如果除了多点触控，我们还有真实的形状可触摸，那电脑会是什么样的？例如实体菜单，不但可以眼看手摸，还可以去感觉菜单项。譬如我可以感受一个按钮，或一张幻灯片的边界。

这是另一个3D建模的例子，同样我可以拉一个形状出来，然后给它指定形式。这是一个建筑模型，也可以给一个汽车模型指定形状，之后还可以上色。总之一切都在实体世界中完成。其实我们的想法就是，让资料以实体形式出现在眼前，这样我们可以更好地理解现在我们看到的。这可能可以用于数学教学，你可以在这个表面上构造函数，这样去理解微分方程的效果可能比在平面屏上要来得更好，因为斜面什么的都是真实可感的。有了这些工具以后，我们就把这些工具玩来玩去，例如放个物体上去。我们注意到我们可以利用形状去操作物体，这里大家可以看到一个演示，我没注意到伙伴打来的电话，这张桌子于是就不平静了，仿佛在说：“快接电话！”好吧，那我就接吧。

四、 “实体显灵”——人、物的远程交互

我们还想，这可不可以用于人际协作、沟通呢？也许这不但可以用于改善人与电脑以及人与资料的沟通，还可以用于人与人的远程交互。于是我们便用 Kinect 的深度感应摄像头来捕捉人体的动作，然后传输到别的地方，在那里以实体形式还原形状，这样我们就可以远程地与人或物体交互，我们把这概念称为“实体显灵”。这种技术美就美在，你不仅可以自己做动作，还可以操作物体，例如翻书，甚至进行更复杂的操作。当然目前还很有限，只能做上上下下的操作，不过其中已有相当大的真实度。对于我而言，这是我的一个愿望，我的侄女侄子生活在奥地利，他们一年只见得到我一次，也许将来我们可以远程地一起玩乐高，享受这种实体游戏的乐趣。另外，这也许可以让远在别处的专家帮助到某地的用户，例如这里指指那里指指，告诉你该怎么做。我们认为这与单纯的视频协作会很不一样，尽管我们现在用的都是这种。

我们的研究主题不只是与电脑交互，也许未来我们会被可交互的环境所包围，一面墙、一张桌可能都可以实体变化，向我们响应。这位是我的研究顾问，他正在玩我们今年在米兰家具展亮相的桌子。这桌子就好像在和你讲故事，可以对你作出反应，仿佛桌子里住着只宠物，这就是交互环境，而不是静物。

五、概念和实验才是关键

当我介绍我们的项目时，很多人都会说这真的激动人心，什么时候能买到呢？其实这是我们面对的大问题之一，尤其是对我们的项目而言。我们一切制作的原料都是市场上买得到的，我们没有自己的工厂，因此这很复杂。一张大桌子，低分辨率的有30×30根针，也就是有900根针要控制。也许在未来我们会有更智慧的方法，来向人们提供实体输出，但关键的不在硬件，而在概念以及实验。因此我们在做的是用一些简单的物品，来证明没有必要搞得太复杂。这里有个例子，也许我们无法实体模拟一艘船，但我们可以模拟出硬质材料的感觉。例如像粘土、生面团那样具有延展性的计算材料，可以变形，可以像岩石一样坚硬，也可以像水袋那样软。我们便开始准备，我们跟MIT的机械工程系合作，他们在“软机器人技术”上很有实力，那种技术可以控制材料的刚性，但人们还没想过把这运用到电脑交互上来。

你去商店买咖啡，咖啡硬得像块砖，因为那是真空包装的，里面的咖啡粉都挤在一起，这叫做“颗粒堆挤”。只要你在包装上挖个洞，就会变得很软，因为此时包装内外压力接近，咖啡粉就变成流体系统了。你可以自己动手做，我们就是这么做的，非常简单。我们做了些实验，我们把咖啡粉倒进一个小包里，连到一个针筒上，如果我们抽那个针筒，这个小包就会很硬，像块砖一样。我们可以这样来回反复，当然用计算机方法来做很容易，只需要真空泵和电磁闸，其实没什么神奇的。我们觉得这种材料可能会改变我们将来和电脑交互的方式。

六、创意地表达就是我们所想象的未来

未来的手机也许就不是硬邦邦的、掉地上就坏了，也不是千篇一律的外观。现在无论是贵的还是便宜的手机都是方方正正的，也许以后外观会很不一样。如果将来的电子零件是软的，屏幕是软的而且能拉伸，我们就可以这样做：这是我们想象的未来的手机，当你想用它时，它可以变硬，变成手机的形状，我的同事正在研究这个。如果我们想用平板，那就把它拉大，然后它会变硬，这样你就可以当它是平板用了。或者又把它变软，把它当游戏设备来用。因为我们可以控制材料的属性，控制手机在软硬之间变换，我们便可以赋予它我们所需的形状。也许我们甚至可以把它绑在手腕上当手表用，这很简单。未来的手机可能未必是这个样，但我们要打破陈规，这是我们所想象的未来。

作为媒体实验室的学生，有很多公司来我们那里拜访时会说，你是MIT学生，你肯定知道未来是什么样的。我怎么知道呢？我不知道。我们想的就是，与其声称知道未来是什么样的，不如提出未来可以是什么样的。我希望未来不是一个像素主宰的世界，我们的手不是处于次要的位置，我们可能可以设计出像右图那样的感觉的电脑，我们可以感受彼此，彼此交互，并与这个丰富的世界交互。用上我们的双手，有创意地表达自己。因为我觉得，我们一起协作时会快乐，我们是社会动物，我们需要社交。随着远程协作工具越来越丰富，我想这个是很有力量的概念。我很相信要快乐，就要发明新东西，并且要有创意地表达我们自己。我想我们会有相应的工具和环境来做到这一点。假如让我来说我心目中所向往的未来，那就是从电脑这种消费品前走开，去有创意地表达自己，并彼此沟通。