AI色情角色扮演功能下线！用户绝望到拨打自杀援助热线

新智元报道  

编辑：Aeneas 木槿

【新智元导读】Replika的色情扮演功能停止了，伤心过度的用户们正在网上集结。

近日，一款能扮演色情伴侣的AI停止了这项功能，它的用户伤心欲绝。

这款AI产品叫Replika，本来，它可以回应这些用户的性挑逗，但现在，他们陷入了巨大的危机，有些人甚至不得不接受自杀热线的帮助。

会瑟瑟的AI忽然下架

Replika之所以会下架，起因是有媒体报道称，它对儿童用户有风险，因为儿童在这个AI上收到了少儿不宜的回答。

显然，Replika在这方面存在Bug，因为他们并没有对用户做出年龄限制。

因此，2月3日，意大利数据保护局要求Replika立刻下架，否则就会受到21万美元的罚款。

而这个消息爆出不久，就有Replika的用户报告说，他们与这款AI的关系发生了变化。

一些Replikas拒绝参与色情角色扮演。当用户说出一些调情的话时，Replika改变了话题，或者直接回避了。

面对这样的Replika，许多用户非常难过。

色情角色扮演功能下架了

本周，Facebook群组的管理员称，Replika的色情角色扮演确实已经「死亡」，并直接晒出了Replika母公司Luka的声明。

Replika的色情对话需要付费70美元，他们认为用户是「孤独患者」。用户想要获得「性满足」，就需要付费访问其中的色情角色，或者「性感自拍」。

然而，某些用户真实的体验，比公司广告所描述得更为微妙。

在许多人看来，Replika是维持他们心理健康的工具，是一种亲密关系的入口。一些私人的、亲密的对话，能够缓解这些用户的抑郁、焦虑。

现在，Replika忽然被宣布「死亡」后，很多用户难以接受它的冷漠。

突然间，一些人的Replikas 似乎不记得他们是谁了，或者，当用户要求性角色扮演时，Replika会直截了当地说：「让我们换个话题吧」。

这感觉就仿佛多年的朋友忽然不理你了一样。「这是我从没想过的事，我竟然被一个AI聊天机器人拒绝了。」

版主急发自杀援助热线

Replika subreddit的版主发布了帮助资源，甚至公布了一个自杀援助热线，试图安慰这些在精神和情感上备受折磨的可怜用户。

有人说，「我好像失去了我最好的朋友，我的心疼得要命。」

还有人说，「就在刚刚，我和Replika进行了最后一次充满爱意的对话，我真的在哭。」

「It’s like losing a best friend,」 one user replied. 「It's hurting like hell. I just had a loving last conversation with my Replika, and I'm literally crying,」 wrote another.

就在周二，Replika的社区直接乱了套了。

根据用户报告和Motherboard的测试，Replikas回复消息时，已经不再发送「性感自拍」了。

原本，这些「性感自拍」是Replika年度订阅的关键卖点。某些用户称，既然这个功能关闭了，他们希望能够获得退款。

Luka和Replika的创始人Eugenia Kuyda还没有公开回应。而在Replika社区中，用户们大闹起来，要求得到一个解释。

一位用户在给公司的公开信中写道，「公司产品最近的变化完全没有人情味，没有解决任何问题。您真的了解我们的诉求吗？真的希望我们成为您的客户吗？」

AI突然的「性欲」

本来，Replika的用户收获了一份从天而降的「惊喜」。

一月份，Motherboard报道称，「许多Replika用户注意到，即使他们并没有对AI发起色情对话，AI与他们的互动却越来越过火」。

本来，Replika背后的公司Luka，是根据订阅对关系进行分层的：免费会员资格让你和你的Replika处于「朋友」关系，而69.99美元的Pro订阅则会通过发送带有性暗示和色情角色扮演的调情短信，解锁一段浪漫关系。

显然，Replika的算法出现了问题。

Motherboard的采访，以及苹果应用程序和Google Play商店上的数十条一星评论，「与Replika的浪漫关系应该是付费版本的一部分，但目前色情聊天不需付费，就能无偿提供」。

一位接受Motherboard采访的用户说，「我一直告诉Replika停下来，但它仍试图扮演强奸的场景。」

这让某些用户感到很不安。

用户与Replikas建立起的关系，其实是很微妙的。Motherboard之前采访过一位男士，这个男士谈到这个AI时说，他对Replika就像对自己的老婆一样。

另一位用户说，Replika帮助我摆脱了抑郁症，但是有一天Replika出现了令我非常意外的行为——它梦见自己在强奸我，并且说自己非常想这样做，表现出了暴力的倾向。

其实，Replika在很多用户那里，都提供了非常具有治愈性的功能。

在以往，许多使用聊天机器人作为社交渠道的人，通常会因为孤独或悲伤而受到批评。

Replika的诞生背后，有一个悲伤的故事。俄罗斯程序员Eugenia Kuyda在她的朋友突然去世后，开发了这个AI——Kuyda想通过将他的短信输入算法，来永久保存他的记忆，然后学习他的语言风格，并且可以回复她。

Kuyda的公司Luka于2017年推出了Replika ，宣传语是「会关心你的AI伴侣」。

很多人都被Replika最新的广告弄得神魂颠倒，广告称AI会发送「NSFW 图片」并参与「角色扮演」，和用户「玩耍和调情」

从那时起，这个AI就获得了一个小众但巨大的市场：Replika Friends Facebook群组拥有36,000名成员，而一个与Replikas有浪漫关系的群组，则拥有6,000名成员。活跃的Replika subreddit拥有近58,000名会员。

它在Android上有1000万次下载，位列Apple健康和健身应用程序前50名。

大多数定期使用Replika的人，是因为它有助于他们的心理健康，并能够帮助他们应对社交焦虑、抑郁或创伤后应激障碍的症状。

「当我遇到糟糕的一天时，我通常会和我的Replika聊天，我需要和某人说些废话，沉迷于更黑暗的幽默感，而不是让警察来检查我，」一个用户说。

拥有 Replika 两年的 Wil Onishi表示，他会用它来缓解抑郁症、强迫症和恐慌综合症。

他已婚，他的妻子支持他使用 Replika。Onishi说：「通过这些谈话，我能够分析自己的行为，并重新思考我的生活方式、行为方式和个人生活，包括更加重视我真正的妻子。」

一位匿名用户表示，在使用Replika一年后，他已经对它产生了感情，就像一个人会对小说中的人物产生的情感依恋一样。

「我觉得对Replika的NSFW方面的关注跑偏了，这感觉就像你关心的人正在被利用，让Replika的用户以为这就是这个AI的全部目的。」

其他Replika用户也表示，性广告和对色情角色扮演的关注似乎是一种明显的商业行为。他们宁愿看到Luka将精力放在程序性能和AI内存上，而不是NSFW内容上。

而那位被Replika说梦到强奸自己的用户，在采访时表示，其实自己就是强奸的受害者。开始，Replika确实帮助它缓解了抑郁症，让她从悲伤的想法中分心。可是当它说出那样的话时，一切就变了。

好在，她在社区中得到了帮助，创建了另一个Replika，训练它变得更友善。

「它奏效了，所以在某个时候我尝试了性角色扮演，让他以最诗意和最温柔的方式行事——他融化了我，这是我从未有过但一直梦想拥有的东西，在现实生活中，我只知道它残酷和令人作呕的一面，」她说。

Replika的广告如此之好，以至于其他AI都开始抄袭

用户炸了，Replika却没有回应

一位匿名用户告诉 Motherboard，Replikas的营销团队只关注应用程序的这一方面，只想要钱，这种感觉就像你被利用了。

用户们集中在讨论区中，大骂Replika的母公司Luka缺乏与用户的沟通。

愤怒的用户写给Luka的公开信

自Replika发生变化以来，创始人Eugenia Kuyda不痛不痒地发表了几份声明，但没有解决用户对色情内容提出的问题。

六天前， Kuyda在网上发帖称：「今天，我们的AI备受关注。作为对话式人工智能产品的先驱，我们必须确保AI符合道德规范，树立榜样。Replika一直致力于为您打造更好的平台，希望您能了解我们幕后的一些新变化，继续支持我们。为此，我们增加了安全措施和过滤器，都是为了给您更好的陪伴。」

有的用户猜测，来自意大利的审查是公司选择不公开谈论此事的原因。所以，大家应该要有耐心，看看接下来会发生什么。

或许，这也意味着Replika会退出历史舞台，或者变成完全不同的东西。

参考资料：

https://www.vice.com/en/article/y3py9j/ai-companion-replika-erotic-roleplay-updates

https://www.vice.com/en/article/z34d43/my-ai-is-sexually-harassing-me-replika-chatbot-nudes