TeachAI实验思考｜shadow的实验室

设计师／产品经理只有懂得技术的新特性，才能为产品融入新的玩法。设计师也应该关注新技术带来的新的交互方式的变化，研究怎么样的交互方式才适合基于浏览器的深度学习应用。

tensorflowJS 官方有个基于 MobileNet 的迁移学习例子：

该游戏给我们提供了一个基于用户个性化数据的玩法。用户可以非常低成本的训练属于自己的图像分类模型，用于各种分类问题。我们可以拓展下，比如识别用户的手势动作，来控制游戏中的人物；识别用户的表情，控制3d人物的表情；识别图像中的人脸数量，自动隐藏所浏览的内容，防止被窥视……甚至 autodraw 、ui2code 、手写字识别等这些应用都可以尝试融入用户个性化的数据再训练的玩法，给予用户掌控权。

我认为新技术都会有一种很自然的新的交互方式与之匹配。基于浏览器的用户个性化数据再训练，可以提炼出以下基本的交互流程：

—> 设定“概念”

—> 采集数据

—> 开始训练

—> 使用用户数据

—> 核心功能

—> 完成任务／得到某个结果。

用户使用自己的数据，应用更符合用户个性化特征，是一种不同于个性化推荐的“个性化”产品设计方法。

技术产品化趋势

近些年来，艺术模型工具有 runway.ai，微软最近出了 lobe……

Lobe 通过免费，易于使用的应用程序帮助您训练机器学习模型。只需向其显示您希望它学习什么的示例，它就会自动训练可以在您的应用程序中提供的自定义机器学习模型。无需任何代码或经验。

这是一个趋势，技术产品化，普通人使用AI的门槛越来越低～

我抽空基于 tensorflowJS，完成了一个在网页上可以教机器学习任何 “概念” 的js库。

提供一个类似于 “编辑器” 的界面，让任何用户都可以方便地录入数据，训练模型，测试效果。

作为示例，我仿照上文判断“喝水”的应用，我训练了一个识别 shadow 有没有在打电话的模型，见上图。

除了获取摄像头的图像作为数据集之外，我们还可以自行收集图片作为输入，应用于特定领域的分类问题。

比如，我们可以训练一个设计风格的分类器，判断图片是哪一种类型的，从而决定接下来的策略。我收集了3种类型的图片，然后基于此工具训练了模型，测试下来，准确率有85%。

100% 的准确率肯定达不到的，因为这不是一件非常机械的分类问题，对于设计风格的理解，具体的呈现有很多细微的不一致，本身无法很准确地分类到某一种类别中。

因此，预测的结果，我认为是一个排序问题，机器返回的是可能的答案组，而不是唯一的答案。

另外，为了控制模型的准确率，我一开始是把设计风格简化到只有 2 类，二分类问题的准确率就非常高，然后，结合实际情况，针对设计风格，应该是简化到 3 类比较合理：从抽象到具体。

结合实践情况，简化多分类问题至 “二分类” 。

反过来，从实际的设计图纸的分布来看，确实都可以在 3 种类型中划定一个区域范围。

以上是这几天的实验思考~