MIT要用人工智能帮你做菜：上传美食照片，给你一份菜谱

李林 编译整理 量子位 报道 | 公众号 QbitAI

在朋友圈看见美食照片总想自己做一份？MIT来帮忙了。

MIT的计算机科学及人工智能实验室(CSAIL)本周和卡塔尔计算机研究中心(QCRI)一起训练了一个人工智能系统，名叫Pic2Recipe。给这个系统一张食物照片，它会告诉你该怎么做出来。

视频内容

Pic2Recipe能通过食物照片推断出面粉、鸡蛋、黄油等食材，然后从它的数据库中选出几份与图片最相似的菜谱推荐给你。

据CSAIL团队介绍，因为训练数据集中甜点很多，这个系统尤其“擅长”做曲奇、松饼之类的甜品，而很难教你做卷寿司、奶昔一类的食物，因为通过图片判断食材太难了。

他们还做了个网页版demo，你也可以亲自试一下： http://tuesday.csail.mit.edu:4242/

要完成这个任务，最大的障碍是没有合适的大规模训练数据集。

2014年，瑞士的研究人员们建立了一个Food-101数据集，训练出来的系统识别食物的准确率只有50%，后来几经迭代，也只达到了80%的准确率。

中国香港城市大学有个比较大的数据集，包含11万张图片和6.5万份菜谱，但是只有中餐。

于是，CSAIL的团队从All Recipes、Food.com等菜谱网站取材，建立了Recipe1M数据集，其中包含覆盖多种菜系的100万份菜谱，人工标注了其中的食材等信息。

然后，他们用这个数据集和训练了一个神经网络，让它去建立食物照片和食材、菜谱之间的关联模式。

不过据TheVerge评价，拉面、薯片、日式烧牛小排这些食物，这个系统一律认不出，汉堡会认成三明治，但是给它一张模糊的蛋糕粉的照片，倒是能给出好几种推荐菜谱。

关于Pic2Recipe的论文Learning Cross-modal Embeddings for Cooking Recipes and Food Images发表于本周的计算机视觉顶级会议CVPR上。

论文地址： http://im2recipe.csail.mit.edu/im2recipe.pdf

Demo地址： http://tuesday.csail.mit.edu:4242/

据说也挺擅长识别热狗的……