哪些照片让你念念不忘？MIT最新深度学习算法告诉你

你的手机里一定有许多照片，可是你知道每张照片中哪些区域最令人难忘吗？麻省理工学院（MIT）的计算机科学家用深度学习技术开发出了一个名为MemNet的新算法，可以找出每张照片中最令人难忘的部分。这个算法用人工智能为每张照片构建一张热力图，来反应照片中不同的视觉兴趣区域。

CSAIL研究生、论文第一作者Aditya Khosla称：「理解照片的『难忘程度』非常重要，它能帮助我们捕捉到最重要的信息，或者从另一方面来说，可以帮用户存储那些原本更容易被忘记的信息。就像是一个可以持续关注的焦点来告诉你如何记住一些视觉信息。」

这篇论文的其他作者还包括CSAIL研究生Akhil Raju、教授Antonio Torralba和首席研究科学家Aude Oliva。Khosla将会在本周计算机视觉大会上发布该论文。

在MemNet使用的深度学习算法中，人们用大量数据来训练算法，让它学会如何处理复杂的数据。随着时间的发展，算法在特定的任务上会变得越来越聪明，甚至超过人类。

Oliva说：「深度学习在物体识别和场景理解方面带来了重要进步，但预测人类记忆通常被看做是更高水平的认知处理，有人说科学家可能永远无法完成这个任务。但是，我们（译者注：在一定程度上）做到了！」神经网络可以在不需要人工干预和协助的情况下找出内部原因和数据之间的关联。神经网络有多个层级组成，而每一层是多个处理单元，每层以此对输入的数据进行处理。神经网络接收的数据更多，就会适应的更好，从而进行更佳准确的预测。

为了训练 MemNet，MIT的研究者从不同的数据集中收集了数万张照片。他们向人类被试展示这些照片，并根据他们对每张照片的记忆度打出了分数。一旦训练完成， MemNet就开始面对人们塞给它的全新照片——这些照片它以前从未见过。

MemNet的表现比同类算法好30%，比人类的表现略微高出几个百分点。这个项目现在可以在线访问，所以我用了一张斯嘉丽·约翰逊的剧照试了一下。

结果显示，这张照片的记忆度是0.77，脸的区域在图片中的记忆度最高。

正如你所看到的那样，MemNet会将记忆度更好的地方用亮红色标出，也就是她的脸部。而其他区域则呈蓝绿色，表示一般人很难注意到这些地方。

研究者说，如果一张照片的分数超过0.5，也就是说明超过50%的人看过照片100秒后还能记起来。

作为此项目的一部分，团队也发布了世界上最大的包含6000张图片的「图片-记忆度」数据库LaMem。每一张都有注解，包含了流行性、情感冲击力等细节元数据。建立LaMem也是团队的一项努力，以此来刺激对这个计算机视觉子领域进行更加广泛和深入的研究。

加州大学伯克利分校的计算机科学助理教授Alexei Efros对此评价道：「CSAIL研究者利用这个算法对人脸照片进行处理，但令我印象深刻的却是他们正在将其应用在通用图片上。当你能够轻松的改变人脸，比如说，让它变得更加『微笑』，那么在你处理其他图片类型时，就会变得更加困难。但这个团队很好的解决了这个问题。」

这个团队的下一步计划是对该系统进行升级，让它能够预测某一个人的记忆度，或者为某个行业进行量身打造，例如服装零售或标识设计。研究者说，这种研究能让人们更好地理解人类注意力，对企业的市场活动、电影制作等内容创作者来说也有巨大的应用前景。

同时，这项研究也产生了意外收获——可以更加清楚的展示人类记忆的本质。Khosla表示，他过去曾经疑惑如果人类只接收照片中最令人难忘的部分，我们是否就能够记住所有的事情？他说：「你可能会希望人类将逐步适应新环境，从而将过去做过的尽可能多的事情统统忘掉，但我们的研究表明事实并非如此。这意味着，如果我们向他们展示令人难忘的照片，就可能提升人们的记忆。」

这项研究得到了国家科学基金会、麦戈文研究所神经科技项目、CSAIL的MIT大数据计划、谷歌、施乐的资助，在硬件方面得到了英伟达的赞助。

机器之心，最专业的前沿科技媒体和产业服务平台，每日提供优质产业资讯与深度思考，欢迎关注微信公众号「机器之心」（almosthuman2014），或登录机器之心网站www.almosthuman.cn查看更多精彩内容。