请选择 进入手机版|继续访问电脑版
返回列表 发新帖回复

[教程] 一文带你读懂DeepMind新论文,关联推理为什么是智能...

[复制链接] 【【【进入图片模式】】】
  • TA的每日心情
    萌哒
    2017-6-27 11:36
  • 1

    主题

    1

    帖子

    47

    积分

    学徒

    Rank: 1

    积分
    47
    发表在  2017-8-9 16:25:55  | 显示全部楼层 | 阅读模式
    干货 | 一文带你读懂DeepMind新论文,关联推理为什么是智能最重要的特征

    每一次DeepMind发布一篇新论文,媒体都会疯狂地报道。其中不乏许多让人迷惑的术语。比如就有未来主义者这样报道:
    DeepMind开发了一个可以感知周围事物的神经网络。
    这不仅仅误导人,还吓跑了那些没有接受过博士阶段的学习的人。所以在这篇文章里,我打算用尽量简单的语言来解释这个新的神经网络架构,这篇文章也要求一些神经网络方面的基础知识。
    你可以在这里找到原论文:https://arxiv.org/pdf/1706.01427.pdf
    什么是关联推理?
    简单来说,关联推理是去学习不同物体(想法)之间的联系,这被认为是智能最为重要的特征。论文作者用了一个图形示例来解释:

    一文带你读懂DeepMind新论文,关联推理为什么是智能...

    一文带你读懂DeepMind新论文,关联推理为什么是智能...
    从关联问题的角度来看,上图的模型需要检查不同形状、尺寸、颜色的物体,还能够回答和多个物体相关的问题。
    关联网络
    作者提出了能够抓住物体内在联系的神经网络(正如卷积神经网络能够提取图像的性质)。他们提出了由下式定义的架构:

    一文带你读懂DeepMind新论文,关联推理为什么是智能...

    一文带你读懂DeepMind新论文,关联推理为什么是智能...
    公式解释:

    一文带你读懂DeepMind新论文,关联推理为什么是智能...

    一文带你读懂DeepMind新论文,关联推理为什么是智能...
    神经网络和函数
    当我们在学习神经网络,做反向传播之时很容易忘了,一个神经网络实际上只是一个简单的数学函数!因此,方程(1)所描述的函数是一个神经网络!更准确的说,其中有两个神经网络:

    一文带你读懂DeepMind新论文,关联推理为什么是智能...

    一文带你读懂DeepMind新论文,关联推理为什么是智能...
    关联网络是灵活的
    作者以一个模块的形式提出了关联神经网络。它可以接收被编码了的物体并学习其中的关系。但更重要的是,关联神经网络可以被嵌入于卷积神经网络(CNN),和以长短时记忆单元[Z1] (LSTM)为基础的递归神经网络中。
    卷积神经网络可以被用于从图像中学习物体,这使其更易于被应用。因为能在图像中进行推理比在用户指定的物体中进行推理明显更有用。
    伴随着词嵌入,长短时记忆单元(LSTM)可以被用于理解模型被问及的问题的含义。这是很有用的一个变革,因为模型现在可以接收英文句子而不是预先定义好的物体。
    作者提出了结合关联网络,卷积神经网络和长短时记忆单元来构建一个端到端的、能学习物体之间关联的神经网络。

    一文带你读懂DeepMind新论文,关联推理为什么是智能...

    一文带你读懂DeepMind新论文,关联推理为什么是智能...
    上图解释:
    图像经过一个标准的卷积神经网络(CNN),从中提取出图像的特征。关联神经网络的输入对象是网格中每一个点的特征向量。比如说其中一个对象是黄色的向量。
    问题被传入长短时记忆单元(LSTM)中,产出了一个关于问题的特征向量。也就是这个问题的点。
    同时对方程(1)进行了一些修改,加入另一项使其变成:

    一文带你读懂DeepMind新论文,关联推理为什么是智能...

    一文带你读懂DeepMind新论文,关联推理为什么是智能...
    在上面的公式中,注意到比起方程1多了一个q项。这个q是长短时记忆单元的最终状态。现在关联性是条件于q的。
    在此之后,神经网络输出的对象和长短时记忆单元输出的特征向量被用于训练关联网络。

    一文带你读懂DeepMind新论文,关联推理为什么是智能...

    一文带你读懂DeepMind新论文,关联推理为什么是智能...
    基准
    作者在几个数据集中展示了该模型的效果。这里我们讨论其中一个数据集(在我看来最显著的一个)——CLEVR数据集。

    一文带你读懂DeepMind新论文,关联推理为什么是智能...

    一文带你读懂DeepMind新论文,关联推理为什么是智能...
    作者指出他们的模型比其他方法在精确度上高很多。这是因为关联网络就是为学习关联性而设计的。
    相对于注意力堆模型仅仅75%的准确率,他们的模型达到了96%+的准确率。

    一文带你读懂DeepMind新论文,关联推理为什么是智能...

    一文带你读懂DeepMind新论文,关联推理为什么是智能...
    结论
    关联网络十分擅长高效地学习关联性。同时灵活,可以结合卷积神经网络和长短时记忆来一起解决问题。
    回复

    使用道具 举报

    发表回复

    您需要登录后才可以回帖 登录 | 立即注册 新浪微博登陆

    本版积分规则

    快速回复 返回顶部 返回列表