您当前的位置: 首页 > 健康

谷歌和 OpenAI 强强联手找到了神经网络「黑盒子」的正确打开方式!

2019-08-16 10:11:40

AI 科技评论按: 现代经常被吐槽为「黑盒子」。尽管它们在各类问题上都取得了成功,但我们仍无法直观地理解它们是如何在内部做出决策的。随着系统被应用到更多重要的场景中,更好地了解其内部决策过程将有助于研究者能够及时发现其中的缺陷和错误。对此,谷歌 AI 研究院与 OpenAI 一起合作提出了能够弄清这个「黑盒子」里面到底有什么的新方法——激活图集。谷歌在博客上发布文章介绍了这一意义重大的成果,雷锋网 AI 科技评论编译如下。

神经网络已成为图像相关计算任务中的实际标准,目前已被部署在多种场景中:从自动标记图像库中的照片到自动驾驶系统,我们都能看到神经网络的身影。鉴于机器学习系统的在执行方面的准确性比不使用机器学习、直接由人为设计的系统更好,机器学习系统开始变得无处不在。但是,由于这些系统所了解的基本信息都是在自动训练过程中学习到的,因此我们对于网络处理其给定任务的整个过程的了解,有时仍然隔着一层纱。

近期,经过与 OpenAI 同事的通力合作,我们在发表的《用激活图集探索神经网络》论文中(「Exploring Neural Networks with Activation Atlases」,论文地址: https://distill.pub/2019/activation-atlas )论文中,描述了一种新技术,旨在帮助回答「给定一张图像时,图像分类的神经网络能“看到”什么」的问题。激活图集提供了一种融入卷积视觉网络的新方法,为网络的隐藏层内部提供了一个全局的、层级化和可解释的概念综述。我们认为,激活图集揭示了机器针对图像学到的字母表,即一系列简单、基础的概念,它们被组合并重组进而形成更复杂得多的视觉概念。同时,我们还开源了部分 jupyter notebooks 的代码,以期帮助开发者们开始制作自己的激活图集。

InceptionV1 视觉分类网络其中一层的激活图的详细视图。它展示了网络用于对图像进行分类的许多视觉检测器,例如不同类型的水果状纹理,蜂窝图案和类似织物的纹理。

下面显示的激活图集是根据在 ImageNet 数据集上训练的卷积图像分类网络 Inceptionv1 构建的。通常,给分类网络输入一张图像,然后令其标记出该图像属于 1000 个预定类别中的哪一类,例如「意大利面」,「通气管」或「煎锅」。为此,我们通过一个约十层的网络来评估图像数据,该网络每层由数百个神经元组成,且对于不同类型的图块,每个神经元在图像块的激活程度不同。某层中的一个神经元可能对「狗耳朵」图像块的激活程度更大,而另一层的另一个神经元可能会对高对比度的「垂直线」图像更敏感。

我们从一百万张图像的神经网络的每个层中收集到了内部激活图,并构建了一套激活图集。这些激活图由一组复杂的高维向量表示,通过 UMAP 投影到有用的二维布局中,其中 UMAP 是一种保持原始高维空间局部结构的降维技术。

这就需要组织激活向量,并且因为激活图太多而无法一目了然,所以我们也需要将它们整合成一个更易于管理的数量。为此,我们在之前创建的 2D 布局上提前绘制好了网格。对于网格中的每个单元格,我们对位于其边界内的所有激活取均值,并使用特征可视化来创建图标表示。

左:通过网络输入一组一百万张随机图像,每个图像收集一个随机空间激活图。中间:通过 UMAP 提供激活以将其降维到二维。然后绘制,相似的激活图彼此临近。右:然后我们绘制一个网格,对一个单元格内的激活取均值,并对平均激活做特征转置。

下面我们可以看到仅一层神经网络的激活图集(请记住,这些分类模型可以有六个或更多层)。它显示了在该层,网络在做图像分类时学到的一般视觉概念。这张图集第一眼看上去气势如虹——感觉很多东西在一起涌过来!这种多样性反映了模型所演化出来的各种视觉抽象和概念。

总览多层(mixed4c)Inceptionv1 网络中其中一层的的激活图集。它大约是整个网络的一半。

在这个细节中,我们可以看到不同类型的叶子和植物的探测器

在这里,我们可以看到不同的水,湖泊和沙洲探测器。

在这里,我们看到不同类型的建筑物和桥梁。

正如我们前面提到的,该网络中还有更多层。让我们看一下这个层之前的层,并深入网络中探索视觉概念是如何变得更加细化的(每个层在前一层的激活顶部构建其激活)。

在前面的一层——mixed4a 中,有一个模糊的「哺乳动物」区域。

通过网络的下一层,mixed4b,动物和人类已被分离开,中间出现了一些水果和食物。

通过层 mixed4c,这些概念被进一步细化并区分为小「半岛」。

在这里,我们已经看到了从一层发展到另一层的全局构架,但每个概念在层的发展过程中也变得更加具体和复杂。如果我们聚焦于有助于特定分类的三层区域,比如「白菜」,我们可以清楚地看到这一点。

这里还有另一个值得注意的现象:当你从一层到另一层移动时,不仅概念被细化,还会出现旧概念组合之外的新概念。

您可以看到,在 mixed4c(左和中)中,沙子和水是完全不同的概念,两者都有被分类为「沙洲」的明显属性。将其与后一层(右),mixed5b 进行对比,以上两种概念似乎被融合为了一个激活图。

除了放大特定图层整个激活图集的某些区域外,我们还可以在 ImageNet 中仅为 1000 个类中的一类创建特定图层的图集。下面将展示网络分类任务中的常用概念和探测器,例如「红狐狸」。

这里,我们可以更清楚地看到网络正在用什么标准来分类「红狐狸」。他们有尖尖的耳朵,被红色的皮毛包围的白色嘴鼻,以及繁茂树木或雪域的背景。

这里,我们可以看到「瓦屋顶」探测器的许多不同尺度和角度。

对于「野山羊」,我们看到了角和棕色皮毛的探测器,还有我们可能会发现这些动物的环境,如岩石山坡。

像瓦片屋顶的探测器一样,「朝鲜蓟」也有许多不同大小的探测器,用于探测朝鲜蓟的纹理,但我们也有一些紫色的花探测器,它们可能是检测朝鲜蓟植物的花朵。

这些图集不仅揭示了模型中细微的视觉抽象概念,而且还揭示了高层次的误解。例如,通过查看「大白鲨」的激活图集,我们可以看到水和三角形的鳍(正如预期的那样),但我们也会看到看起来像棒球的东西。这暗示了这个研究模型所采用的捷径,它将红色棒球与大白鲨的张开嘴混合在一起。

我们可以用棒球图像的补丁来测试这一点,以将模型的特定图像的分类从「灰鲸」切换为「大白鲨」。

我们希望激活图集能成为一种使机器学习更易于理解且解释性更强的技术的有用工具。为了帮助开发者入门,我们还发布了部分 jupyter notebooks 代码( https://github.com/tensorflow/lucid#activation-atlas-notebooks ),通过单击 colab( https://colab.research.google.com/ ) 就能立即在浏览器中执行程序。它们创建的基础就是之前发布的工具包 Lucid,其中包括了许多其他可解释性可视化技术的代码。很期待各位能有所发现!

via: https://ai.googleblog.com/2019/0 /exploring-neural-networks.html  雷锋网 (公众号:雷锋网)

 •  1分钟前 关注钛媒体每日、每月整理发布的行业坏消息榜,一榜略尽当日最具影响的坏消息。6月25日消息,行业代表表示,在新闻、旅游和在线购物等行业,谷歌的竞争对手正在准备文件和数据,准备与美国司法部会面。长期以来,许多此类公司一直声称,大型科技平台非法滥用了它们的市场权力。近年来,欧洲当局已因涉嫌垄断行为对谷歌处以三倍的罚款。谷歌支

 •  7小时前 《连线》消息,Google 母公司 Alphabet 公布了多伦多智慧社区 Quayside 的设计图纸。Alphabet 预计将投入 1 亿美元,多伦多政府将对计划进行审批。据悉,Alphabet希望所有建筑都用木材建设,因为对环境更好;计划创建一个地下气动管道系统,以处理垃圾;这里的街道还将配有自动驾驶汽车,规划也

Google 开发者宣布,备受争议的 Manifest v 预览版将在 7 月底或 8 月初发布。在安全、隐私和性能的名义下,Chrome 的新扩展系统 Manifest v 限制了广告和内容屏蔽功能。Manifest v 用 declarativeNetRequest API 取代了

 •  1天前 Google 正在实现自己的 curl2019年06月24日 12时48分 curl 开发者 Daniel Stenberg 称,Google 正在实现自己的 curl。Google 使用 Chromium 的网络协议栈 Cronet 去实现名为 libcrurl 的库,并将

 •  1天前 就在Slack在股市上亮相之际,有一家大公司却不允许员工在日常工作中使用这款企业协作和聊天应用软件。微软已禁止其100000多名员工使用免费版Slack。IT外媒GeekWire报道,微软禁止员工使用一系列的应用软件和服务,连AWS和Google Docs在该公司内部也“被阻止使用”。不过,封杀Slack的主要动因并不

 •  1天前 6月21日消息,进入谷歌一份有关VR头戴式显示设备的散热专利曝光,根据专利图显示,这是一套基于蒸汽变换的散热体系,这点和其它VR设备中的风冷不同。实际上,这种散热方式也被很多手机厂商所采用,也就是大家所说的液冷散热。而该液冷方式和大家在PC中所谓的液冷有所不同,本文种所提的具体来讲是蒸气式散热,即液体预热便蒸汽,冷却后

 •  1天前 Pxiel Slate 2 不会有了,它已经被 Google 判了死刑。根据 Business Insider 和 Computer World 的报道,Google 不会再推出去年的平板设备 Pixel Slate 的后续产品,而是将 Chrome OS 的重点放在 Pixelbook 这样的更接近传统笔记本的设备上

在 iPad 方面积极发展,Google 去年也久违地推出了 Pixel Slate 二合一平板电脑来应对。然而在产品本身的一些问题之外,Google 也发现平板电脑市场似乎不适合他们。我们主站收到 Google 的一份新闻稿,他们的发言人表示自己作为第一方硬体厂商,将会集中到 C

 •  1天前 日前,谷歌与中国超过 0 家博物馆及艺术文化机构,共同推出了《观妙中国来自谷歌艺术与文化》App,可帮助用户在线体验国内多家博物院,包括故宫博物院、中央美术学院美术馆和四川博物院等。今日,谷歌官方表示还带来了全新成员上海当代艺术博物馆。上海当代艺术博物馆坐落于黄浦江畔,其高达 165 米的烟囱是上海的城市地标之一。

厂商都会收集用户的数据,以便为其提供更好的服务。可论及如何保护用户的数据时,就没有多少厂商愿意就此事做出具体的说明。现在 HMD Global 希望能让用户更放心的使用诺基亚手机,于近日宣布与 Google Cloud 合作,将诺基亚手机发送的激活信息和设备性能数据传输至芬兰哈

 •  天前 来自英伟达(Nvidia)、多伦多大学(University of Toronto)和多伦多矢量人工智能研究所(Vector Institute for Artificial Intelligence)的研究人员设计了一种方法,可以更精确地探测和预测物体的起点和终点。这些知识可以改进现有计算机视觉模型的推理,并为未来的

 •  7天前 雷锋网 AI 科技评论按:深度神经网络中有许多连接权重,这些权重的值对网络表现有巨大影响;通过反向传播可以定向优化这些权重,提高网络的表现,这个过程被称作「训练」;训练过程通常需要多轮迭代,需要大量的稠密矩阵运算;这些都是领域内的常识。因为训练过程如此地重要,深度学习研究人员们都会设立多 GPU 阵列加速训练过程,关于

 •  10天前 猎云网近日获悉,AI神经网络解决方案提供商燧原科技宣布完成 亿元A轮融资,由红点创投中国基金领投,海松资本、云和资本、腾讯、阳光融汇资本、信中利资本跟投。本轮资金将用于市场拓展、业务落地、以及产品量产和技术支持,并推动后续系列产品的开发。2018年8月8日,燧原科技宣布完成 .4亿元Pre-A轮融资,腾讯领投,种子轮投

 •  17天前 本文为 AI 研习社编译的技术博客,原标题 :Shallow Neural Networks 作者 |  Rochak Agrawal翻译 | hxyzzz0     编辑 | 邓普斯•杰弗、王立鱼原文链接:https://towardsdatascience.com/shallow-neura

 •  19天前 我们已经讨论过很多关于智能城市的话题。越来越多的科技企业加入这个产业大命题,从无人驾驶、车路协同,再到城市大脑,一系列软硬件要素蓬勃而出,誓要让交通生活旧貌换新颜。 截至2018年底,我国 智能交通 千万级以上的项目(不含公路信息化)就有1167个。 然而,就在大家普遍在对车与路的故事满怀

 •  22天前 图片来源@视觉中国文|脑极体身为现代都市人,如果没有一点 焦虑感 ,简直都不好意思跟人打招呼。什么,你竟然每天都乐观积极正能量,是不是家里有矿?佛系生活,跟不思进取有区别吗?适当焦虑,确实有助于人们努力奋斗、实现自我,但长时间地沉浸在焦虑之中,却有可能导致身体的炎性,加快衰老进程,更严重的,带来

 •  1月前 雷锋网 AI 科技评论按,本文作者[韦阳](https://www.zhihu.com/people/godweiyang/posts 韦阳 ),本文首发于知乎专栏[自然语言处理与深度学习](https://zhuanlan.zhihu.com/godweiyang 自然语言处理与深度

 •  1月前 图片来源@视觉中国文|脑极体如果问一个问题 能够进行深度神经网络计算的芯片有哪些?大家给出的答案可能五花八门:CPU、GPU、DSP、NPU 过去几年里,电子计算已经成为实现人工智能算法 尤其是深度神经网络模型

 •  1月前 公众号/将门创投From: Wired 编译: Ace相信很多朋友在尝试调戏Siri、小冰等AI助手时,应该都获得过令人捧腹大笑的回答,Siri甚至一度荣获“最佳段子手”称号。但是当你尝试对它们使用一些连人类都得思考一会儿的双关语时,他们往往就只能无奈回答“抱歉请您再说一遍”了。创造性语言,尤其是具备基本的幽默感,是人

专注科技资讯挖掘,通过关键词过滤科技资讯,提高阅读效率10倍以上。 网站定位极少数高效能人士,精准快速定位资讯,大大提高阅读效率。

推荐阅读
图文聚焦