随着神经网络领域新成果的不断发展，需要解决的问题也有相应的，能够解释决策的方法包括建立对真实世界行为的信心、偏差检测模型和科学好奇心。为了做到这一点，我们需要构造抽象的深度。丰富的接口修改(或实例)。可以说，除了极少数例外，现有的研究对这一点的解释有多大，并没有任何贡献。机器学习社区致力于开发强大的方法，如视觉特征、属性和维度约简，用于解释和理解神经网络。

        然而，这些技术被认为是孤立研究的线索，对其改性的研究也被忽视。另一方面，社区对开放界面进行了初步探索，丰富的神经网络用户界面，但它们也没有这些抽象概念有待进一步研究。使用这些抽象的概念，它已经在相当标准的方式。因此，我们留下了很多不实用的界面(如突出图或相关摘要)，神经元将是一些有价值的东西。

        更糟糕的是，许多解释技术还没有完全应用到抽象中，因为没有这样的压力，所以它们可以扩展或合并。在本文中，我们将阐述现有的方法，作为丰富用户界面的基础和构建块的组合。我们发现，这些不同的技术现在集中在一个统一的语法中，实现了在最终接口中的互补作用。此外，这种语言方法使我们能够系统地解释空间探索的界面，以便我们能够评估它们是否符合具体目标。

        我们将展示一些接口，它们显示网络信息检测到的信息，并说明网络是如何理解发展的，同时保持了大量的人类信息的规模。例如，我们将看到一个拉布拉多猎犬观察网络是如何检测它的软耳朵，以及它是如何影响分类。在本文中，我们在表示概念的界面上使用了图像分类模型Google LeNet，因为它在神经元中看起来很不寻常。虽然本文对任务和网络的语义进行了具体的选择，但我们提出了它们的基本抽象和组合模式，仍然可以应用于其他A型神经网络的领域。

 了解隐层最新研究解释涉及到神经网络的输入，输出层。可以说，结果主要是由于这些层的清晰含义：在计算机视觉中，输入层代表输入图像中每个像素的红色、绿色和蓝色通道值，而输出层由类标签及其相关的概率组成。在网络上找到新的输入表示形式。在计算机视觉中，我们使用神经网络在图像中的每个位置运行相同的特征检测器。我们可以把每个层的学习表示看作是一个三维立方体。多维数据集中的每个单元都是一个激活。

        或神经元的数目。x轴和y轴对应于图像中的位置。z轴是计算机视觉中神经网络各隐含层上的活动立方体。多维数据集的不同片段允许我们针对单个神经元、空间位置或通道的激活。理解这些激活是困难的，因为我们通常把它们当作抽象的向量来对待。

        然而，通过特征可视化，我们可以把这个抽象的向量转换成更有意义的语义词典。为了创建语义词典，我们将每个神经元的激活与该神经元的可视化相结合。并根据激活的大小对它们排序。激活和特征可视化的结合改变了我们和底层数学对象之间的关系。激活现在映射到图标的表示，而不是抽象索引。

        其中许多类似于人类的创造力，如“软耳朵”、“狗鼻子”或“毛皮”。语义词典的力量不仅仅在于它们摆脱了无意义的索引。因为它们代表了典型样本神经网络的学习抽象。通过对图像进行分类，神经网络学习了一系列视觉抽象，因此图像是用来表示它们的最自然的符号。如果我们使用音频，那么更自然的符号可能是音频剪辑。

        这很重要，因为当神经元看起来适合人类的思维时，它们很容易被简化成单词。

        但这样做是一个有损的操作，甚至对于类似的抽象，网络可能已经学到了更深层次的细微差别。例如，谷歌lenet有多软耳检测器检测耳朵的凹陷。长度和周围环境的细微差别。也可能有视觉上相似的抽象，但我们对它们没有很好的自然语言描述：例如，当阳光照射到水面时，就会拍摄到一个特定的闪光柱。网络可以学习我们不寻常的新抽象概念，自然语言可以使我们完全失败！！！一般来说，一个典型的例子是一个更自然的方式来表示外国的抽象，神经网络学习比人类语言，给隐含层的意义。

        语义词典解释我们现有技术提供依据，使它们的组合积木。就像它们的基本向量一样，我们可以减少它们的维数。在其他情况下，语义词典允许我们进一步开发这些技术。例如，除了当前在输入和输出级别使用的单向属性外，语义词典还允许特定隐层的属性转换。

        原则上，这项研究可以不用语义词典来完成，但是结果意味着什么还不清楚。网络看到了什么？一种用来探测软耳朵、狗鼻子、猫头、毛茸茸的腿和草的探测器。语义词典提供了一个细粒度的激活视图：每个单个神经元都能检测到什么？在此基础上，我们还可以考虑激活向量作为一个整体。我们可以想象在给定空间位置发射的神经元的组合，而不是可视化单个神经元。

        我们优化图像以使激活点和原始激活向量之间的点积最大化。）将此技术应用于所有激活向量，以便我们不仅能看到网络在每个位置检测到的信息。我们也可以了解网络了解整个输入图像，并通过跨层（如“mixed3a”、“mixed4d”），我们可以看到网络的理解的发展：从早期的层边缘检测。对于后者的形状和对象的更复杂的部分。

        然而，这些可视化忽略了一个关键信息：激活的大小，根据激活向量的大小对每个单元的面积进行缩放，我们可以指出网络在这个位置检测到的特征强度：。

        如何组装概念？特性可视化帮助我们回答网络检测到的内容，但它不回答网络如何将这些单独的部分组合起来做出最终决定。或者为什么要做出这些决定。归因是一套通过解释神经元之间的关系来回答这些问题的技术。有许多归因方法，但到目前为止，似乎还没有明确和正确的答案。事实上，我们有理由认为，到目前为止，我们的答案没有一个是完全正确的。我们认为对归因方法的研究很多，但就本文而言，准确的归因方法并不重要。我们使用了一种相当简单的方法，关系的线性近似，可以很容易地被任何其他技术所取代。

        最常见的属性界面与突出地图称为显著图，一个简单的热图。高亮显示导致输出分类的输入图像的像素。我们发现目前的方法有两个缺点。目前还不清楚单个像素是否是属性的基本单位。每个像素的含义与其他像素纠缠在一起，对简单的视觉转换(如亮度、对比度等)不具有鲁棒性。第二，传统的显着图是一种非常有限的接口类型，每次只显示一个类的属性。

        也不允许你深入研究个别的观点。由于它们没有明确地处理隐藏层，因此很难充分探索它们的设计空间。通道属性通道属性：通过将属性应用于隐藏层的空间位置，另一种方法是通过通道而不是空间位置来裁剪我们的活动立方体。这允许我们执行信道属性：每个检测器对最终输出有多大的贡献？该方法与Kim等人的同时代工作相似，该方法将归因与学习渠道组合结合起来。

        本文提出的接口思想结合了特征可视化和属性化等构建模块。将这些片段组合在一起并不是一个任意的过程，而是遵循基于接口目标的结构。例如，如果接口强调网络可以识别什么，那么它就会优先考虑它的理解是如何进化的，或者关注事物是如何在人类的范围内进化的...为了评估这些目标和理解权衡，我们需要能够系统地考虑可能的替代方案。我们可以将接口看作是元素的组合。这些接口的可信度如何？为了使可解释的接口更有效，我们必须相信它们告诉我们的故事。

        我们认为目前使用的一系列建筑模块存在两个问题。首先，在不同的输入图像中，神经元是否具有相对一致的意义，它们是否通过特征可视化来准确地表示？语义词典和基于它们的接口是以问题的真实性为前提的。第二，归因是否有意义，我们能相信现有的任何归因方法吗？模型行为非常复杂，我们当前的构建块只允许我们演示它的具体方面。未来可解释研究的一个重要方向是开发能够更广泛地涵盖模型行为的技术。

        然而，即使有了这些改进，我们相信，可靠度的关键指标将是一个不误导的接口。与显示信息的交互不应导致用户隐式绘制模型的不正确评估。我们在本文中介绍的接口在这方面仍然有很大的改进余地。在机器学习与人机交互交叉研究中，有必要解决这些问题.。

        有一个丰富的设计空间，与枚举算法交互，我们认为，也有很大的空间与神经网络的互动。我们还有很多研究工作要做。若要创建强大且可信任的可解释接口，请执行以下操作。如果我们取得成功，可解释性将是一个强有力的工具，将使我们能够实现有意义的人的监督，并创造公平、安全和一致的人工智能系统。