Utility vs Understanding: the State of Machine Learning Entering 2022

原文标题Utility vs Understanding: the State of Machine Learning Entering 2022
原文作者:Aidan Cooper

  机器学习在某些领域中的经验实用性已经远远超出了我们对基础理论的理解:这些模型不合理地非常有效,但我们并不完全确定原因。相反,在其他相对容易理解的研究领域中难以实现或者在实践中的适用性有限。本文试图就机器学习的实用性和理解力绘制不同角度的图,并探讨科学和技术进步如何在这一框架内体现。

声明

  构建这个矩阵是一项非常主观的尝试,它将多方面的字段减少为一维尺度上未定义的单个值,它们本身由多个因素组成。这个矩阵仅代表我个人的观点——一个仅根据一般特征粗略评估的领域。我承认这不精确,无视了细微差别,而且我也不是这些技术中大多数的专家。
  本文主要旨在讨论经验效用和理论理解之间的对比,以及它们与科学或者技术进步的关系。在矩阵中精确定位研究领域并不是目标。

  我所说的经验效用是指一种综合衡量方法,它考虑了一种方法的适用性广度、实施的难易程度,最重要的是:它在现实世界中的有用程度。一些具有高实用性的方法具有更广泛的适用性,而另一些则更强大,但仅限于狭窄的领域。可靠、可预测且没有重大缺陷的方法也被认为具有更高的效用。

  我所说的理论理解是指一种综合衡量方法(比如,输入和输出之间的关系如何?如何可以获得预期的结果?这种技术的内部机制是什么?),它考虑了直观可解释性(interpretability)和理论可解释性(explainability),以及其文献的深度和完整性。1理解程度低的方法通常在实施时采用启发式方法或大量试错。理解程度高的方法往往具有公式化的实现,具有强大的理论基础和可预测的结果。更简单的方法(例如线性回归)具有较低的理论上限,而更复杂的方法(例如深度学习)具有更高的理论上限。当谈到一个领域的文献的深度和完整性时,我已经更具其假设的理论上限来评估该领域——一个来自直觉的想象值。

  我们可以将矩阵构造为四个象限,轴的交点代表一个假设的、半成熟的参考领域,具有平均理解和平均效用。这让我们能够以定性的方式解释矩阵中的领域,具体取决于领域所在的象限,如下图所示。给定象限中的领域可能具有部分或全部这些普遍特征。

  一般来说,我们期待效用和理解是松散相关的,因为被很好理解的东西比那些不被理解的东西可能更有用。这意味着大多数领域应位于左下象限或右上象限。远离对角线的领域代表着有趣的例外。通常,实用性落后于理论,因为将新兴的研究转化为实际应用需要时间。因此,对角线应该位于原点上方,而不是直接穿过