谷歌推出新的开源Python自动微分库

11月09日谷歌推出了一个新的开源Python自动微分库：Tangent。
  

和现有的机器学习库不同，Tangent是一个源代码到源代码的系统，使用Python函数f，并用一个新的Python函数来计算f的梯度。这能帮用户更好地看清梯度计算，并更简单地对梯度进行用户级编辑和调试。

此外，Tangent还有更多调试和设计机器学习模型的功能：

轻松调试反向传递过程（backward pass）

快速的gradient surgery

正向模式自动微分

高校的Hessian向量积

代码优化

本文简要介绍了Tangent API，包括如何用它在Python中生成易于理解、调试和修改的梯度代码。

神经网络为机器学习带来了巨大的进步，而我们训练神经网络来完成各类任务的基本思想已经存在30年了，它就是反向模式自动微分（reverse-mode automatic differentiation），也就是我们常说的反向传播（backpropagation）。反向传播的过程包含两次通过神经网络：首先是运行“正向传递”来计算每个节点的输出值，然后再运行“反向传递”计算一系列导数，来确定如何更新权重以提高模型准确性。

训练神经网络、研究新架构，就需要我们正确、高效、方便地计算这些导数。当模型训练不好时，或者尝试构建我们不了解的新东西时，也需要能调试这些导数。自动微分（简称autodiff）就能够计算里表示某些数学函数的计算机程序的导数，而且几乎所有机器学习库都能实现它。

现有的机器学习库通过跟踪程序的执行（在运行时，比如TensorFlow Eager、PyTorch、Autograd），或者构建动态数据流图然后微分它（提前，比如TensorFlow）来实现自动微分。

Tangent采用了与它们都不同的方式，在Python源代码上提前执行自动微分，并生成Python源代码作为输出。
  

于是，你可以像读取程序其他部分一样，来读取自动导数代码。

对于那些不仅想用Python来写模型，还想在不牺牲速度和灵活性的情况下来读取、调试自动生成的导数代码的研究人员和学生来说，Tangent非常有用。

检查和调试Tangent模型不需要特殊的工具，Tangent可以在Python庞大又不断增长的子集上工作，为其他Python机器学习库提供它们所没有的自动微分特性。它性能高，且与TensorFlow、NumPy兼容。

怎样自动为Python代码生成导数呢？

像tf.exp或tf.log这样的数学函数具有导数，我们可以编写出来构建反向传递，子例程、条件、循环等语法片段也同样具有反向传递版本。Tangent能为任何Python语法、以及很多Numpy和TensorFlow函数调用生成导数代码。

Tangent有一个单一功能API：

下面的动图展示了当我们在Python函数上调用tangent.grad时会发生什么：
 

如果你想列出自己的导数，可以运行：

对于Python语法的导数和TensorFlow Eager函数，Tangent有一个巨大的recipe库。tangent.grad会抓取你传递给它的Python函数源代码，然后反向遍历它，从自己的库中查找匹配的反向传递recipe，并把它加到导数函数的末尾。

　　大数据时代，数据分析师，数据挖掘培训，互联网数据分析师，就选光环大数据培训机构！

大数据培训、人工智能培训、Python培训、大数据培训机构、大数据培训班、数据分析培训、大数据可视化培训，就选光环大数据！光环大数据，聘请专业的大数据领域知名讲师，确保教学的整体质量与教学水准。讲师团及时掌握时代潮流技术，将前沿技能融入教学中，确保学生所学知识顺应时代所需。通过深入浅出、通俗易懂的教学方式，指导学生更快的掌握技能知识，成就上万个高薪就业学子。 更多问题咨询，欢迎点击------>>>>在线客服！