基本信息 - An overview of gradient descent optimization algorithms

arxiv An overview of gradient descent optimization algorithms

阅读

Star 0

名称: An overview of gradient descent optimization algorithms

首页: https://yiyibooks.cn/arxiv/1609.04747v2/index.html

原始地址: https://arxiv.org/abs/1609.04747

描述

梯度下降优化算法虽然越来越流行，但经常被用作黑盒优化器，因为很难对其优点和缺点进行实际解释。本文旨在为读者提供有关不同算法行为的直觉，以便他们能够使用它们。在本概述的过程中，我们研究了梯度下降的不同变体，总结了挑战，介绍了最常见的优化算法，回顾了并行和分布式设置中的架构，并研究了优化梯度下降的其他策略 ...