证明几何定理是结合直觉和逻辑技能的视觉推理的标志。因此,奥林匹克级别几何问题的自动定理证明被认为是人类级别自动推理的一个重要里程碑。 AlphaGeometry 的推出标志着一项重大突破,这是一种用 1 亿个合成样本训练的神经符号模型 ...

0 0 0 0 2024/04/11 arXiv:2404.06405v1 xx

通过使用软目标(硬目标的加权平均值和标签上的均匀分布),通常可以显着提高多类神经网络的泛化和学习速度。以这种方式平滑标签可以防止网络变得过度自信,并且标签平滑已被用于许多最先进的模型中,包括图像分类、语言翻译和语音识别。尽管标签平滑被广泛使用,但人们对其仍然知之甚少 ...

0 0 0 0 2024/04/07 arXiv:1906.02629v3 xx

胶囊是一组神经元,其活动向量表示特定类型实体(例如对象或对象部分)的实例化参数。我们使用活动向量的长度来表示实体存在的概率,并使用其方向来表示实例化参数。某一级别的活动胶囊通过变换矩阵对更高级别胶囊的实例化参数进行预测 ...

0 0 0 0 2024/04/07 arXiv:1710.09829v2 xx

训练最先进的深度神经网络的计算成本很高。减少训练时间的一种方法是使神经元的活动正常化。最近引入的一种称为批量归一化的技术,使用小批量训练案例中神经元的输入总和的分布来计算均值和方差,然后使用它们对每个训练案例上该神经元的输入总和进行归一化 ...

0 0 0 0 2024/04/07 arXiv:1607.06450v1 xx

本文介绍了 SimCLR:一个用于视觉表示对比学习的简单框架。我们简化了最近提出的对比自监督学习算法,而不需要专门的架构或存储库。为了了解是什么使对比预测任务能够学习有用的表示,我们系统地研究了我们框架的主要组成部分 ...

0 0 0 0 2024/04/07 arXiv:2002.05709v3 xx

当大型前馈神经网络在小型训练集上进行训练时,它通常在保留的测试数据上表现不佳。通过在每个训练案例中随机省略一半的特征检测器,可以大大减少这种“过度拟合”。这可以防止复杂的协同适应,其中特征检测器仅在几个其他特定特征检测器的上下文中才有帮助 ...

0 0 0 0 2024/04/07 arXiv:1207.0580v1 xx

在过去几年中,图神经网络(GNN)已成为分析图数据和学习图数据的标准工具包。这个新兴领域见证了有前途的技术的广泛发展,这些技术已成功应用于计算机科学、数学、生物学、物理和化学。但任何成功的领域要成为主流且可靠,就必须制定基准来量化进展 ...

0 0 0 0 2024/04/07 arXiv:2003.00982v5 xx

生成流网络 (GFlowNets) 已被引入作为一种在主动学习环境中对不同候选集进行采样的方法,其训练目标是使它们大致按给定奖励函数的比例进行采样。在本文中,我们展示了 GFlowNet 的许多附加理论特性。它们可用于估计联合概率分布和相应的边际分布,其中某些变量未指定,并且特别有趣的是,它们可以表示复合对象(如集合和图)上的分布 ...

0 0 0 0 2024/04/07 arXiv:2111.09266v4 xx

当前构建通用人工智能系统的方法往往会产生具有有益和有害功能的系统。人工智能开发的进一步进展可能会带来极大风险的能力,例如进攻性网络能力或强大的操纵技能。我们解释了为什么模型评估对于解决极端风险至关重要 ...

0 0 0 0 2024/04/07 arXiv:2305.15324v2 xx

深度学习的最新进展在很大程度上依赖于大型 Transformer 的使用,因为它们具有大规模学习的能力。然而,Transformers 的核心构建模块(注意力算子)在序列长度上表现出二次成本,限制了可访问的上下文数量。现有的基于低秩和稀疏近似的次二次方法需要与密集注意力层相结合才能匹配 Transformer,这表明能力上存在差距 ...

0 0 0 0 2024/04/07 arXiv:2302.10866v3 xx

来一起翻译吧!


为了您和其他读者获得更好的阅读体验,请您在阅读时勇敢地改正翻译,特别是一些显而易见的机器翻译错误。


虽然我们追求卓越,但我们并不要求翻译十全十美,因此请不要担心您翻译有误 —— 我们的服务器已经记录所有的翻译,您不必担心会因为您的失误导致无法挽回的破坏。(改编自维基百科)