蜂窝自动机长期以来一直因其从简单的本地规则中产生复杂行为的能力而受到庆祝,并具有众所周知的离散模型,例如Conway的生活游戏,可以证明能够获得通用计算。最近的进步已将细胞自动机扩展到连续域,从而提出了这些系统是否保留了通用计算能力的问题。同时,神经细胞自动机已经成为一种强大的范式,其中通过梯度下降学到了规则,而不是手动设计 ...
神经细胞自动机(NCAS)是生物启发的系统,在该系统中,相同的细胞通过反复应用简单的局部规则而自组织形成复杂而相干的模式。 NCA表现出惊人的紧急行为,包括自我再生,对看不见的情况的概括和鲁棒性以及自发运动。尽管它们在质地合成和形态发生方面取得了成功,但NCA仍在很大程度上仅限于低分辨率网格 ...
我们介绍了将一个神经网中存储的信息迅速转移到另一个神经网中的技术。主要目的是加速对明显更大的神经网的训练。在现实世界中,在实验和设计过程中,经常训练许多不同的神经网络 ...
在初次培训之后,我们如何建立能够快速有效地从经验中学习的代理商?在这里,我们从生物学大脑中学习的主要机制中汲取灵感:突触可塑性,通过进化仔细调整以产生有效的终身学习。我们表明,与连接重量一样,可以通过具有HEBBIAN塑料连接的大型(数百万参数)复发网络中的梯度下降来优化可塑性。首先,可以训练具有超过200万参数的经常性塑料网络,以记住和重建新型的高维1000多个像素自然图像的新型,高维的自然图像 ...
文本到图像(T2I)扩散模型的最新进展表明,在产生高保真图像方面具有显着的功能。但是,这些模型通常很难忠实地渲染复杂的用户提示,尤其是在属性绑定,否定和组成关系等方面。这导致用户意图与生成的输出之间的不匹配 ...
准确的新闻表示对于新闻推荐至关重要。大多数现有的新闻表示方法仅从新闻文本中学习新闻表示,而忽略了图像之类的新闻中的视觉信息。实际上,用户不仅可以单击新闻,这不仅是因为对新闻标题的兴趣,而且还因为新闻图像的吸引力 ...
移情对于在口语对话系统中实现自然互动至关重要,使机器能够对年龄,性别和情感等副语言提示识别并适当地做出反应。端到端语言模型的最新进展(统一语音理解和产生)提供了有希望的解决方案。但是,一些挑战持续存在,包括过度依赖大规模对话数据集,对传达同理心至关重要的副语言提示的提取不足,以及缺乏特定于移情的数据集和评估框架 ...
随着大语言模型(LLM)的快速发展,增强学习(RL)已成为增强LLMS推理能力的关键方法。与传统的培训方法不同,RL包括多个阶段:推出,奖励和培训,这需要在各种工人类型之间进行协作。但是,由于两个主要因素,当前的RL系统继续努力应对大量的GPU未充分利用:(1)由于测试时间缩放,推出阶段主导了整体RL过程; (2)推出长度的不平衡(在同一批次内)导致GPU气泡 ...