推荐系统对我们的日常生活变得越来越重要,有助于减轻各种以用户为导向的在线服务中的信息过载问题。大语言模型(LLM)的出现取得了显着的成就,证明了它们有可能发展下一代推荐系统的潜力。尽管取得了这些进步,但基于LLM的推荐系统面临着其LLM骨架的固有局限性,尤其是幻觉问题以及缺乏最新和领域的知识 ...
大型语言模型(LLM)的能力越来越多,引起了人们对AI生成的窃和社会工程学的滥用的担忧。尽管已经提出了各种AI生成的文本检测器来减轻这些风险,但许多探测器仍然容易受到简单的逃避技术的影响,例如释义。但是,最近的探测器对这种基本攻击表现出更大的鲁棒性 ...
大语模型(LLM)的常识推理能力和广泛的一般知识使它们自然地适合在智能家庭助理环境中解释用户请求。但是,LLMS缺乏有关用户及其家庭的特定知识,限制了其潜在影响。 Sage(具有接地执行的智能家居代理)通过使用一个方案来克服这些和其他限制,在该方案中,用户请求触发了LLM控制的离散操作序列 ...
稀疏的自动编码器(SAE)将语言模型表示分解为一组稀疏的线性潜在向量。最近的工作使用语言模型梯度改善了SAE,但是这些技术在训练过程中需要许多昂贵的向后传球,并且当将SAE重建插入模型时,跨熵损失仍然显着增加。在这项工作中,我们通过采取根本不同的方法来改善这些局限性:我们使用低级适应(LORA)来迎接\ textit {语言模型本身}围绕先前训练的SAE ...
大型语言模型的恶意使用的增加,例如虚假的内容创建和学术窃,激发了识别AI生成的文本的方法的发展,包括基于水印或离群值检测的方法。但是,这些检测算法对AI生成的文本的释义的鲁棒性尚不清楚。为了测试这些探测器,我们构建了一个11B参数解释模型(Dipper),该模型可以解释段落,周围环境的条件以及控制词汇多样性和内容重新排序 ...
具有可验证奖励(RLVR)的增强学习已成为增强大语言模型(LLMS)的推理能力的强大方法,而其机制尚未得到充分了解。在这项工作中,我们通过新颖的熵模式进行了对RLVR的开创性探索,并全面分析了不同的 Token 如何影响推理性能。通过检查对经营链(COT)推理中的 Token 熵模式,我们观察到只有一小部分 Token 表现出较高的熵,并且这些 Token 是将模型引导到各种推理途径的关键叉子 . ...
尽管主流视觉模型(VLM)在理解图像级别的信息方面迅速发展,但他们仍然缺乏专注于人类指定的特定领域的能力。相反,他们通常依靠大量高质量的图像配对数据来学习和生成后注意图。为了解决这个关键问题,我们提出了利用视觉提示:以各种形式的简单视觉标记来指导和增强特定于区域的注意力的形成 ...
在教育中设计多项选择问题(MCQ)时,创建合理的干扰因素对于确定学生在知识方面的误解和差距和准确评估他们的理解至关重要。但是,先前对分散因子产生的研究尚未充分关注加强干扰因素的难度,从而降低了MCQ的有效性。这项研究提出了一条培训模型的管道,以产生干扰因素,而这些干扰因素更有可能由学生选择 ...