Transformer 体系结构显着铅单像超分辨率(SISR)基准,从其低分辨率(LR)对应物重建高分辨率(HR)图像。然而,与卷积神经网络(CNN)相比,他们强大的代表权对训练数据的需求更高。对于许多现实世界的SR应用程序,没有给出高质量的人力资源培训图像的可用性,这引起了对仅限LR培训方法的兴趣 ...
最近已经建立了学到的图形神经网络(GNN),作为在模拟物理系统动力学方面的原则求解器的快速准确替代方案。但是,在科学和工程跨越的许多应用领域中,我们不仅对远期模拟感兴趣,而且对解决由部分微分方程(PDE)定义的约束的逆问题感兴趣。在这里,我们探索GNN来解决此类PDE构成的反问题 ...
在最近的文本视频检索中,使用视觉模型的其他字幕显示了对性能的有希望的影响。但是,使用其他字幕的现有模型通常努力捕获视频中固有的富有语义(包括时间变化)。此外,由生成模型引起的错误信息可能导致检索不正确 ...
准确和一致的评估对于众多领域的决策至关重要,但由于固有的主观性、可变性和规模,它仍然是一项具有挑战性的任务。大型语言模型 (LLM) 在不同领域取得了显着的成功,导致了“LLM 作为法官”的出现,其中 LLM 被用作复杂任务的评估者。 LLM 能够处理不同的数据类型并提供可扩展、经济高效且一致的评估,为传统专家驱动的评估提供了一个令人信服的替代方案 ...
基于 Transformer 的方法在图像超分辨率任务中取得了显着的结果,因为它们可以捕获低质量输入图像中的非本地依赖性。但是,这种功能密集型建模方法在计算上是昂贵的,因为它计算出与查询权重时与查询功能无关的众多功能之间的相似性。这些不必要的相似性计算不仅降低了重建性能,还引入了重要的计算开销 ...
心理健康分析中的传统歧视方法以其强大的能力而闻名,但缺乏可解释性和需求大规模注释的数据。生成的方法,例如基于大语言模型(LLM)的生成方法,有可能摆脱大量注释并提供解释,但是与判别方法相比,它们的能力仍然不足,并且由于其产生的解释是一个黑色框流程,因此它们的解释可能是不可靠的。受到使用量表来评估心理状态的心理评估实践的启发,我们的方法称为心理分析,通过合并精神量表(MAIMS),通过LLM结合了两 ...
近年来,大型语言模型(LLMS)在包括信息检索在内的各个领域都表现出了特殊的力量。以前的大多数实践都涉及利用这些模型为每个查询,每个段落或每个文档单独创建一个单个嵌入,这是一个策略示例和使用的策略,并由检索功能增强的生成(RAG)框架进行了例证。尽管这种方法已被证明有效,但我们认为它在完全捕获文档级文本的细微复杂性方面差不多,因为它依赖相对粗糙的表示 ...
稀疏计算通过动态跳过不活动神经元的计算,为低资源场景中的大型语言模型(llm)推理提供了引人注目的解决方案。虽然传统方法侧重于基于relu llm,利用激活值中的零,但我们将稀疏llm的范围扩大到零激活值之外。我们引入了一种通用方法,通过神经元输出幅度和定制的幅度阈值来定义神经元激活 ...