大型语言模型（LLM）代理商框架通常采用模块化体系结构，并结合诸如计划，推理，行动执行和反思等组件来处理复杂的任务。但是，量化每个模块对整体系统性能的贡献仍然是一个重大挑战，阻碍了优化和解释性。为了解决这个问题，我们介绍了Capabench（功能级评估基准），这是一个基于合作游戏理论的Shapley价值的评估框架，该框架系统地测量了单个模块及其在代理体系结构中的边际影响 ...
GUI 长期以来一直是人机交互的核心，提供了一种直观且视觉驱动的方式来访问数字系统并与之交互。 LLM ，特别是多模式模型的出现，开创了 GUI 自动化的新时代。他们在自然语言理解、代码生成和视觉处理方面表现出了卓越的能力 ...
大型语言模型（LLM）在各种领域和任务上表现出了非凡的功能，挑战了我们对学习和认知的理解。尽管最近取得了成功，但当前的LLM仍无法处理复杂的音频信息或进行口头对话（例如Siri或Alexa）。在这项工作中，我们提出了一个名为Audiogpt的多模式AI系统，该系统对LLMS进行了补充（i ...
基于大型语言模型（LLM）的多代理系统（MAS）在解决复杂的任务方面表现出了希望，但通常依靠预定义的角色和集中协调，限制了其适应性的不断发展的挑战。本文介绍了Morphagent，这是一个用于分散多代理协作的新型框架，使代理商能够动态发展其角色和能力。我们的方法采用自我发展的代理概况，通过三个关键指标进行了优化，指导代理人在维护互补团队动态的同时，指导他们的个人专业知识 ...
多模式大语言模型（MLLM）的兴起已成为人工智能领域的变革力量，使机器能够处理和生成跨多种模式（例如文本，图像，音频和视频）的内容。这些模型代表了对传统单峰系统的重大进步，从自主诊断到医学诊断的各种应用程序开放了新的边界。通过整合多种模式，MLLM对信息有了更全面的了解，密切模仿了人类的看法 ...
大型语言模型 (LLM) 彻底改变了开放域对话代理，但在多角色角色扮演 (MCRP) 场景中遇到了挑战。为了解决这个问题，我们推出了 Neeko，一个专为高效的多角色模仿而设计的创新框架。与现有方法不同，Neeko 采用动态低阶适配器 (LoRA) 策略，使其能够无缝适应不同的角色 ...
在大型语言模型（LLMS）中的可定制角色扮演（也称为角色泛化）正在越来越关注其在开发和部署角色扮演对话代理方面的多功能性和成本效益。这项研究探讨了一种大规模数据综合方法，以配备LLM具有特征泛化功能。我们首先使用角色枢纽的角色综合大规模角色概况，然后探索两种策略：响应重写和响应生成，以创建与角色一致的教学响应 ...
了解内部关节负荷对于诊断与步态相关疾病（如膝关节骨关节炎）至关重要。但是，当前测量关节风险因素的方法是耗时，昂贵且限于实验室设置。在本文中，我们可以通过三个关键贡献进行联合负荷的大规模，具有成本效益的生物力学分析：新型仪器鞋垫的开发和部署，创建大型多模式生物力学数据集（Vidsole）和基线深度学习管道以预测内部关节载荷因子。我们的新型仪器鞋垫测量了脚下五个高压点的三轴力和力矩 ...
Tinyml使在低功率边缘设备上部署深度学习模型可行，从而在受约束环境中为实时感知创造了新的机会。但是，这种深度学习方法的适应性仍然仅限于数据漂移适应，缺乏更广泛的功能，这些功能可以解释环境的基本动力和固有的不确定性。深度学习的缩放定律是在部署在边缘时无法应用的，通过大规模提高数据和模型大小来抵消这种限制，在此时，随着模型被缩放以在资源受限的设备上部署时，深度学习限制会进一步扩大 ...
大型语言模型（LLM）很聪明，但很健忘。最近的研究（例如 ...