大规模培训语料库已大大提高了ASR模型的性能。不幸的是,由于数据的相对稀缺性,对于大多数ASR模型来说,中国口音和方言仍然是一个挑战。自我监督学习的最新进展表明,自我监督的预训练与大语言模型(LLM)相结合可以有效地提高低资源场景中的ASR绩效 ...
有人抱怨当前的机器学习技术,例如需要大量的培训数据和熟练的培训技巧,持续学习的困难,灾难性遗忘的风险,数据隐私/专有性的泄漏等。大多数研究工作都集中在分别关注的问题上,对大多数问题的关注较少,因为大多数问题在实践中遇到了大多数问题。普遍的大型模型范式在自然语言处理和计算机视觉应用中取得了令人印象深刻的结果,但尚未解决这些问题,而成为严重的碳排放源 ...
生成API的兴起激发了人们对保护隐私合成数据生成的兴趣。虽然私有进化算法(PE)算法使用扩散模型API生成差异隐私(DP)合成图像,但由于其DP保护相似性投票方法的局限性,它在很少的私有数据中挣扎。实际上,在医疗保健和行业等专业领域中,少数私人数据挑战尤为普遍 ...
具有矢量量化(VQ)的掩盖图像建模(MIM)在自我监督的预训练和图像生成方面都取得了巨大的成功。但是,大多数现有的方法都难以解决共享的潜在空间中的权衡,以进行发电质量与表示和效率 ...
在解决复杂的任务时,经过深思熟虑的(COT)推理具有明显的高级大语模型(LLM)。但是,其自回旋范式导致了大量的计算开销,从而阻碍了其在潜伏期敏感的应用中的部署。为了解决这个问题,我们提出\ textbf {dart}(\ textbf {d} istilling \ textbf {a} utoregrelistion \ textbf {r}对静音\ textbf {t} houghted进行 ...
近年来,大型的预训练的 Transformer 已导致对传统检索模型和反馈方法的绩效增长。但是,这些结果主要基于MS MARCO/TREC深度学习轨道设置,其特殊的设置以及我们对这些模型为什么和如何更好地工作的理解充其量是最好的。我们分析了有效的基于BERT的跨编码器与传统的BM25排名,以进行通过观察到最大收益的通道检索任务,并研究了两个主要问题 ...
拜占庭式缺陷(BFT)方案最近已被分散的数据管理系统广泛使用,该系统具有非信任的基础架构,例如,允许的区块链 ...
大型语言模型(LLM)推理的最新进展表明,诸如计划和自我反省之类的复杂行为可以通过加强学习(RL)出现。但是,尽管取得了这些成功,但当前形式的RL仍不足以诱导超过基本模型局限性的功能,因为它主要根据对模型的现有知识进行优化,而不是促进新信息的获取。为了解决这一限制,我们采用监督的微调(SFT)来了解RL不能,这可以通过利用高质量的演示数据来纳入新知识和推理模式 ...