语言模型方法最近已集成到二进制分析任务中，例如功能相似性检测和功能签名恢复。这些模型通常采用两个阶段的培训过程：通过蒙版语言建模（MLM）进行预训练，并在机器代码上进行微调。尽管MLM有助于理解二进制代码结构，但它忽略了基本代码特征，包括控制和数据流，这对模型的概括产生了负面影响 ...
自学学习方法（例如对比度学习）在自然语言处理中引起了极大的关注。它使用成对的培训数据增强来为具有良好表示能力的编码器构建分类任务。但是，在NLP任务中，学习对而不是对比度学习的构建更加困难 ...
机器生成的文本（MGT）检测对于调节和归因于在线文本至关重要。尽管现有的MGT检测器达到了强大的性能，但它们仍然容易受到简单的扰动和对抗性攻击的影响。为了制定针对恶意扰动的有效辩护，我们从威胁建模的角度查看了MGT检测，也就是说，从对手的角度分析模型的脆弱性并探索有效的缓解 ...
大型语言模型（LLMS）越来越多地用作分类与不同域相关的文本并同时进行几个标签（类）分类的骨干。遇到域移动时，例如 ...
域的适应性旨在使大型语言模型（LLMS）在训练阶段有效地概括域数据集。但是，诸如模型参数的大小和训练数据的规模之类的因素是一般影响者，并且不能反映域适应性绩效的细微差别。本文研究了影响域适应性绩效的细粒因素，分析了“单词”在培训数据中对摘要任务的特定影响 ...
自动化程序维修（APR）定义为通过自动工具在源代码中修复错误/缺陷的过程。 APR工具最近通过利用最先进的神经语言处理（NLP）技术经历了有希望的结果。如今，TFIX和Codexglue等APR工具将文本到文本 Transformer 与特定于软件的技术相结合，如今优于替代方案 ...
深度学习技术的开发使神经机器翻译（NMT）模型具有足够的培训数据和培训时间，变得非常强大。但是，在从具有独特风格或词汇的新域中翻译文本时，系统会挣扎。对内域数据进行微调允许良好的域适应，但需要足够的相关双语数据 ...
当前用于检测AI生成的文本的技术主要局限于手动特征制作和监督二进制分类范式。这些方法通常会导致性能瓶颈和不令人满意的概括性。因此，这些方法通常不适用于分布（OOD）数据和新出现的大型语言模型（LLMS） ...
随着大型语言模型（LLM）的发展，在面对恶意用例的情况下，诸如虚假信息的传播，知识产权的保护以及预防学术窃。虽然训练有素的文本探测器在看不见的测试数据上表现出了有希望的表现，但最近的研究表明，在处理诸如释义之类的对抗性攻击时，这些探测器具有脆弱性。在本文中，我们为更广泛的对抗性攻击提出了一个框架，旨在对机器生成的内容进行少量扰动以逃避检测 ...
大型语言模型（LLM）越来越多地用于在包括新闻新闻文章在内的各种用例中生成文本。鉴于这些LLM可用于大规模产生虚假信息的潜在恶意性质，为此AI生成的文本构建有效的检测器很重要。鉴于新LLM的开发激增，获得监督检测器的标记培训数据是一种瓶颈 ...