Theoretical Analysis of Self-Training with Deep Networks on Unlabeled Data

自训练算法训练模型以适应另一个先前学习的模型预测的伪标签，在使用神经网络学习未标记数据方面非常成功。然而，目前对自训练的理论理解仅适用于线性模型。这项工作为半监督学习、无监督领域适应和无监督学习的深度网络自训练提供了统一的理论分析 ...

Provable Guarantees for Self-Supervised Deep Learning with Spectral Contrastive Loss

最近的自我监督学习工作依靠对比学习范式推进了最先进的技术，该范式通过将正对或来自同一类的相似示例推得更近，同时保持负对远离来学习表示。尽管取得了实证上的成功，但理论基础仍然有限——先前的分析假设给定相同类别标签的正对的条件独立，但最近的实证应用使用高度相关的正对（即， ...

Differentiable Deep Clustering with Cluster Size Constraints

聚类是一种基本的无监督学习方法。许多聚类算法（例如 $k$-means）依赖欧氏距离作为相似性度量，这通常不是图像等高维数据最相关的度量。因此，学习可以更好地反映数据集几何形状的低维嵌入对于性能很有帮助 ...

Federated Learning Meets Multi-objective Optimization

联邦学习已成为一种有前途的大规模分布式方式，可以在大量边缘设备上训练联合深度模型，同时将私人用户数据严格保留在设备上。在这项工作中，出于确保用户之间的公平性和针对恶意对手的鲁棒性的动机，我们将联邦学习制定为多目标优化，并提出了一种新算法 FedMGDA+，保证收敛到 Pareto 平稳解。 FedMGDA+ 易于实施，需要调整的超参数较少，并且不会牺牲任何参与用户的性能 ...

Rethinking the Representation in Federated Unsupervised Learning with Non-IID Data

联邦学习在去中心化数据建模方面取得了有效的表现。在实践中，客户数据没有被很好地标记，这使得使用非 IID 数据进行联合无监督学习 (FUSL) 成为可能。然而，现有 FUSL 方法的性能因表示不足而受到影响，即 ...

Orchestra: Unsupervised Federated Learning via Globally Consistent Clustering

联邦学习通常用于标签容易获得的任务（例如，下一个单词预测） ...

A critical look at the evaluation of GNNs under heterophily: Are we really making progress?

节点分类是一种经典的图机器学习任务，图神经网络（GNN）最近在该任务上取得了很好的成果。然而，人们通常认为标准 GNN 只适用于同亲图，即 ...

FedNI: Federated Graph Learning with Network Inpainting for Population-Based Disease Prediction

图卷积神经网络（GCN）广泛用于图分析。具体来说，在医学应用中，GCN 可用于人口图上的疾病预测，其中图节点代表个体，边代表个体相似性。然而，GCN 依赖于大量数据，这对于单个医疗机构来说收集起来具有挑战性 ...

Collaborative Graph Neural Networks for Attributed Network Embedding

图神经网络（GNN）在归因网络嵌入方面表现出了突出的性能。然而，现有的工作主要集中在利用网络结构，而对节点属性的利用相当有限，因为它们仅充当初始层的节点特征。这种简单的策略阻碍了节点属性在增强节点连接方面的潜力，导致邻居很少甚至没有邻居的非活动节点的感受野有限 ...

FedStruct: Federated Decoupled Learning over Interconnected Graphs

我们解决了跨多个客户端分布的图结构数据的联邦学习的挑战。具体来说，我们关注互连子图的普遍场景，其中不同客户端之间的互连发挥着关键作用。我们针对这种情况提出了一个新颖的框架，名为 FedStruct，它利用了深层的结构依赖性 ...