从本地低维训练轨迹和全局知识迁移探索异构联邦学习中的泛化性

主办单位

交通运输学院

联合主办单位

福建理工大学智能交通系统研究中心

讲 座 人

张乐

讲座人职称

教授

主持人

陈德旺

讲座类型

自然科学

讲座对象

全校师生

时 间

12月24日9:00-11:00

地 点

交通运输学院520会议室

讲座人

简介

张乐，电子科技大学教授，博士生导师，国家千人计划（青年项目）入选者。博士毕业于新加坡南洋理工大学，曾在美国伊利诺伊大学新加坡高级研究中心及新加坡科技研究局（A*STAR）从事博士后研究工作。长期致力于非理想条件下稳健、鲁棒、隐私友好与高效的智能信号处理方法研究。发表proceedings of the IEEE以及IEEE tpami等学术论文100余篇，总引用超1.3万次。曾获IEEE国际会议最佳论文奖2项、IEEE/CCA Journal of Automatica Sinica“诺伯特·维纳综述奖”，并荣获IEEE杰出领导奖及2024年度中国图象图形学学会（CSIG）科技进步一等奖。自2019年起连续入选斯坦福大学全球Top 2%科学家榜单及终身影响力榜单。主持科技部重点研发计划及基金委重点国合等国家级科研项目。现任Neural Networks资深执行编辑、IEEE TNNLS副编辑。

讲座

主要内容

随着人工智能在医疗、金融、交通等领域的深入应用，数据隐私与安全日益成为制约模型协同训练的关键瓶颈。联邦学习作为一种“数据不动模型动”的分布式学习范式，通过本地数据训练与全局参数聚合的协同机制，在严格恪守数据隐私保护法规的前提下，有效支持医疗机构、金融机构、交通运营方等多方主体的协同建模，成功规避了原始数据跨域传输的隐私风险。然而，在实际应用场景中，不同参与方的数据分布往往存在显著差异，模型架构也可能因技术选型不同而呈现异构性，这种数据异构性与模型异构性的双重挑战，导致联邦学习模型在跨参与方场景下的泛化能力严重弱化，难以实现全局最优性能。

本报告将从本地训练轨迹与全局知识迁移两个维度出发，系统分析异构联邦学习中泛化性弱化的内在机理，并介绍动态分层子空间约束与低秩引导的层选择策略，以提升模型在特征倾斜与标签倾斜场景下的适应能力。我们还将探讨非线性约束机制与对偶相互学习框架，进一步推动异构联邦学习向更高效、更鲁棒的方向发展。