电子健康记录(Electronic Health Records,EHRs)数据已成为生物医学研究的宝贵资源.通过学习隐藏在EHRs数据中的人类难以区分的多维特征,机器学习方法可以获得更好的结果.然而,现有的一些研究只考虑了模型训练过程中或模型训练后可能面临的一些隐私泄露,导致隐私防护措施单一,无法实现覆盖机器学习全生命周期.此外,现有的方案大多是针对单模态数据的联邦学习隐私保护方法的研究.因此,提出了一种面向多模态数据的联邦学习隐私保护方法.为防止敌手通过反向攻击窃取原始数据信息,对每个参与者上传的模型参数进行差分隐私扰动.为防止在模型训练过程中各参与方的局部模型信息泄露,利用Paillier密码系统对局部模型参数进行同态加密.从理论的角度对该方法进行了安全性分析,给出了安全模型定义,并证明了子协议的安全性.实验结果表明,该方法在几乎不损失性能的情况下,保护了训练数据和模型的隐私.