基于共享随机效应和特异稀疏效应的混合多任务学习模型

• 全文链接
• 请求原文

作   者：

彭毫;  王雎;  王尧; 

作者机构：

西安交通大学管理学院;  西南财经大学工商管理学院;  电子科技大学经济与管理学院; 

关键词：

稀疏性;  变量选择;  随机效应;  多任务学习;  Bayes推断; 

期刊名称：

中国科学(信息科学)

基金项目：

创新如何开放：基于组织控制的研究
高阶压缩感知：基于背景与目标分离的方法

i s s n：

1674-7267

年卷期：

2020 年 008 期

页   码：

1217-1238

摘   要：

在多任务学习问题中,随机效应(random effects)可能同时存在于所有子任务中,而每个子任务又存在对应的稀疏效应(sparse effects).这在文本分析尤其在对电影评论的情感分析中,尤为常见.在本文中,我们提出一种用于数据中同时存在共享随机效应和特定稀疏效应的混合多任务学习模型,并命名为MSS (multi-task learning with shared random effects and specific sparse effects)模型.在模型的建立过程中,我们利用Bayes框架,针对不同效应的特点设定不同的先验分布和超参数.在模型的求解过程中,我们使用变分推断克服Bayes推断中的计算难题,使MSS模型在大规模数据分析中具备广泛的适应性.通过全面的模拟数据实验和真实数据实验的分析结果,我们展示了MSS模型在模型预测和变量选择方面同时具备随机效应模型(random effects models)和稀疏回归模型(sparse regression models)的优势,相比已有方法大幅提高泛化性能. MSS模型通过对多任务学习模型中不同效应的区分,能够更加有效的识别模型中的共享随机效应和特异稀疏效应,进而增强模型在模型预测和变量选择方面的性能.