基于成分引导的多模态自蒸馏食品图像分割

• 全文链接
• 请求原文

作   者：

侯素娟;  孙月娟;  闵巍庆;  王瑞平;  蒋树强; 

作者机构：

山东师范大学;  中国科学院计算技术研究所; 

关键词：

多模态;  食品图像;  图像分割;  自蒸馏; 

期刊名称：

中国食品学报

i s s n：

1009-7848

年卷期：

2024 年 24 卷 011 期

页   码：

10-21

摘   要：

目的：随着计算机视觉技术的发展，精确地识别并分割食品图像中的不同成分区域，对于食品营养分析和促进饮食健康管理至关重要。然而，当前图像分割模型多依赖于单一图像输入，这一做法在处理视觉差异较小的食品图像时，往往难以捕捉到细微的区分特征，从而影响分割精度。本文旨在解决单一模态在分割任务中的不足，利用文本信息为模型提供更加丰富的上、下文信息，采用自蒸馏技术，引导模型对食品图像的有效分割。方法：提出一种基于成分信息引导的多模态自蒸馏分割模型。该模型采用对比语言文本预训练模型（CLIP）捕捉成分信息，再与图像知识有效融合，结合扩散模型在稠密预测方面的优势，实现对食品图像的精准分割。结果：在基准数据集FoodSeg103上验证，所提模型的评估指标mIoU达到47.93%，超越了当前最优的FoodSAM模型1.51个百分点。在基准数据集UEC-FoodPIX Complete上，模型的评估指标mIoU达到75.13%，比FoodSAM模型高8.99个百分点。结论 ：所提出的多模态自蒸馏网络在食品图像分割任务中表现出色，验证了成分信息对分割任务的有效指导作用，提升了分割精度，为食品图像分析提供了新的解决方案。