近日，我校信息科学与电气工程学院（人工智能学院）2021级硕士研究生李萌在朱振方教授指导下以第一作者身份在情感计算领域顶级期刊IEEE Transactions on Affective Computing上发表了一篇题为“Diversity and Balance: Multimodal Sentiment Analysis using Multimodal-Prefixed and Cross-Modal Attention”的学术论文。

多模态情感分析（Multimodal Sentiment Analysis，MSA）是一种利用文本、图片、音频等多种数据形式，对人类情感进行智能识别和评估的技术。尽管目前的主流方法已经取得了长足的进步，但仍面临原始数据中关键信息的丢失、未能充分利用高层次语义特征的文本模态通常应在融合过程中占主导地位这一特性来平衡模态信息等问题。为了解决上述问题，该论文提出了一种利用多模态前缀和跨模态注意力的多模态情感分析框架，该方法在保持文本模态主导地位的同时，有效地学习了跨模态注意力，从而优化了模态的融合效果。

IEEE Transactions on Affective Computing是情感计算领域顶级学术期刊，是中国计算机学会和中国人工智能学会等全国多个一级学会推荐的高水平学术期刊，目前影响因子为11.2。此外，李萌同学本月在朱振方教授指导下还以第一作者身份在计算机视觉领域国际权威期刊Image and Vision Computing发表题为“Joint Training Strategy of Unimodal and Multimodal for Multimodal Sentiment Analysis”的学术论文，该期刊为人工智能领域CCF推荐期刊，目前位于JCR一区、中科院三区。