近期，计算机与软件学院唐明伟教授所在的研究团队在多模态表征、指示与生成学习等方向取得较大研究进展，以第一作者或通讯作者身份连续在多个期刊发表论文。包括一篇发表在Knowledge-Based Systems （中科院1区，JCR1区， IF:8.8），三篇发表在Expert Systems with Applications （中科院1区，JCR1区， IF:8.5），一篇发表在ENGINEERING APPLICATIONS OF ARTIFICIAL INTELLIGENCE （中科院1区，JCR1区， IF:8.0）和一篇发表在Information and software technology（中科院2区，JCR1区）在内的6篇论文。详细内容如下：
论文1：Spatio-Temporal Adaptive Convolution and Bidirectional Motion Difference Fusion for Video Action Recognition发表在国际Top期刊《EXPERT SYSTEMS WITH APPLICATIONS》。第一作者为2023级研究生李林熹，唐明伟教授为通讯作者。
本研究旨在利用深度学习技术，从两个方向对视频中的运动进行分析。首先，研究考虑了运动在时空维度上的特征变化，通过采用先进的时空卷积神经网络结构，在时间和空间上同时对视频中的动作进行编码和特征提取。其次，针对视频动作识别中可能存在的动作模糊性和视角变化问题，引入自适应卷积的方式，使模型能够根据输入视频的特征自适应地调整卷积核，从而更有效地融合动作特征，更好地捕捉和融合视频中的局部和全局特征，提高动作识别的准确性和鲁棒性。
论文网址：https://doi.org/10.1016/j.eswa.2024.124917Get rights and content
论文2：Dual-enhanced Generative Model with Graph Attention Network and Contrastive Learning for Aspect Sentiment Triplet Extraction，由唐明伟教授担任通讯作者，第一作者为2022级研究生徐皓文，已被国际顶级学术期刊《Knowledge-Based Systems》接受并在线发表。
本文提出了一种结合图注意力网络和对比学习的双增强生成模型（GAC）用于方面情感三元组抽取。在GAC模型中，构建了一个图三元组损失模块，该模块融合了依存句法信息，以加深对复杂句子结构的理解，并利用图注意力网络明确定义词语之间的依赖关系，使模型在识别复杂结构中的方面和观点时表现得更为出色。此外，设计了三元组表示对比学习模块，显著增强了模型识别复杂情感类型以及区分由单词和句子组成的方面和观点术语的能力，通过捕捉情感类型和术语长度之间的内在联系。在实验部分，该文测试了两个公共数据集。结果表明，GAC模型在生成三元组方面优于现有方法，证实了所提出的方法在应对ASTE挑战中的有效性和先进性。
GAC模型总体框架图
论文网址：https://www.sciencedirect.com/science/article/pii/S0950705124009766
论文3：INA-Net: An Integrated Noise-Adaptive Attention Neural Network for Enhanced Medical Image Segmentation在国际顶级学术期刊《Expert Systems with Applications》上发表。该期刊是中科院SCI分区一区，TOP期刊。论文第一作者为2022级研究生熊健乔，研究生指导老师为宗莲松副教授，通讯作者为唐明伟教授。
本文提出了集成噪声自适应注意力神经网络INA-Net，创新性地引入了轻量级的噪声-距离注意模块，有效结合局部和模拟噪声特征与全局信息，提高了对复杂混合噪声的鲁棒性。同时，边缘感知空间注意力（ESA）和多尺度通道注意力（MCA）模块的加入，进一步增强了特征信息和边界感知。此外，动态噪声编码模块和傅里叶小波分析（FW-Parser）通过处理高频噪声分量，提高了分割的准确性。实验结果表明，INA-Net在处理毛发干扰、血管闭塞和模糊病变边界等方面具有显著优势，为准确识别皮肤病变提供了关键支持。
INA-Net模型图
论文网址：https://doi.org/10.1016/j.eswa.2024.125078
论文4：A vulnerability detection algorithm based on residual graph attention networks for source code imbalance （RGAN）在国际顶级学术期刊《Expert Systems with Applications》上发表。论文第一和通讯作者为唐明伟教授，第二作者为研究生唐威。
为了增强模型在现实世界不均衡样本分布中的性能，本文构建了一个基于序列注意力和图注意力的漏洞检测模型MAVD。MAVD使用注意力机制强化局部代码块的特征提取，构建带有残差连接的图注意力神经网络来沿着控制流的方向进行学习和更新节点特征。同时，本文从损失函数的角度出发，提出了新的不平衡数据集处理方式。最后在贴近现实分布的不均衡数据集上进行训练和验证，验证模型在现实世界的应用可能性。
论文网址：https://doi.org/10.1016/j.eswa.2023.122216
论文5：Incorporating syntax and semantics with dual graph neural networks for aspect-level sentiment analysis发表在国际顶级学术期刊《Engineering Applications of Artificial Intelligence》上。论文第一作者2021级研究生王鹏程，通讯作者为唐明伟教授。
本文主要提出了两个不同的模型，利用图神经网络对方面级情感分析展开研究，提出了一种新的自适应图卷积分割网络模型。首先，在数据预处理阶段，通过合并两个数据集的标记信息来增加单词的信息容量，再通过自适应标记划分模块划分合适的标记信息给后续模块以提取特定的信息。然后，通过BERT模块生成特定输入的词嵌入信息，以突出特定单词标记信息对情感信息提取的作用。再将两部分的词嵌入信息分别输入到双语法感知编码器和语义辅助模块中，双语法感知编码器结合句法依赖树和组成树获得明确的语法知识，语义辅助模块利用GCN编码自注意力矩阵获得额外的语义信息。最后，将双语法感知模块和语义辅助模块输出结合起来，放入到分类器进行情感分类。
论文网址：https://doi.org/10.1016/j.engappai.2024.108101
论文6：A Dual Graph Neural Networks Model using Sequence Embedding as Graph Nodes for Vulnerability Detection的研究论文在国际顶级学术期刊《INFORMATION AND SOFTWARE TECHNOLOGY》上发表。论文第一作者为研究生凌苗桂，通讯作者为唐明伟教授。
本研究旨在利用深度学习技术，提供一种快速且高效的自动化源代码检测方案，从而及时地发现源代码中可能存在的漏洞风险。首先考虑源代码内在的图结构化信息的重要性，以及本身的序列特征，使用序列嵌入作为图的节点信息，能够同时利用了源代码的序列信息和图信息。其次考虑到不同的图神经网络在漏洞检测的优点，使用两个不同的图神经网络结合的方式提取特征，最后将其融合。图卷积网络能够很好保留图的结构化信息，而图注意力网络更多关注节点之间的关系。二者相互结合，使得模型能够更好地提取源代码的全局和局部特征，从而提高漏洞检测的精准度和回归率。此外，还使用一种基于卷积的特征增强技术，进一步提高模型性能。
论文网址：https://doi.org/10.1016/j.infsof.2024.107581
责编：曾益
编审：陈彧