jinrunya / -

DaSE

多模态情感分析

Table of Contents

• 项目概述

• 执行你代码所需要的环境

• 你的代码文件结构

• 执行你代码的完整流程

• 参考库

项目概述

多模态情感分析是自然语言处理（NLP）和计算机视觉（CV）领域的交叉研究方向，其主要目标是通过同时考虑文本、图像、音频等多种模态的信息，更全面地理解和分析人类情感表达。情感信息不仅仅体现在文本中，还可以通过图像、音频等多种模态进行表达。多模态情感分析可以更全面地捕捉用户在不同媒体中表达的情感，从而提供更准确、全面的情感分析结果。 多模态情感分析在实际应用场景中具有广泛的潜力，如智能辅助驾驶中的驾驶者情感监测、在线教育中的学生情感反馈等。研究者可以探索不同领域中的多模态情感分析应用，为解决实际问题提供创新解决方案。

本次实验需要通过提供的文本数据和图片数据，对情感进行预测。本次实验最终标签分为positive,negative,neutral,因此为三分类任务。

所需环境

见requirement.txt文件

文件代码结构

外置文件

Config.py

encoder.py

decoder.py

dataset.py

主要执行文件

main.ipynb

执行完整过程

在ipynb文件点击'Run All'

参考库

https://github.com/YeexiaoZheng/Multimodal-Sentiment-Analysis

https://github.com/soujanyaporia/multimodal-sentiment-analysis

https://github.com/declare-lab/contextual-utterance-level-multimodal-sentiment-analysis