Python用LoRA微调与ISMOTE过采样实现社交媒体文本15类情感多标签识别

本文围绕小语言模型在社交媒体文本多标签情感识别中的应用，系统阐述了从不平衡数据处理到模型微调的完整技术链路。本文重点回答了以下问题：（1）如何处理多标签情感分类中的严重类别不平衡问题？（2）如何利用改进的过采样算法合成高质量的少数类样本？（3）如何在有限算力下高效微调24B参数级语言模型？（4）如何通过加权损失函数优先保障目标情感类别的识别性能？文中构建了一个基于LoRA低秩适配与焦点损失函数的Mistral Small 3.1微调方案，在15类情感标签上取得了多数类别F1超过0.7的效果。

Abstract: This paper presents a complete technical pipeline for fine-tuning small language models on multi-label emotion recognition in social media texts, covering imbalanced data preprocessing and model adaptation. The study addresses four key questions: (1) How to handle severe class imbalance in multi-label emotion classification? (2) How to generate high-quality synthetic samples for minority classes using improved oversampling? (3) How to efficiently fine-tune a 24B-parameter language model under limited computational resources? (4) How to prioritize target emotion categories through weighted loss functions? A LoRA-based fine-tuning approach with focal loss is constructed, achieving F1 scores above 0.7 for most target emotion categories on a 15-label task.

近年来，大语言模型的快速发展让文本理解能力达到了前所未有的高度。但在实际业务场景中，将情感简单地划分为“正面”和“负面”往往难以满足深度分析的需求。客户反馈、社交媒体上关于品牌的讨论，背后隐藏着愤怒、失望、惊喜、赞赏等丰富而复杂的情感信号，只有将这些情绪维度逐一拆解，才能真正捕捉用户心理的微妙变化。

客户需要从海量用户生成内容中识别15种细粒度情感，从而构建品牌舆情预警与用户关怀策略。我们采用了Mistral团队发布的小语言模型Small-3.1-24B-Instruct-2503作为基座，配合LoRA低秩适配技术实现高效微调。针对训练数据中严重的类别不均衡问题，我们综合运用了欠采样、改进的SMOTE过采样算法（ISMOTE）以及焦点损失函数加权三种策略，最终使模型在大多数目标情绪类别上取得了F1超过0.7的表现。

本文将这一多标签情感识别建模经验沉淀为一个对话式AI智能体，从数据预处理、模型加载、LoRA适配、损失函数设计到训练评估，每一步都配有可直接交互的提示词与完整代码。无论你是正在构建舆情分析系统的工程师，还是从事NLP应用研究的学者，希望本文提供的方法论与实践代码能为你带来切实的参考价值。

阅读原文进群获取本文完整代码、数据、AI智能体及更多最新AI见解和行业洞察，可与900+行业人士交流成长；还提供人工答疑，拆解核心原理、代码逻辑与业务适配思路；遇代码运行问题，更能享24小时调试支持。

本项目使用的训练数据来源于某情绪标注数据集，共包含约5.8万条来自社交媒体平台的用户评论，每条评论由人工标注了27种情绪类别以及一个“中性”标签。这是一个典型的多标签分类数据集——同一条文本可能同时触发“有趣”和“恼怒”等多个情绪标签。

从上图可以直观看到数据的基本结构：每条文本对应一组二值标签，表示该情绪是否存在。快速统计后，类别不均衡的问题非常明显——“中性”类别在数据中占据了压倒性的多数地位。

核心目标：构建一个能识别15种情绪的分类器，适用于通用社交媒体文本。在类别不均衡的数据上直接训练会引入严重偏差——微调后的模型会天然偏向多数类，对少数类的识别能力大打折扣，因此预处理是整个流程中不可跳过的一环。

我们采用了三种方法的组合来改造训练集（验证集和测试集保持不变），以解决类别不均衡问题并最大化模型在目标情绪上的表现。这15种目标情绪包括：恐惧、悲伤、厌恶、不赞同、烦恼、愤怒、失望、乐观、有趣、惊讶、钦佩、兴奋、困惑、喜悦和爱。

第一步：对“中性”类别进行随机欠采样，降低其在训练集中的占比，避免模型过度学习这一多数类。

第二步：利用ISMOTE算法对少数情绪类别进行合成过采样。ISMOTE（Improved Synthetic Minority Over-sampling Technique）是经典SMOTE算法的改进版本，发表于2025年的Scientific Reports期刊。相比原始SMOTE，ISMOTE做了两方面的增强：（1）扩展了样本生成的特征空间，不再局限于简单的近邻线性插值；（2）优化了合成样本的分布，使生成的新样本在数据分布上更加逼真。

通过减少多数类并将少数类别各自扩充至4000个样本，我们构建了一个相对均衡的微调训练集。

在Mistral的模型家族中，我们选用了Small类模型（Small-3.1-24B-Instruct-2503），它在我们的GPU资源条件下能够顺利运行，同时提供了分类器所需的多语言能力。我们采用了Unsloth框架来实现微调——这个框架相比原生的Transformers库速度更快、步骤更简洁。整个微调流程包括七个步骤：数据加载、基座模型加载、LoRA适配、多标签封装与焦点损失、评估指标与训练参数设定、模型训练、以及最终的测试集评估。

我们采用60:20:20的比例将数据划分为训练集、验证集和测试集，提前将文本转换为嵌入向量存储为JSON格式，训练时直接加载向量而非原始文本，大幅提升数据读取效率。

基础环境搭建与数据加载

有一个多标签情绪分类的数据集，已经将文本转换成了嵌入向量并保存为JSON格式。搭建基于Unsloth框架的Mistral Small 3.1微调环境，完成数据集的加载与格式化。需要注意：

- 训练集、验证集和测试集分别存放在train.json、val.json和test.json中

- 每个JSON文件包含“X”（嵌入向量列表）和“y”（标签列表）两个字段

- 使用60:20:20的划分比例已在文件层面完成，直接加载即可

- 数据集格式需转为PyTorch的tensor格式，以便后续训练

- 请先给出步骤概述，再生成代码

阅读原文进群获取完整内容及更多AI见解、行业洞察，与900+行业人士交流成长。

第二轮对话：LoRA适配与焦点损失分类器设计

上一步已经加载了基座模型，现在需要进行两个关键操作：

第一，为模型挂载LoRA低秩适配器——对q_proj、k_proj、v_proj、o_proj、gate_proj、up_proj和down_proj这些注意力与FFN投影层全部应用LoRA，秩设为16，alpha设为32，启用unsloth的梯度检查点以节省显存。

第二，构建一个多标签分类头——接收嵌入向量，先经过两层投影把维度对齐到模型的隐藏层维度，然后取模型最后一层隐藏状态的[CLS]位置向量，经过Dropout后送入线性分类器输出15个类别的logits。

评估阶段采用多标签分类的完整指标体系。除了传统的精确率、召回率和F1值外，还计算了每个情绪类别的独立指标，方便定位具体哪些类别的识别效果需要改进。这部分代码在评估函数compute_metrics中完成，训练参数采用余弦学习率衰减配合5%的预热步数，使用8比特AdamW优化器在bf16混合精度下训练。

训练配置与模型训练

上一步已经完成了模型搭建。现在配置训练参数并启动训练：

- 每GPU批次大小为8，梯度累积步数为4（等效批次32）

- 学习率峰值1e-4，前5%步数线性预热，之后余弦衰减至接近0

- 使用8比特AdamW优化器，bf16混合精度

- 训练15个epoch，每个epoch结束后在验证集上评估一次，同时保存检查点

- 以macro_f1作为最优模型选择指标（越高越好），训练结束后自动恢复最佳检查点

- 注意：自定义的MultiLabelTrainer需要正确处理多标签的前向传播（labels从inputs中分离后传入model），并在保存检查点时同时保存分类头权重和LoRA适配器

在配备NVIDIA RTX 6000 GPU和192GB显存的机器上，15个epoch的完整微调耗时约9小时30分钟，训练结束后自动加载了验证集macro_f1最优的检查点。下面是模型在测试集上的逐类别性能表现。