illiterate / bertclassifier

基于PyTorch的BERT中文文本分类模型（BERT Chinese text classification model implemented by PyTorch）

Hi there 👋

🏠 Welcome to my page.

🏫 I graduated with a bachelor's and a master's degree from Shanxi University.

✨ My research interests are NLP, LLMs and AIGC.

bertclassifier's Issues

请教大佬

大佬可以写一个对代码的详细分析吗，小白有点看不懂。

想请教一下大佬，bert-base-chinese里都有哪些文件呐，或者可以给指个路吗？

CrossEntropyLoss内置log_softmax，不需要在模型输出层额外添加softmax

问题描述：

• 训练模型时，loss下降非常缓慢
• 数据量大且不同类别数量平衡时能收敛但容易过拟合
• 数据量不大且存在数据不平衡时，模型预测明显偏向于数据量最多的类别

原因分析：

• nn.CrossEntropyLoss()内置log_softmax，模型输出层添加softmax，相当于做了两次的softmax，导致模型输出结果不同类别的权重存在平均化的趋势，模型难以收敛
  https://pytorch.org/docs/stable/generated/torch.nn.CrossEntropyLoss.html

解决方案：

• 移除model输出层的softmax
• 若需要获取模型输出的概率值logits，在model输出的logits后接F.softmax()

import torch.nn.functional as F

output = model(
                input_ids=input_ids, 
                attention_mask=attention_mask, 
                token_type_ids=token_type_ids, 
            )

logits = F.softmax(output)

linux环境运行出错

RuntimeError: CUDA error: unspecified launch failure
CUDA kernel errors might be asynchronously reported at some other API call, so the stacktrace below might be incorrect.
For debugging consider passing CUDA_LAUNCH_BLOCKING=1.
Compile with TORCH_USE_CUDA_DSA to enable device-side assertions.