compasty / how-to-use-transformers

Transformers 库快速入门教程

Transformers 是由 Hugging Face 开发的一个 NLP 包，支持加载目前绝大部分的预训练模型。随着 BERT、GPT 等大规模语言模型的兴起，越来越多的公司和研究者采用 Transformers 库来构建 NLP 应用。

该项目为《Transformers 库快速入门》系列教程的代码仓库，按照以下方式组织代码：

• data：存储使用到的数据集；
• src：存储所有的任务 Demo，每个任务一个文件夹，可以下载下来单独使用。

该教程暂未包含 LLaMa 等大规模语言模型 (LLM) 的使用方法。我最近也正在系统地学习，之后会把 LLM 内容添加进来，敬请期待。

Transformers 库快速入门

• 第一部分：背景知识

  • 第一章：自然语言处理
  • 第二章：Transformer 模型
  • 第三章：注意力机制

• 第二部分：初识 Transformers

  • 第四章：开箱即用的 pipelines
  • 第五章：模型与分词器
  • 第六章：必要的 Pytorch 知识
  • 第七章：微调预训练模型

• 第三部分：Transformers 实战

  • 第八章：快速分词器
  • 第九章：序列标注任务
  • 第十章：翻译任务
  • 第十一章：文本摘要任务
  • 第十二章：抽取式问答
  • 第十三章：Prompt 情感分析

• 第四部分：大模型时代

  • 第十四章：微调 FlanT5 11b
  • 第十五章：指令微调 FlanT5 11b
  • 第十六章：微调 Llama2 7b
  • 第十七章：指令微调 Llama2 7b

Demo 一览

• pairwise_cls_similarity_afqmc：句子对分类任务，金融同义句判断。
• sequence_labeling_ner_cpd：序列标注任务，命名实体识别。
• seq2seq_translation：seq2seq任务，中英翻译。
• seq2seq_summarization：seq2seq任务，文本摘要。
• sequence_labeling_extractiveQA_cmrc：序列标注任务，抽取式问答。
• text_cls_prompt_senti_chnsenticorp：文本分类任务，Prompt 情感分析。