【光电智造】Transformers基础知识+环境安装

今日光电

----追光逐电 光引未来----

一、常见自然语言处理任务

---

类别	简介
情感分析	对给定的文本分析其情感极性文本生成:根据给定的文本进行生成
命名实体识别	标记句子中的实体
阅读理解	给定上下文与问题，从上下文中抽取答案
掩码填充	填充给定文本中的掩码词
文本摘要	生成一段长文本的摘要
机器翻译	将文本翻译成另一种语言
特征提取	生成给定文本的张量表示
对话机器人	根据用户输入文本，产生回应，与用户对话

二、自然语言处理的几个阶段

• 第一阶段:统计模型+数据(特征工程)

  决策树、SVM、HMM、CRF、TF-IDF、BOW

---

• 第二阶段:神经网络+数据

  Linear、CNN、RNN、GRU、LSTM、Transformer、Word2vec、Glove

---

• 第三阶段:神经网络+预训练模型+(少量)数据

  GPT、BERT、ROBERTa, ALBERT、BART、T5

---

• 第四阶段:神经网络+更大的预训练模型+Prompt

  ChatGPT、Bloom、LLaMA、Alpaca、Vicuna、MOSS、文心一言、通义千问、星火

---

三、Transformers及相关库

• Transformers:

   核心库，模型加载、模型训练、流水线等

• Tokenizer:

  分词器，对数据进行预处理，文本到token序列的互相转换。

• Datasets:

  数据集库，提供了数据集的加载、处理等方法

• Evaluate:

  评估函数，提供各种评价指标的计算函数

• PEFT:

  高效微调模型的库，提供了几种高效微调的方法，小参数量动大模型

• Accelerate:

  分布式训练，提供了分布式训练解决方案，包括大模型的加载与推理解决方案Optimum:优化加速库，支持多种后端，如Onnxruntime、OpenVino等

• Gradio:

  可视化部署库，几行代码快速实现基于Web交互的算法演示系统

四、Ubuntu Transformers环境安装

• 关于miniconda、pytorch、cuda、cudnn等基础环境的安装参考下述链接:

https://blog.csdn.net/sinat_40587853/article/details/128631190

• 对于cuda等的版本选择，依据此流程进行：显卡型号 -> 算力 -> CUDA -> 驱动 -> cuDNN，Nvidia驱动安装链接如下：NVIDIA驱动安装

• miniconda 安装下载地址:

https://mirrorstuna.tsinghua.edu.cn/anaconda/miniconda/

如果C盘有空间，最好安装在C盘，且安装目录中不能有中文。安装时勾选"将其添加到PATH"

• conda环境创建：

conda create -n transformers python=3.9

注意：明确指定版本，否则可能会因版本过高导致有包装不上

• pypi配置国内源-清华源，配置后下载速度起飞：

https://mirrors.tuna.tsinghua.edu.cn/help/pypi/

• 配置pypi指令：如果您到 pip 默认源的网络连接较差，临时使用本镜像站来升级 pip：

python -m pip install -i https://mirrors.tuna.tsinghua.edu.cn/pypi/web/simple --upgrade pip

• 配置pypi指令：升级 pip 到最新的版本后进行配置：

python -m pip install --upgrade pippip config set global.index-url https://mirrors.tuna.tsinghua.edu.cn/pypi/web/simple

• pytorch安装：

• 官方地址:https://pytorch.org/

• 在一个单独的环境中，能使用pip就尽量使用pip，实在有问题的情况，例如没有合适的编译好的系统版本的安装包，再使用conda进行安装，不要来回混淆；

• 30XX、40XX显卡，要安装cu11以上的版本，否则无法运行；

• CUDA是否要安装：如果只需要训练、简单推理，则无需单独安装CUDA，直接安装pytorch；如果有部署需求，例如导出TensorRT模型，则需要进行CUDA安装。

• Transformers核心包安装命令：

pip install transformers datasets evaluate peft accelerate gradio optimum sentencepiece

pip install jupyterlab scikit-learn pandas matplotlib tensorboard nltk rouge

五、Demo测试：

#样例：阅读理解#导入gradioimport gradio as gr#导入transformers相关包from transformers import#通过Interface加载pipeline并启动阅读理解服务gr.Interface.from pipeline(pipeline("question-answering", model="ue

----与智者为伍 为创新赋能----

投稿丨合作丨咨询

联系邮箱：uestcwxd@126.com

QQ：493826566