有奖征文第三弹|张小白与NVIDIA不得不说的故事

张小白跟 NVIDIA 的故事，要从 2018 年开始说起。

2018 年，张小白买过一台 Dell 台式机，使用的是 NVIDIA GeForce GTX 1060 6GB 独立显卡，当时购买的标准是能否支持打游戏。NVIDIA 显卡在这段时间里几乎被张小白荒废了，直到这台台式机因为更新成了 NVIDIA GeForce RTX 4060 Ti 显卡而被换了下来。

2019 年，张小白开始学习 AI，才知道原来 NVIDIA 显卡不仅可以玩游戏，还可以跑 AI。于是他突然像发现了什么新大陆似的，开始折腾自己不同的 NVIDIA 显卡。比如，在一台使用 Quadro P1000 4G 显卡的笔记本电脑上装载 Ubuntu 18.04 和 CUDA 10.1、cuDNN 8.0.5，用来运行 ResNet50 神经网络；又比如在一台使用 GeForce RTX 3080 Laptop 16G 显卡的笔记本电脑上装载 Windows 11 预览版和 Ubuntu 18.04 双系统，用来运行 MindSpore AI 框架。

时间来到了 2022 年，在机缘巧合之下，张小白了解到有个叫做 Nano 的 NVIDIA Jetson 设备，说跑 AI 挺快的，于是购入了 Jetson Nano B01 4GB 版本。

随后，张小白立即在知乎平台上做了 NVIDIA Jetson Nano B01 开箱分享，并一路折腾，在当时 Jetpack 版本还是 4.6 的情况下进行了体验 Hello AI World、使用 CSI 摄像头进行 YoloV4 推理、将 JetPack 4.6 升级到 JetPack 4.6.1、制作 JetPack 4.6.4 镜像等等实践。他甚至把知乎上 NVIDIA 官方关于 Nano 的文档收集整理起来，并几乎尝试了上面提到的各种应用，包括：体验视觉功能库、通过 OpenCV 调用 CSI/USB 摄像头、图像分类的模型训练与修剪、物件检测的模型训练与优化等等。

在玩 Nano 期间，张小白还参加了 2022 CUDA On Arm Platform 夏季训练营，并以学习笔记的形式持续记录着他在训练营中使用 NVIDIA 进行开发的实践过程。

在这个过程中，通过在群里交流，张小白渐渐熟悉了 NVIDIA 的各位老师们，比如经常给他们上课的何琨老师、李奕澎老师、GPUS Lady 顾老师、《CUDA 编程》的作者樊哲勇老师，以及给 CUDA 学习笔记提出资深意见的狼狗欢欢老师等等。

在 2022 年，张小白又被 NVIDIA 推出的 NVIDIA Jetson AGX Orin 惊艳了一把。Nano 的算力只有 472 GFLOP，而 Orin 的算力则可以达到 200 TOPS。张小白实在受不了这个诱惑，于是购买了 Orin 设备。

在玩 Orin 期间，张小白依然一路折腾——加装外设（SSD 硬盘、USB 声卡）、优化系统、使用 VNC Viewer、NoMachine 等远程链接 NVIDIA Jetson AGX Orin、使用各类摄像头、运行各类应用以及升级系统等等。

随着大模型的蓬勃发展，NVIDIA 也越来越支持各种大模型应用。无论是作为台式机和笔记本显卡下的 Windows、Ubuntu，还是边缘设备 Jetson Nano B01 和 Jetson AGX Orin。

于是，张小白干脆于 2023 年 10 月起，在知乎上开了三个专栏，分别介绍不同场景下如何部署各类大模型应用。

无论是各种大模型框架，比如 llama.cpp、PrivateGPT、vLLM、text-generation-webui、LangChain、LangChain-Chatchat、FastChat、LlamaIndex、llamaspeak 等等，还是不同的预训练大模型，比如 ChatGLM 系列、Llama 2、Chinese-Alpaca、MOSS、Qwen（通义千问）、Yi（零一）、百川智能、Vicuna、Skywork（天工）等等，张小白都进行了试用。甚至涉及到多模态的大模型 Qwen-VL、VisualGLM 等，张小白也能在不同的 NVIDIA 平台上玩转起来。

提到自己做 NVIDIA 相关试验的经历，半路出家的张小白表示，怀着一颗强烈的好奇心去钻研是至关重要的。

他认为，对于开发过程中的各类问题，可以先到 github 的官网提 issue，也可以到各个软件对应的聊天群里面问开发者或者专家，还可以去搜索引擎搜索资料，或者去 NVIDIA 的官方论坛、GPU 世界论坛查找答案。