瑞典国家图书馆正在使用五百年来的瑞典语文本训练最先进的 AI 模型，以支持历史、语言学、媒体研究等方面的人文研究。
从价值连城的中世纪手稿到今天的披萨店菜单，瑞典国家图书馆在过去 500 年中收藏了几乎所有瑞典语出版物。
由于瑞典法律要求一切瑞典语出版物都要上交副本至瑞典国家图书馆（也称为瑞典皇家图书馆），因此该图书馆的藏品涵盖了各清晰度的书籍、报纸、无线广播、电视广播、互联网内容、博士论文、明信片、菜单和电子游戏。这个内容丰富的收藏集含近 26 PB 的数据，是训练尖端 AI 的最佳选择。
瑞典国家图书馆数据实验室 KBLab 的负责人 Love Börjeson 表示：“我们有最好的数据，所以我们可以构建最先进的瑞典语 AI 模型。”
该团队使用 NVIDIA DGX 系统开发了二十多个可在 Hugging Face 上使用的开源 Transformer 模型。这些模型推动了图书馆和其他学术机构的研究，每月的开发者下载量多达 20 万。
Börjeson 表示：“在我们的实验室成立前，研究者无法在图书馆访问数据集，他们每次只能查阅一个对象。因此，为帮助那些需要大量查阅资料的研究者，创建图书馆的数据集十分必要。”
这样，研究者很快就能创建专门的数据集。例如，调出所有描绘教堂的瑞典明信片、所有特定风格的文本或是所有提到某一历史人物的书籍、报纸文章及电视广播。
从图书馆档案到 AI 训练数据
瑞典国家图书馆的数据集涵盖了瑞典语的所有变体，包括各种正式和非正式变体、地区方言以及随着时间的推移而产生的变化。
Börjeson 表示：“数据还在持续不断地涌入并增长，我们每个月都会增加超过 50 TB 的新数据。在处理成倍增长的数据的同时，我们还要将数百年前的实物藏品转换成数据录入，所以我们一直在不断扩大我们的数据集。”
该图书馆的档案包括音频、文本和视频。
2019 年 KBLab 成立后不久，Börjeson 就看到了运用庞大的图书馆档案训练 Transformer 语言模型的潜力。谷歌早期的多语言自然语言处理模型含有 5GB 瑞典语文本，他从此受到了启发。
KBLab 的第一个模型使用了谷歌多语言自然语言处理模型 4 倍之多的数据——Börjeson 团队的目标是使用至少 1 TB 的瑞典语文本训练模型。在发现多语言数据集可能提高 AI 的性能之后，这座实验室开始进行实验，在其数据集中添加荷兰语、德语和挪威语内容。
NVIDIA AI 和 GPU 加速模型开发
该实验室一开始使用的是消费级 NVIDIA GPU，但 Börjeson 很快发现他的团队需要数据中心规模的计算来训练更大的模型。
Börjeson 表示：“我们意识到在小型工作站上无法完成这项工作，所以 NVIDIA DGX 是明智之选。我们很多的工作离不开 DGX 系统。”
该实验室使用两套来自瑞典供应商 AddPro 的 NVIDIA DGX 系统进行本地 AI 开发。这些系统用于处理敏感数据、开展大规模实验和微调模型。它们还准备在全欧盟搭载 GPU 的大型超级计算机上进行更大规模的运行，其中包括卢森堡的 MeluXina 系统。
Börjeson 表示：“我们在 DGX 系统上的工作至关重要，因为我们希望能够在高性能计算环境中做到最好，这必须将超级计算机的作用发挥到极致。”
该团队还采用了用于训练大型语言模型的 PyTorch 框架 NVIDIA NeMo Megatron。其内置的 NVIDIA CUDA 和 NVIDIA NCCL 库可优化 GPU 在多节点系统中的使用。
Börjeson 表示：“我们十分依赖 NVIDIA 的框架。因为我们实验室的规模较小，无法派出 50 名工程师优化每个项目的 AI 训练，NVIDIA 的优势在这就十分明显了。”
利用多模态数据开展人文科学研究
除了能够理解瑞典语文本的 Transformer 模型外，KBLab 还有一个能将声音转换成文本的 AI 工具。这使得图书馆能够将其大量的无线广播收藏转换成数据集，以便研究者能够搜索录音中的具体内容。
KBLab 还在开发生成式文本模型，同时还在研究一个可以处理视频并自动生成内容描述的 AI 模型。
Börjeson 表示：“我们还希望将各种模态的数据联系起来。当你在图书馆数据库中搜索一个特定的词语时，系统将能够返回包括文本、音频和视频在内的结果。”
AI 增强数据库推动了图书馆记录的革命性进步，这些记录原本被长期保存在实体卡片目录中。
KBLab 与哥德堡大学的研究者开展了合作。这些研究者正在使用该 KBLab 的模型开发用于语言学研究的下游应用程序。项目之一是帮助瑞典学院升级用于创建瑞典语词典的数据驱动技术。
Börjeson 表示：“这些模型的社会效益远远超出了我们的最初预想。”
本文中图片均来自瑞典国家图书馆。
点击 “阅读原文” 或扫描下方海报二维码，即可免费注册 GTC 23，切莫错过这场 AI 和元宇宙时代的技术大会！
