面包芯语

详解ChatGPT数据集之谜

智能计算芯世界 2023-02-21 07:45
年终搞个特价示波器奖励员工？ 低价玩转泰克信号发生器PF1440
​

——文末附ChatGPT专题下载——

51份专业报告

一些研究人员的报告称，通用人工智能（AGI）可能是从我们当前的语言模型技术进行演进 [1]，预训练 Transformer 语言模型为 AGI 的发展铺平了道路。虽然模型训练数据集日渐增大，但缺乏基本指标文档，包括数据集大小、数据集 token 数量和具体的内容细节。
下载链接（文末附51份专业报告）：
AIGC&ChatGPT发展报告
浙商证券：ChatGPT研究框架（2023）
ChatGPT芯片算力：研究框架

专题研究：ChatGPT：深度拆解（2023）

国泰君安：ChatGPT 研究框架（2023）

尽管业内提出了数据集组成和整理文档的标准 [2]，但几乎所有重点研究实验室在揭示模型训练数据集细节这方面都做得不够。这里整合的研究涵盖了 2018 年到 2022 年初从 GPT-1 到 Gopher 的精选语言模型的所有数据集（包括主要数据集：Wikipedia 和 Common Crawl）的综合视图。
1、概述
图 1. 主要数据集大小的可视化汇总。未加权大小，以 GB 为单位。 
2018 年以来，大语言模型的开发和生产使用呈现出爆炸式增长。一些重点研究实验室报告称，公众对大语言模型的使用率达到了惊人高度。2021 年 3 月，OpenAI 宣布 [3] 其 GPT-3 语言模型被 “超过 300 个应用程序使用，平均每天能够生成 45 亿个词”，也就是说仅单个模型每分钟就能生成 310 万词的新内容。
值得注意的是，这些语言模型甚至还没有被完全理解，斯坦福大学的研究人员 [4] 最近坦言，“目前我们对这些模型还缺乏认知，还不太了解这些模型的运转模式、不知道模型何时会失效，更不知道这些模型的突现性（emergent properties）能产生什么效果”。
随着新型 AI 技术的快速发展，模型训练数据集的相关文档质量有所下降。模型内部到底有什么秘密？它们又是如何组建的？本文综合整理并分析了现代大型语言模型的训练数据集。
因为这方面的原始文献并不对外公开，所以本文搜集整合了二、三级研究资料，在必要的时候本文会采用假设的方式来推算最终结果。
在本文中，我们会将原始论文中已经明确的特定细节（例如 token 数量或数据集大小）归类为 “公开的（disclosed）” 数据，并作加粗处理。
多数情况下，适当地参考二、三级文献，并采用假设的方式来确定最终结果是很有必要的。在这些情况下，token 数量和数据集大小等细节是 “确定的（determined）”，并以斜体标记。
模型数据集可分为六类，分别是：维基百科、书籍、期刊、Reddit 链接、Common Crawl 和其他数据集。
表 1. 主要数据集大小汇总。以 GB 为单位。公开的数据以粗体表示。确定的数据以斜体表示。仅原始训练数据集大小。
1.1. 维基百科
维基百科是一个免费的多语言协作在线百科全书，由超过 300,000 名志愿者组成的社区编写和维护。截至 2022 年 4 月，英文版维基百科中有超过 640 万篇文章，包含超 40 亿个词 [5]。维基百科中的文本很有价值，因为它被严格引用，以说明性文字形式写成，并且跨越多种语言和领域。一般来说，重点研究实验室会首先选取它的纯英文过滤版作为数据集。
1.2. 书籍
故事型书籍由小说和非小说两大类组成，主要用于训练模型的故事讲述能力和反应能力，数据集包括 Project Gutenberg 和 Smashwords (Toronto BookCorpus/BookCorpus) 等。
1.3. 杂志期刊
预印本和已发表期刊中的论文为数据集提供了坚实而严谨的基础，因为学术写作通常来说更有条理、理性和细致。这类数据集包括 ArXiv 和美国国家卫生研究院等。
1.4. Reddit 链接
WebText 是一个大型数据集，它的数据是从社交媒体平台 Reddit 所有出站链接网络中爬取的，每个链接至少有三个赞，代表了流行内容的风向标，对输出优质链接和后续文本数据具有指导作用。
1.5. Common Crawl
Common Crawl 是 2008 年至今的一个网站抓取的大型数据集，数据包含原始网页、元数据和文本提取，它的文本来自不同语言、不同领域。重点研究实验室一般会首先选取它的纯英文过滤版（C4）作为数据集。
1.6. 其他数据集
不同于上述类别，这类数据集由 GitHub 等代码数据集、StackExchange 等对话论坛和视频字幕数据集组成。
2、常用数据集
2019 年以来，大多数基于 Transformer 的大型语言模型 (LLM) 都依赖于英文维基百科和 Common Crawl 的大型数据集。在本节中，我们参考了 Jesse Dodge 和 AllenAI（AI2）[8] 团队的综合分析，按类别对英文维基百科作了高级概述，并在 Common Crawl 数据集 [7] 的基础上，用谷歌 C4 [6] (Colossal Clean Crawled Corpus) 在 Common Crawl 中提供了顶级域（domains）。
2.1. 维基百科（英文版）分析
下面按类别 [9] 列出了维基百科的详细信息，涵盖了 2015 年抽样的 1001 篇随机文章，研究人员注意到随时间推移文章传播的稳定性。假设一个 11.4GB、经过清理和过滤的维基百科英文版有 30 亿 token，我们就可以确定类别大小和 token。
表 2. 英文维基百科数据集类别。公开的数据以粗体表示。确定的数据以斜体表示。
2.2 Common Crawl 分析
基于 AllenAI (AI2) 的 C4 论文，我们可以确定，过滤后的英文 C4 数据集的每个域的 token 数和总体百分比，该数据集为 305GB，其中 token 数为 1560 亿。
表 3. C4：前 23 个域（不包括维基百科）。公开的数据以粗体表示，确定的数据以斜体表示。
3、GPT-1 数据集
2018 年，OpenAI 发布了 1.17 亿参数的 GPT-1。在论文中，OpenAI 并没有公布模型训练数据集的来源和内容 [10]，另外，论文误将‘BookCorpus’拼写成了‘BooksCorpus’。BookCorpus 以作家未出版的免费书籍为基础，这些书籍来自于 Smashwords，这是一个自称为 “世界上最大的独立电子书分销商” 的电子书网站。这个数据集也被称为 Toronto BookCorpus。经过几次重构之后，BookCorpus 数据集的最终大小确定为 4.6GB [11]。
2021 年，经过全面的回顾性分析，BookCorpus 数据集对按流派分组的书籍数量和各类书籍百分比进行了更正 [12]。数据集中有关书籍类型的更多详细信息如下：
表 4. BookCorpus 书籍类型。公开的数据以粗体表示，确定的数据以斜体表示。
在随后的数据集重构中，BookCorpus 数据集进一步过滤掉了书籍中的 “吸血鬼” 类别、降低了言情类书籍的百分比、增加了 “历史” 类书籍，增加了收集的书籍数量。
3.1. GPT-1 数据集总结
GPT-1 最终的数据集总结分析如下：
表 5.GPT-1 数据集总结。以 GB 为单位。公开的数据以粗体表示，确定的数据以斜体表示。
 4、GPT-2 数据集
2019 年，OpenAI 发布了拥有 15 亿参数的语言模型 GPT-2。GPT-2 论文阐明了所用训练数据集的大小 [13]，不过并未说明其内容。而 GPT-2 模型卡（model card）（在 GPT-2 GitHub 仓库中）说明了模型内容 [14]。
我们可以从 GPT-3 论文中得到 token 数量，该论文使用了 WebText 扩展版本来表示 190 亿 token。据推测，2020 年推出的 WebText 扩展版本拥有 12 个月的额外数据（additional data），因此它可能比 2019 年推出的 GPT-2 版本大 25% 左右 [15]。GPT-2 最终的 token 数量确定为 150 亿左右。
如 GPT-2 论文所述，假设模型卡显示链接数时，每个链接都可以被 4500 万链接总数所除，那 WebText 的内容在数据集中所占的百分比的详细信息就可以确定。
然后可以使用确定的 150 亿 token 数量来查找每个域的 token 数量。请注意，在可用的前 1,000 个域中，此处仅显示前 50 个域。
表 6. WebText: 前 50 个域。 公开的数据以粗体表示，确定的数据以斜体表示。
4.1. GPT-2 数据集总结
GPT-2 模型最终的数据集总结分析如下：
表 7. GPT-2 数据集总结。 公开的数据以粗体表示，确定的数据以斜体表示。
5、GPT-3 数据集
GPT-3 模型由 OpenAI 于 2020 年发布。论文阐明了所用训练数据集的 token 数量 [16]，但训练数据集的内容和大小尚不清楚（Common Crawl 的数据集大小除外 [17]）
表 8. GPT-3 数据集。 公开的数据以粗体表示，确定的数据以斜体表示。
5.1. GPT-3：关于 Books1 和 Books2 数据集的分析
特别值得关注的是，在 OpenAI 的 GPT-3 论文中，并未公开 Books1 数据集（120 亿 token）和 Books2 数据集（550 亿 token）的大小和来源。关于这两个数据集的来源人们提出了几个假设，包括来自 LibGen18 和 Sci-Hub 的类似数据集，不过这两个数据集常以 TB 为计，大到无法匹配。
5.2. GPT-3：Books1
GPT-3 使用的 Books1 数据集不可能与 GPT-1 使用的 BookCorpus 数据集相同，原因在于 Books1 的数据集更大，达 120 亿 token。在一篇引用的论文 [19] 中就提及 GPT-1 使用的 BookCorpus 数据集拥有 9.848 亿个词，但这可能只相当于 13 亿 token（984.8 字 x 1.3 字的 token 乘数）。
通过标准化项目古腾堡语料库（SPGC），Books1 有可能与古腾堡项目保持一致性。SPGC 是一种开放式科学方法，被用于古腾堡项目完整的 PG 数据的精选（curated）版本。SPGC 包含 120 亿个 token [20]，大约为 21GB [21]。
5.3. GPT-3：Books2
Books2（550 亿 token）可能与 Bibliotik 保持一致，并由 EleutherA 收集该来源的数据，组成数据集，使其成为 The Pile v1 的一部分。Bibliotik 版本为 100.96GB [22]，其确定的 token 数仅为 250 亿，低于 Books2 公开的 550 亿。然而，使用 SPGC 的‘每字节 token 数’比率（大约为 1:1.75），Bibliotik 的 token 数和大小将更接近于 Books2。
5.4. GPT-3 数据集总结
附录 A 概述了使用 Wikipedia + CommonCrawl + WebText 数据集的顶级资源列表。GPT-3 模型的最终数据集总结分析如下：
表 9.GPT-3 数据集总结。公开的数据以粗体表示，确定的数据以斜体表示。
 6、The Pile v1（GPT-J 和 GPT-NeoX-20B）数据集
The Pile v1 数据集由 EleutherAI 于 2021 年发布，该数据集已被用于训练包括 GPT-J、GPT-NeoX-20B 在内的多种模型，并作为包括 MT-NLG 在内的其他模型的部分数据集。The Pile v1 论文阐明了所用训练数据集的来源和大小。随着 token 数量的增加，The Pile v1 论文应被用作未来数据集文档的黄金标准。
有关 token 数量的更多详情，可以使用本文提供的信息来确定，参见表 1（大小以 GB 为单位）和表 7（token / 每字节）[23]。
表 10. The Pile v1 数据集。公开的数据以粗体表示，确定的数据以斜体表示。
6.1. The Pile v1 分组数据集（Grouped Datasets）
为了确定如‘Books’、‘Journals’和‘CC’这类数据集的大小，笔者对数据集进行了分组，如下表所示。
表 11. The Pile v1 分组数据集（不包括 Wikipedia、CC 和 WebText）。公开的数据以粗体表示，确定的以斜体表示。
6.2. The Pile v1 数据集总结
The Pile v1 数据集与 GPT-J 和 GPT-NeoX-20B 模型的最终数据集总结分析如下：
表 12. Pile v1 数据集总结。 公开的数据以粗体表示，确定的数据以斜体表示。
7、Megatron-11B 和 RoBERTa 数据集
2019 年，Meta AI (当时称之为 Facebook AI) 和华盛顿大学联合发布了拥有 1.25 亿参数的 RoBERTa 模型。次年，Meta AI 发布了拥有 110 亿参数的 Megatron-11B 模型。Megatron-11B 使用的训练数据集与 RoBERTa 相同。RoBERTa [24] 论文阐明了所用训练数据集的内容，不过必须参考引用的论文 (BERT [25] 和 toryes [26]) 来确定最终的数据集大小。
BookCorpus ： 确定的数据集为 4.6GB，如上面的 GPT-1 部分所示。
维基百科：公开的数据集为 “16GB（BookCorpus 加上英文维基百科）”。在减去 BookCorpus 数据集（4.6GB，如上面的 GPT-1 部分所述）后，维基百科数据集确定为 11.4GB。
CC-News ：（经过滤后）公开的数据集为 76GB。
OpenWebText : 公开的数据集为 38GB。
Stories : 公开的数据集为 31GB。请注意，此数据集是 “基于常识推理任务问题” 的 Common Crawl 内容，不属于本文的‘Books’类别。相反，将 Stories 与 CC-News 数据集（76GB）相结合，Common Crawl 的总数据集则为 107GB。
7.1. Megatron-11B 和 RoBERTa 的数据集总结
Megatron-11B 和 RoBERTa 最终的数据集总结分析如下：
表 13. Megatron-11B 和 RoBERTa 的数据集总结。 公示的数据以粗体表示，确定的数据以斜体表示。
8、MT-NLG 数据集
2021 年，英伟达和微软发布了拥有 5300 亿参数的语言模型 MT-NLG。MT-NLG 是微软 Turing NLG（拥有 170 亿参数）和英伟达 Megatron-LM（拥有 83 亿参数）的 “继任者”。MT-NLG 论文阐明了所用训练数据集的来源和 token 数量，不过没有明确指出数据集的大小。
如前所述，有关数据集大小的更多详情，可以使用 The Pile v1 论文中提供的信息来确定。虽然使用的组件相同，但注意的是，MT-NLG 和 The Pile v1 中报告的组件大小却各不相同，这是由于来自 Eleuther AI (The Pile v1 数据集) 和 Microsoft/NVIDIA (MT-NLG 模型) 的研究人员采用了不同的数据过滤和去重方法。
8.1. MT-NLG 中的 Common Crawl 数据集
Pile-CC：公开的数据集为 498 亿 token，确定的数据为 227.12GB 左右，参见上述 Pile v1 部分。
CC-2020-50: 公开的数据集为 687 亿 token，假设 token 的每字节率（per byte rate）为 0.25 TpB=274.8GB。
CC-2021-04：公开的数据集为 826 亿 token，假设 token 的每字节率为 0.25 TpB=330.4GB
RealNews（来自 RoBERTa/Megatron-11B）：显示为 219 亿 token。根据 RealNews 论文 [27]，数据集确定为 120GB。
CC-Stories (来自 RoBERTa/Megatron-11B)：公开的数据集为 53 亿 token，如上述 RoBERTa 部分所示，数据集确定为 31GB。
根据以上来源，可确认 Common Crawl 的总数据量为 983.32GB，共计 2283 亿 token。
8.2. MT-NLG 分组数据集（Grouped Datasets）
表 14. MT-NLG 分组数据集。公开的数据以粗体表示，确定的数据以斜体表示。
8.3. MT-NLG 数据集总结
MT-NLG 模型最终的数据集总结分析如下：
表 15. MT-NLG 数据集总结。 公示的数据以粗体表示，确定的数据以斜体表示。
9、MT-NLG 数据集 Gopher 数据集
Gopher 模型由 DeepMind 于 2021 年发布，有 2800 亿参数。该论文清楚地说明了所使用训练数据集所包含的高级 token 数量和大小 [28]，但没有说明详细内容。
表 16. 公开的 Gopher 数据集 (MassiveText)。公开的数据以粗体表述，确定的数据以斜体表示。
有趣的是，据 Gopher 论文披露：其 Books 数据集中包含一些超过 500 年历史（1500-2008）的书籍。
9.1. MassiveWeb 数据集分析
DeepMind 于 2014 年被谷歌收购，并在创建 MassiveText 时获得了海量数据。虽然 Gopher 论文中没有进一步详细描述 MassiveWeb，但第 44 页附录中的表 A3b 注明了 MassiveWeb 中出现的前 20 个域 [29]。根据披露的每个域所占的百分比，我们可以使用 MassiveWeb 的总 token 数（5060 亿 token）和总原始大小（1900GB）来确定每个域的 token 数量和大小。
表 17. MassiveWeb：前 20 个域。公开的数据以粗体表示，确定的数据以斜体表示。
9.2. Gopher：关于维基百科数据集的分析
维基百科数据集的总规模很难确定。在 Gopher 论文中，研究人员指出维基百科没有进行数据去重 [30]。然而，论文中列出的不同大小数据集（12.5GB MassiveWeb Wikipedia 与 1GB MassiveText Wikipedia）可能是由于失误而造成的，误将 “10GB” 写成了 “1GB”。无论如何，本文仅使用 MassiveWeb 数据集版本 (12.5GB)。
9.3. Gopher: 不包括 WebText
Gopher 数据集的组成部分不包括 Reddit 外链的 WebText 数据集。为了清楚起见，尽管 Reddit 是 MassiveWeb 中的顶级域，但该数据集仅抓取 Reddit 域内的 Reddit 链接。根据定义，WebText [31] 由 “所有 Reddit 的外链” 组成（即指向 Reddit 域外的链接）。
9.4. Gopher 分组数据集
MassiveWeb 被认为是 MassiveText 的子组件，并被集成到 Gopher 的数据集汇总中，其分组基于以下列出的可用信息：
表 18. Gopher 分组数据集。公开的数据以粗体表示，确定的数据以斜体表示。
9.5. Gopher 数据集总结
Gopher 是本文中最大的数据集，大小为 10.5TB。Gopher 模型的最终数据集总结分析为：
表 19. Gopher 数据集总结。公开的数据以粗体表示，确定的数据以斜体表示。
10、结论
对于训练当代 Transformer 大型语言模型的数据集而言，这可能是最全面的整合分析内容（截止 2022 年初）。在主要数据源不透明的情况下，本次研究主要从二级和三级来源收集数据，并经常需要假定来确定最终估计值。随着研究人员要处理千万亿个 token（1,000 万亿）和数千 TB 的数据（1,000TB），确保详细披露数据集组成的文档变得越来越重要。
特别值得关注的是，基于大型语言模型的强大 AI 系统产生的冗长而匿名的输出正在迅速发展，其中许多数据集的细节内容几乎没有文档说明。
强烈建议研究人员使用突出显示的 “数据集的数据表（Datasheet for Datasets）” 论文中提供的模板，并在记录数据集时使用最佳实践论文（即 Pile v1 论文，包括 token 数量）。数据集大小（GB）、token 数量（B）、来源、分组和其他详细信息指标均应完整记录和发布。
随着语言模型不断发展并更广泛地渗透到人们的生活中，确保数据集的详细信息公开透明、所有人都可访问且易于理解是有用、紧迫和必要的。
扩展阅读及脚注
考虑到简洁和可读性，本文使用了脚注而非文本 / 括弧式引文。主要参考文献如下，或者参见 http://lifearchitect.ai/papers/，获取大语言模型领域的主要基础论文。以下论文按本文顺序显示。

  1. Datasheets for Datasets Gebru, T., Morgenstern, J., Vecchione, B., Vaughan, J., Wallach, H., Daumé III, H., & Crawford, K. (2018). Datasheets for Datasets.  https://arxiv.org/abs/1803.09010

  2. GPT-1 paper Radford, A., & Narasimhan, K. (2018). Improving Language Understanding by Generative Pre-Training. OpenAI.  https://cdn.openai.com/research-covers/language-unsupervised/language_understan  ding_paper.pdf

  3. GPT-2 paper Radford, A., Wu, J., Child, R., Luan, D., Amodei, D. & Sutskever, I. (2019). Language Models are Unsupervised Multitask Learners. OpenAI.  https://cdn.openai.com/better-language-models/language_models_are_unsupervised  _multitask_learners.pdf

  4. GPT-3 paper Brown, T., Mann, B., Ryder, N., Subbiah, M., Kaplan, J., & Dhariwal, P. et al. (2020). OpenAI. Language Models are Few-Shot Learners.  https://arxiv.org/abs/2005.14165

  5. The Pile v1 paper Gao, L., Biderman, S., Black, S., Golding, L., Hoppe, T., & Foster, C. et al. (2021). The Pile: An 800GB Dataset of Diverse Text for Language Modeling.

  6. EleutherAI.  https://arxiv.org/abs/2101.00027

  7. GPT-J announcement Komatsuzak, A., Wang, B. (2021). GPT-J-6B: 6B JAX-Based Transformer.  https://arankomatsuzaki.wordpress.com/2021/06/04/gpt-j/

  8. GPT-NeoX-20B paper Black, S., Biderman, S., Hallahan, E. et al. (2022). EleutherAI. GPT-NeoX-20B: An Open-Source Autoregressive Language Model.  http://eaidata.bmk.sh/data/GPT_NeoX_20B.pdf

  9. RoBERTa paper Liu, Y., Ott, M., Goyal, N., Du, J., Joshi, M., & Chen, D. et al. (2019). RoBERTa: A Robustly Optimized BERT Pretraining Approach. Meta AI.  https://arxiv.org/abs/1907.11692

  10. MT-NLG paper Smith, S., Patwary, M., Norick, B., LeGresley, P., Rajbhandari, S., & Casper, J. et al. (2021). Using DeepSpeed and Megatron to Train Megatron-Turing NLG 530B, A Large-Scale Generative Language Model. Microsoft/NVIDIA.  https://arxiv.org/abs/2201.11990

  11. Gopher paper Rae, J., Borgeaud, S., Cai, T., Millican, K., Hoffmann, J., & Song, F. et al. (2021). Scaling Language Models: Methods, Analysis & Insights from Training Gopher. DeepMind.  https://arxiv.org/abs/2112.11446

  12. Appendix A: Top 50 Resources: Wikipedia + CC + WebText (i.e. GPT-3)

附录 A：前 50 个资源：Wikipedia + CC + WebText（即 GPT-3）


51份ChatGPT专业报告
计算机研究报告：ChatCPT在金融应用前景
ChatGPT系列，重构办公软件价值天花板
ChatGPT通用化效果突破、前景广阔
ChatGPT系列，为人形机器人注入“灵魂”
ChatGPT更懂人类的叙事
浙商证券：ChatGPT研究框架
ChatGPT芯片算力：研究框架
Chiplet方兴未艾，先进封测持续创新（2023）
ChatGPT将AIGC推向平民化时代（2023）
ChatGPT：AI相关生态赛道会分享
AIGC 概念爆火带来什么启示
ChatGPT成功连接，未来可期(2023)
大厂加大类ChatGPT布局力度，商业应用有望加速落地
ChatGPT带来算力需求；第三方支付行业逻辑逐步被认知
三分钟看懂ChatGPT
ChatGPT跨行业专题报告：AIGC发展大年，推动新一轮产业革命（2023）
ChatGPT的背后：指数级增长的芯片与半导体需求（2023）
专题研究：ChatGPT：深度拆解（2023）
专题报告：AIGC进展迅速，重构内容生产力（2023）
ChatGPT热度加速AI算力，光通信产业链受益
ChatGPT专题：探寻ChatGPT能力圈，以及破圈之路（2023）
AIGC专题：探析AIGC的技术发展和应用（2023）
AIGC/ChatGPT：内容生产力的革命（Web3.0）
ChatGPT的背后：指数级增长的芯片与半导体需求（2023）
国内外科技公司ChatGPT技术布局及应用场景
ChatGPT：又一个“人形机器人”主题（2023）
揭秘ChatGPT身后的AIGC技术和它的中国同行（2023）
ChatGPT 研究框架（2023）
ChatGPT：真格基金分享（2023）
揭秘ChatGPT身后的AIGC技术和它的中国同行（2023）
《ChatGPT专题报告（1）》
1、行业专题研究：ChatGPT，开启AI新纪元（2023）
2、从ChatGPT到生成式AI（Generative AI）：人工智能新范式，重新定义生产力（2023）
3、海外ChatGPT专题：ChatGPT风口已至，商业化落地加速（2023）
4、ChatGPT：开启AI新纪元（2023）
5、ChatGPT引领，关注AI产业2023新场景落地
《ChatGPT专题报告（2）》
1、ChatGPT：优化对话的语言模型（2023）
2、ChatGPT：聊天机器人顶流，开启自然语言处理领域新篇章
3、ChatGPT前景广阔，巨头入局有望加速AI落地（2023）
4、ChatGPT：振奋人形机器人应用端锦绣前程
《AIGC人工智能行业专题》
1、AIGC行业专题：2023年有望成为AIGC的拐点 2、腾讯研究院AIGC发展趋势报告2023
GPT-1到ChatGPT产业梳理
ChatGPT需要何种算力基础设施？
ChatGPT全球商业化落地加速，新一轮算力储备开启
AIGC时代来临，全球 AI 服务器龙头厂商大有可为
《从“上网”到“上算”，由“网络世界至“虚拟现实”系列报告》
1、AI专题报告之一：AIGC 与ChatGPT 正掀起新一轮的产业浪潮 2、AI专题报告之二：AIGC将开启新一轮游戏产业变革 3、AI专题报告之三：新一轮内容爆发的AIGC逻辑，在于消除“认知”不对称
ChatGPT开启AI发展新浪潮，算力紧缺和海量应用驱动AI硬件广阔空间
ChatGPT对GPU算力的需求测算与相关分析
AIGC&ChatGPT发展报告


本号资料全部上传至知识星球，更多内容请登录智能计算芯知识（知识星球）星球下载全部资料。




免责申明：本号聚焦相关技术分享，内容观点不代表本号立场，可追溯内容均注明来源，发布文章若存在版权等问题，请留言联系删除，谢谢。


电子书<服务器基础知识全解(终极版)>更新完毕，知识点深度讲解，提供182页完整版下载。


获取方式：点击“小程序链接”即可查看182页 PPT可编辑版本和PDF阅读版本详情。

服务器基础知识全解PPT(终极版)

服务器基础知识全解PDF(终极版)



温馨提示：

请搜索“AI_Architect”或“扫码”关注公众号实时掌握深度技术分享，点击“阅读原文”获取更多原创技术干货。

登录阅读全文
免责声明： 该内容由专栏作者授权发布或作者转载，目的在于传递更多信息，并不代表本网赞同其观点，本站亦不保证或承诺内容真实性等。若内容或图片侵犯您的权益，请及时联系本站删除。侵权投诉联系：  nick.zong@aspencore.com！
智能计算芯世界 聚焦人工智能、芯片设计、异构计算、高性能计算等领域专业知识分享.
评论
  • 为什么光耦固态继电器（SSR）值得关注？
    光耦固态继电器（SSR）作为现代电子控制系统中不可或缺的关键组件，正逐步取代传统机械继电器。通过利用光耦合技术，SSR不仅能够提供更高的可靠性，还能适应更加复杂和严苛的应用环境。在本文中，我们将深入探讨光耦固态继电器的工作原理、优势、挑战以及未来发展趋势。光耦固态继电器：如何工作并打破传统继电器的局限？光耦固态继电器通过光电隔离技术，实现输入信号与负载之间的电气隔离。其工作原理包括三个关键步骤：光激活：LED接收输入电流并发出与其成比例的光信号。光传输：光电传感器（如光电二极管或光电晶体管）接收
    腾恩科技-彭工 2024-12-20 16:30 55浏览
  • 扫地机器人能有多“眼明”？！艾迈斯欧司朗OSCONIQ® C3030联合呈现
    Supernode与艾迈斯欧司朗携手，通过Belago红外LED实现精准扫地机器人避障；得益于Belago出色的红外补光功能，使扫地机器人能够大大提升其识别物体的能力，实现精准避障；Belago点阵照明器采用迷你封装，兼容标准无铅回流工艺，适用于各种3D传感平台，包括移动设备、物联网设备和机器人。全球领先的光学解决方案供应商艾迈斯欧司朗（瑞士证券交易所股票代码：AMS）近日宣布，与国内领先的多行业三维视觉方案提供商超节点创新科技（Supernode）双方联合推出采用艾迈斯欧司朗先进Belago红
    艾迈斯欧司朗 2024-12-20 18:55 83浏览
  • 如何证明耳机产品质量——遵循IEC/EN耳机标准规范是关键
    耳机虽看似一个简单的设备，但不仅只是听音乐功能，它已经成为日常生活和专业领域中不可或缺的一部分。从个人娱乐到专业录音，再到公共和私人通讯，耳机的使用无处不在。使用高质量的耳机不仅可以提供优良的声音体验，还能在长时间使用中保护使用者听力健康。耳机产品的质量，除了验证产品是否符合法规标准，也能透过全面性的测试和认证过程，确保耳机在各方面：从音质到耐用性，再到用户舒适度，都能达到或超越行业标准。这不仅保护了消费者的投资，也提升了该公司在整个行业的产品质量和信誉！客户面临到的各种困难一家耳机制造商想要透
    百佳泰测试实验室 2024-12-20 10:37 163浏览
  • AI8051U跑马灯
    //```c #include "..\..\comm\AI8051U.h"  // 包含头文件，定义了硬件寄存器和常量 #include "stdio.h"              // 标准输入输出库 #include "intrins.h"         &n
    丙丁先生 2024-12-20 10:18 84浏览
  • 使用光耦合器测量电压：实用指南
    光耦合器，也称为光隔离器，是用于电气隔离和信号传输的多功能组件。其应用之一是测量电路中的电压。本文介绍了如何利用光耦合器进行电压测量，阐明了其操作和实际用途。使用光耦合器进行电压测量的工作原理使用光耦合器进行电压测量依赖于其在通过光传输信号的同时隔离输入和输出电路的能力。该过程包括：连接到电压源光耦合器连接在电压源上。输入电压施加到光耦合器的LED，LED发出的光与施加的电压成比例。光电二极管响应LED发出的光由输出侧的光电二极管或光电晶体管检测。随着LED亮度的变化，光电二极管的电阻相应减小，
    腾恩科技-彭工 2024-12-20 16:31 73浏览
  • 探索国产数字隔离器——测试与应用
    国产数字隔离器已成为现代电子产品中的关键部件，以增强的性能和可靠性取代了传统的光耦合器。这些隔离器广泛应用于医疗设备、汽车电子、工业自动化和其他需要强大信号隔离的领域。准确测试这些设备是确保其质量和性能的基本步骤。如何测试数字隔离器测试数字隔离器需要精度和正确的工具集来评估其在各种条件下的功能和性能。以下设备对于这项任务至关重要：示波器：用于可视化信号波形并测量时序特性，如传播延迟、上升时间和下降时间。允许验证输入输出信号的完整性。频谱分析仪：测量电磁干扰（EMI）和其他频域特性。有助于识别信号
    克里雅半导体科技 2024-12-20 16:35 72浏览
  • 探索光耦：高速光耦在电机驱动领域的创新应用实践
    随着工业自动化和智能化的发展，电机控制系统正向更高精度、更快响应和更高稳定性的方向发展。高速光耦作为一种电气隔离与信号传输的核心器件，在现代电机控制中扮演着至关重要的角色。本文将详细介绍高速光耦在电机控制中的应用优势及其在实际工控系统中的重要性。高速光耦的基本原理及优势高速光耦是一种光电耦合器件，通过光信号传递电信号，实现输入输出端的电气隔离。这种隔离可以有效保护电路免受高压、电流浪涌等干扰。相比传统的光耦，高速光耦具备更快的响应速度，通常可以达到几百纳秒到几微秒级别的传输延迟。电气隔离：高速光
    晶台光耦 2024-12-20 10:18 146浏览
  • 感光交融、智领潮流， 艾迈斯欧司朗点亮智能座舱星辰大海
    汽车行业的变革正愈演愈烈，由交通工具到“第三生活空间”。业内逐渐凝聚共识：汽车的下半场在于智能化。而智能化的核心在于集成先进的传感器，以实现高等级的智能驾驶乃至自动驾驶，以及更个性、舒适、交互体验更优的智能座舱。毕马威中国《聚焦电动化下半场 智能座舱白皮书》数据指出，2026年中国智能座舱市场规模将达到2127亿元，5年复合增长率超过17%。2022年到2026年，智能座舱渗透率将从59%上升至82%。近日，在SENSOR CHINA与琻捷电子联合举办的“汽车传感系列交流会-智能传感专场”上，艾
    艾迈斯欧司朗 2024-12-20 19:45 107浏览
  • 守护驾驶安全，驾驶员监控系统DMS应用解决方案
    汽车驾驶员监控系统又称DMS，是一种集中在车辆中的技术，用于实时跟踪和评估驾驶员状态及驾驶行为。随着汽车产业智能化转型，整合AI技术的DMS逐渐成为主流，AI模型通过大量数据进行持续训练，使得驾驶监控更加高效和精准。 驾驶员监测系统主要通过传感器、摄像头收集驾驶员的面部图像，定位头部姿势、人脸特征及行为特征，并通过各种异常驾驶行为检测模型运算来识别驾驶员的当前状态。如果出现任何异常驾驶行为（如疲劳，分心，抽烟，接打电话，无安全带等），将发出声音及视觉警报。此外，驾驶员的行为数据会被记录
    启扬ARM嵌入式 2024-12-20 09:14 99浏览
  • 《高速PCB设计经验规则应用实践》+新手的进阶最佳帮手
            不卖关子先说感受，真本书真是相见恨晚啊。字面意思，见到太晚了，我刚毕业或者刚做电子行业就应该接触到这本书的。我自己跌跌撞撞那么多年走了多少弯路，掉过多少坑，都是血泪史啊，要是提前能看到这本书很多弯路很多坑都是可以避免的，可惜这本书是今年出的，羡慕现在的年轻人能有这么丰富完善的资料可以学习，想当年我纯靠百度和论坛搜索、求助啊，连个正经师傅都没有，从软件安装到一步一布操作纯靠自己瞎摸索，然后就是搜索各种教程视频，说出来都是泪啊。  &
    DrouSherry 2024-12-19 20:00 112浏览
  • 百佳泰整理2024年12月各大规格更新快报
    百佳泰特为您整理2024年12月各大Logo的最新规格信息。——————————USB▶ 百佳泰获授权进行 USB Active Cable 认证。▶ 所有符合 USB PD 3.2 标准的产品都有资格获得USB-IF 认证——————————Bluetooth®▶ Remote UPF Testing针对所有低功耗音频(LE Audio)和网格(Mesh)规范的远程互操作性测试已开放，蓝牙会员可使用该测试，这是随时测试产品的又一绝佳途径。——————————PCI Express▶ 2025年
    百佳泰测试实验室 2024-12-20 10:33 118浏览
  • 【新品解读】ALINX 发布 AXVU13P：AMD Virtex UltraScale+ FPGA PCle 3.0 开发平台
    ALINX 正式发布 AMD Virtex UltraScale+ 系列 FPGA PCIe 3.0 综合开发平台 AXVU13P！这款搭载 AMD 16nm 工艺 XCVU13P 芯片的高性能开发验证平台，凭借卓越的计算能力和灵活的扩展性，专为应对复杂应用场景和高带宽需求而设计，助力技术开发者加速产品创新与部署。随着 5G、人工智能和高性能计算等领域的迅猛发展，各行业对计算能力、灵活性和高速数据传输的需求持续攀升。FPGA 凭借其高度可编程性和实时并行处理能力，已成为解决行业痛点的关
    ALINX 2024-12-20 17:44 91浏览
我要评论
0
点击右上角，分享到朋友圈 我知道啦
请使用浏览器分享功能 我知道啦