详解ChatGPT数据集之谜

智能计算芯世界 2023-02-21 07:45

——文末附ChatGPT专题下载——

51份专业报告

一些研究人员的报告称,通用人工智能(AGI)可能是从我们当前的语言模型技术进行演进 [1],预训练 Transformer 语言模型为 AGI 的发展铺平了道路。虽然模型训练数据集日渐增大,但缺乏基本指标文档,包括数据集大小、数据集 token 数量和具体的内容细节。
下载链接(文末附51份专业报告):
AIGC&ChatGPT发展报告
浙商证券:ChatGPT研究框架(2023)
ChatGPT芯片算力:研究框架

专题研究:ChatGPT:深度拆解(2023)

国泰君安:ChatGPT 研究框架(2023)

尽管业内提出了数据集组成和整理文档的标准 [2],但几乎所有重点研究实验室在揭示模型训练数据集细节这方面都做得不够。这里整合的研究涵盖了 2018 年到 2022 年初从 GPT-1 到 Gopher 的精选语言模型的所有数据集(包括主要数据集:Wikipedia 和 Common Crawl)的综合视图。
1、概述
图 1. 主要数据集大小的可视化汇总。未加权大小,以 GB 为单位。 
2018 年以来,大语言模型的开发和生产使用呈现出爆炸式增长。一些重点研究实验室报告称,公众对大语言模型的使用率达到了惊人高度。2021 年 3 月,OpenAI 宣布 [3] 其 GPT-3 语言模型被 “超过 300 个应用程序使用,平均每天能够生成 45 亿个词”,也就是说仅单个模型每分钟就能生成 310 万词的新内容。
值得注意的是,这些语言模型甚至还没有被完全理解,斯坦福大学的研究人员 [4] 最近坦言,“目前我们对这些模型还缺乏认知,还不太了解这些模型的运转模式、不知道模型何时会失效,更不知道这些模型的突现性(emergent properties)能产生什么效果”。
随着新型 AI 技术的快速发展,模型训练数据集的相关文档质量有所下降。模型内部到底有什么秘密?它们又是如何组建的?本文综合整理并分析了现代大型语言模型的训练数据集。
因为这方面的原始文献并不对外公开,所以本文搜集整合了二、三级研究资料,在必要的时候本文会采用假设的方式来推算最终结果。
在本文中,我们会将原始论文中已经明确的特定细节(例如 token 数量或数据集大小)归类为 “公开的(disclosed)” 数据,并作加粗处理。
多数情况下,适当地参考二、三级文献,并采用假设的方式来确定最终结果是很有必要的。在这些情况下,token 数量和数据集大小等细节是 “确定的(determined)”,并以斜体标记。
模型数据集可分为六类,分别是:维基百科、书籍、期刊、Reddit 链接、Common Crawl 和其他数据集。
表 1. 主要数据集大小汇总。以 GB 为单位。公开的数据以粗体表示。确定的数据以斜体表示。仅原始训练数据集大小。
1.1. 维基百科
维基百科是一个免费的多语言协作在线百科全书,由超过 300,000 名志愿者组成的社区编写和维护。截至 2022 年 4 月,英文版维基百科中有超过 640 万篇文章,包含超 40 亿个词 [5]。维基百科中的文本很有价值,因为它被严格引用,以说明性文字形式写成,并且跨越多种语言和领域。一般来说,重点研究实验室会首先选取它的纯英文过滤版作为数据集。
1.2. 书籍
故事型书籍由小说和非小说两大类组成,主要用于训练模型的故事讲述能力和反应能力,数据集包括 Project Gutenberg 和 Smashwords (Toronto BookCorpus/BookCorpus) 等。
1.3. 杂志期刊
预印本和已发表期刊中的论文为数据集提供了坚实而严谨的基础,因为学术写作通常来说更有条理、理性和细致。这类数据集包括 ArXiv 和美国国家卫生研究院等。
1.4. Reddit 链接
WebText 是一个大型数据集,它的数据是从社交媒体平台 Reddit 所有出站链接网络中爬取的,每个链接至少有三个赞,代表了流行内容的风向标,对输出优质链接和后续文本数据具有指导作用。
1.5. Common Crawl
Common Crawl 是 2008 年至今的一个网站抓取的大型数据集,数据包含原始网页、元数据和文本提取,它的文本来自不同语言、不同领域。重点研究实验室一般会首先选取它的纯英文过滤版(C4)作为数据集。
1.6. 其他数据集
不同于上述类别,这类数据集由 GitHub 等代码数据集、StackExchange 等对话论坛和视频字幕数据集组成。
2、常用数据集
2019 年以来,大多数基于 Transformer 的大型语言模型 (LLM) 都依赖于英文维基百科和 Common Crawl 的大型数据集。在本节中,我们参考了 Jesse Dodge 和 AllenAI(AI2)[8] 团队的综合分析,按类别对英文维基百科作了高级概述,并在 Common Crawl 数据集 [7] 的基础上,用谷歌 C4 [6] (Colossal Clean Crawled Corpus) 在 Common Crawl 中提供了顶级域(domains)。
2.1. 维基百科(英文版)分析
下面按类别 [9] 列出了维基百科的详细信息,涵盖了 2015 年抽样的 1001 篇随机文章,研究人员注意到随时间推移文章传播的稳定性。假设一个 11.4GB、经过清理和过滤的维基百科英文版有 30 亿 token,我们就可以确定类别大小和 token。
表 2. 英文维基百科数据集类别。公开的数据以粗体表示。确定的数据以斜体表示。
2.2 Common Crawl 分析
基于 AllenAI (AI2) 的 C4 论文,我们可以确定,过滤后的英文 C4 数据集的每个域的 token 数和总体百分比,该数据集为 305GB,其中 token 数为 1560 亿。
表 3. C4:前 23 个域(不包括维基百科)。公开的数据以粗体表示,确定的数据以斜体表示。
3、GPT-1 数据集
2018 年,OpenAI 发布了 1.17 亿参数的 GPT-1。在论文中,OpenAI 并没有公布模型训练数据集的来源和内容 [10],另外,论文误将‘BookCorpus’拼写成了‘BooksCorpus’。BookCorpus 以作家未出版的免费书籍为基础,这些书籍来自于 Smashwords,这是一个自称为 “世界上最大的独立电子书分销商” 的电子书网站。这个数据集也被称为 Toronto BookCorpus。经过几次重构之后,BookCorpus 数据集的最终大小确定为 4.6GB [11]。
2021 年,经过全面的回顾性分析,BookCorpus 数据集对按流派分组的书籍数量和各类书籍百分比进行了更正 [12]。数据集中有关书籍类型的更多详细信息如下:
表 4. BookCorpus 书籍类型。公开的数据以粗体表示,确定的数据以斜体表示。
在随后的数据集重构中,BookCorpus 数据集进一步过滤掉了书籍中的 “吸血鬼” 类别、降低了言情类书籍的百分比、增加了 “历史” 类书籍,增加了收集的书籍数量。
3.1. GPT-1 数据集总结
GPT-1 最终的数据集总结分析如下:
表 5.GPT-1 数据集总结。以 GB 为单位。公开的数据以粗体表示,确定的数据以斜体表示。
 4、GPT-2 数据集
2019 年,OpenAI 发布了拥有 15 亿参数的语言模型 GPT-2。GPT-2 论文阐明了所用训练数据集的大小 [13],不过并未说明其内容。而 GPT-2 模型卡(model card)(在 GPT-2 GitHub 仓库中)说明了模型内容 [14]。
我们可以从 GPT-3 论文中得到 token 数量,该论文使用了 WebText 扩展版本来表示 190 亿 token。据推测,2020 年推出的 WebText 扩展版本拥有 12 个月的额外数据(additional data),因此它可能比 2019 年推出的 GPT-2 版本大 25% 左右 [15]。GPT-2 最终的 token 数量确定为 150 亿左右。
如 GPT-2 论文所述,假设模型卡显示链接数时,每个链接都可以被 4500 万链接总数所除,那 WebText 的内容在数据集中所占的百分比的详细信息就可以确定。
然后可以使用确定的 150 亿 token 数量来查找每个域的 token 数量。请注意,在可用的前 1,000 个域中,此处仅显示前 50 个域。
表 6. WebText: 前 50 个域。 公开的数据以粗体表示,确定的数据以斜体表示。
4.1. GPT-2 数据集总结
GPT-2 模型最终的数据集总结分析如下:
表 7. GPT-2 数据集总结。 公开的数据以粗体表示,确定的数据以斜体表示。
5、GPT-3 数据集
GPT-3 模型由 OpenAI 于 2020 年发布。论文阐明了所用训练数据集的 token 数量 [16],但训练数据集的内容和大小尚不清楚(Common Crawl 的数据集大小除外 [17])
表 8. GPT-3 数据集。 公开的数据以粗体表示,确定的数据以斜体表示。
5.1. GPT-3:关于 Books1 和 Books2 数据集的分析
特别值得关注的是,在 OpenAI 的 GPT-3 论文中,并未公开 Books1 数据集(120 亿 token)和 Books2 数据集(550 亿 token)的大小和来源。关于这两个数据集的来源人们提出了几个假设,包括来自 LibGen18 和 Sci-Hub 的类似数据集,不过这两个数据集常以 TB 为计,大到无法匹配。
5.2. GPT-3:Books1
GPT-3 使用的 Books1 数据集不可能与 GPT-1 使用的 BookCorpus 数据集相同,原因在于 Books1 的数据集更大,达 120 亿 token。在一篇引用的论文 [19] 中就提及 GPT-1 使用的 BookCorpus 数据集拥有 9.848 亿个词,但这可能只相当于 13 亿 token(984.8 字 x 1.3 字的 token 乘数)。
通过标准化项目古腾堡语料库(SPGC),Books1 有可能与古腾堡项目保持一致性。SPGC 是一种开放式科学方法,被用于古腾堡项目完整的 PG 数据的精选(curated)版本。SPGC 包含 120 亿个 token [20],大约为 21GB [21]。
5.3. GPT-3:Books2
Books2(550 亿 token)可能与 Bibliotik 保持一致,并由 EleutherA 收集该来源的数据,组成数据集,使其成为 The Pile v1 的一部分。Bibliotik 版本为 100.96GB [22],其确定的 token 数仅为 250 亿,低于 Books2 公开的 550 亿。然而,使用 SPGC 的‘每字节 token 数’比率(大约为 1:1.75),Bibliotik 的 token 数和大小将更接近于 Books2。
5.4. GPT-3 数据集总结
附录 A 概述了使用 Wikipedia + CommonCrawl + WebText 数据集的顶级资源列表。GPT-3 模型的最终数据集总结分析如下:
表 9.GPT-3 数据集总结。公开的数据以粗体表示,确定的数据以斜体表示。
 6、The Pile v1(GPT-J 和 GPT-NeoX-20B)数据集
The Pile v1 数据集由 EleutherAI 于 2021 年发布,该数据集已被用于训练包括 GPT-J、GPT-NeoX-20B 在内的多种模型,并作为包括 MT-NLG 在内的其他模型的部分数据集。The Pile v1 论文阐明了所用训练数据集的来源和大小。随着 token 数量的增加,The Pile v1 论文应被用作未来数据集文档的黄金标准。
有关 token 数量的更多详情,可以使用本文提供的信息来确定,参见表 1(大小以 GB 为单位)和表 7(token / 每字节)[23]。
表 10. The Pile v1 数据集。公开的数据以粗体表示,确定的数据以斜体表示。
6.1. The Pile v1 分组数据集(Grouped Datasets)
为了确定如‘Books’、‘Journals’和‘CC’这类数据集的大小,笔者对数据集进行了分组,如下表所示。
表 11. The Pile v1 分组数据集(不包括 Wikipedia、CC 和 WebText)。公开的数据以粗体表示,确定的以斜体表示。
6.2. The Pile v1 数据集总结
The Pile v1 数据集与 GPT-J 和 GPT-NeoX-20B 模型的最终数据集总结分析如下:
表 12. Pile v1 数据集总结。 公开的数据以粗体表示,确定的数据以斜体表示。
7、Megatron-11B 和 RoBERTa 数据集
2019 年,Meta AI (当时称之为 Facebook AI) 和华盛顿大学联合发布了拥有 1.25 亿参数的 RoBERTa 模型。次年,Meta AI 发布了拥有 110 亿参数的 Megatron-11B 模型。Megatron-11B 使用的训练数据集与 RoBERTa 相同。RoBERTa [24] 论文阐明了所用训练数据集的内容,不过必须参考引用的论文 (BERT [25] 和 toryes [26]) 来确定最终的数据集大小。
BookCorpus : 确定的数据集为 4.6GB,如上面的 GPT-1 部分所示。
维基百科:公开的数据集为 “16GB(BookCorpus 加上英文维基百科)”。在减去 BookCorpus 数据集(4.6GB,如上面的 GPT-1 部分所述)后,维基百科数据集确定为 11.4GB。
CC-News :(经过滤后)公开的数据集为 76GB。
OpenWebText : 公开的数据集为 38GB。
Stories : 公开的数据集为 31GB。请注意,此数据集是 “基于常识推理任务问题” 的 Common Crawl 内容,不属于本文的‘Books’类别。相反,将 Stories 与 CC-News 数据集(76GB)相结合,Common Crawl 的总数据集则为 107GB。
7.1. Megatron-11B 和 RoBERTa 的数据集总结
Megatron-11B 和 RoBERTa 最终的数据集总结分析如下:
表 13. Megatron-11B 和 RoBERTa 的数据集总结。 公示的数据以粗体表示,确定的数据以斜体表示。
8、MT-NLG 数据集
2021 年,英伟达和微软发布了拥有 5300 亿参数的语言模型 MT-NLG。MT-NLG 是微软 Turing NLG(拥有 170 亿参数)和英伟达 Megatron-LM(拥有 83 亿参数)的 “继任者”。MT-NLG 论文阐明了所用训练数据集的来源和 token 数量,不过没有明确指出数据集的大小。
如前所述,有关数据集大小的更多详情,可以使用 The Pile v1 论文中提供的信息来确定。虽然使用的组件相同,但注意的是,MT-NLG 和 The Pile v1 中报告的组件大小却各不相同,这是由于来自 Eleuther AI (The Pile v1 数据集) 和 Microsoft/NVIDIA (MT-NLG 模型) 的研究人员采用了不同的数据过滤和去重方法。
8.1. MT-NLG 中的 Common Crawl 数据集
Pile-CC:公开的数据集为 498 亿 token,确定的数据为 227.12GB 左右,参见上述 Pile v1 部分。
CC-2020-50: 公开的数据集为 687 亿 token,假设 token 的每字节率(per byte rate)为 0.25 TpB=274.8GB。
CC-2021-04:公开的数据集为 826 亿 token,假设 token 的每字节率为 0.25 TpB=330.4GB
RealNews(来自 RoBERTa/Megatron-11B):显示为 219 亿 token。根据 RealNews 论文 [27],数据集确定为 120GB。
CC-Stories (来自 RoBERTa/Megatron-11B):公开的数据集为 53 亿 token,如上述 RoBERTa 部分所示,数据集确定为 31GB。
根据以上来源,可确认 Common Crawl 的总数据量为 983.32GB,共计 2283 亿 token。
8.2. MT-NLG 分组数据集(Grouped Datasets)
表 14. MT-NLG 分组数据集。公开的数据以粗体表示,确定的数据以斜体表示。
8.3. MT-NLG 数据集总结
MT-NLG 模型最终的数据集总结分析如下:
表 15. MT-NLG 数据集总结。 公示的数据以粗体表示,确定的数据以斜体表示。
9、MT-NLG 数据集 Gopher 数据集
Gopher 模型由 DeepMind 于 2021 年发布,有 2800 亿参数。该论文清楚地说明了所使用训练数据集所包含的高级 token 数量和大小 [28],但没有说明详细内容。
表 16. 公开的 Gopher 数据集 (MassiveText)。公开的数据以粗体表述,确定的数据以斜体表示。
有趣的是,据 Gopher 论文披露:其 Books 数据集中包含一些超过 500 年历史(1500-2008)的书籍。
9.1. MassiveWeb 数据集分析
DeepMind 于 2014 年被谷歌收购,并在创建 MassiveText 时获得了海量数据。虽然 Gopher 论文中没有进一步详细描述 MassiveWeb,但第 44 页附录中的表 A3b 注明了 MassiveWeb 中出现的前 20 个域 [29]。根据披露的每个域所占的百分比,我们可以使用 MassiveWeb 的总 token 数(5060 亿 token)和总原始大小(1900GB)来确定每个域的 token 数量和大小。
表 17. MassiveWeb:前 20 个域。公开的数据以粗体表示,确定的数据以斜体表示。
9.2. Gopher:关于维基百科数据集的分析
维基百科数据集的总规模很难确定。在 Gopher 论文中,研究人员指出维基百科没有进行数据去重 [30]。然而,论文中列出的不同大小数据集(12.5GB MassiveWeb Wikipedia 与 1GB MassiveText Wikipedia)可能是由于失误而造成的,误将 “10GB” 写成了 “1GB”。无论如何,本文仅使用 MassiveWeb 数据集版本 (12.5GB)。
9.3. Gopher: 不包括 WebText
Gopher 数据集的组成部分不包括 Reddit 外链的 WebText 数据集。为了清楚起见,尽管 Reddit 是 MassiveWeb 中的顶级域,但该数据集仅抓取 Reddit 域内的 Reddit 链接。根据定义,WebText [31] 由 “所有 Reddit 的外链” 组成(即指向 Reddit 域外的链接)。
9.4. Gopher 分组数据集
MassiveWeb 被认为是 MassiveText 的子组件,并被集成到 Gopher 的数据集汇总中,其分组基于以下列出的可用信息:
表 18. Gopher 分组数据集。公开的数据以粗体表示,确定的数据以斜体表示。
9.5. Gopher 数据集总结
Gopher 是本文中最大的数据集,大小为 10.5TB。Gopher 模型的最终数据集总结分析为:
表 19. Gopher 数据集总结。公开的数据以粗体表示,确定的数据以斜体表示。
10、结论
对于训练当代 Transformer 大型语言模型的数据集而言,这可能是最全面的整合分析内容(截止 2022 年初)。在主要数据源不透明的情况下,本次研究主要从二级和三级来源收集数据,并经常需要假定来确定最终估计值。随着研究人员要处理千万亿个 token(1,000 万亿)和数千 TB 的数据(1,000TB),确保详细披露数据集组成的文档变得越来越重要。
特别值得关注的是,基于大型语言模型的强大 AI 系统产生的冗长而匿名的输出正在迅速发展,其中许多数据集的细节内容几乎没有文档说明。
强烈建议研究人员使用突出显示的 “数据集的数据表(Datasheet for Datasets)” 论文中提供的模板,并在记录数据集时使用最佳实践论文(即 Pile v1 论文,包括 token 数量)。数据集大小(GB)、token 数量(B)、来源、分组和其他详细信息指标均应完整记录和发布。
随着语言模型不断发展并更广泛地渗透到人们的生活中,确保数据集的详细信息公开透明、所有人都可访问且易于理解是有用、紧迫和必要的。
扩展阅读及脚注
考虑到简洁和可读性,本文使用了脚注而非文本 / 括弧式引文。主要参考文献如下,或者参见 http://lifearchitect.ai/papers/,获取大语言模型领域的主要基础论文。以下论文按本文顺序显示。
  1. Datasheets for Datasets Gebru, T., Morgenstern, J., Vecchione, B., Vaughan, J., Wallach, H., Daumé III, H., & Crawford, K. (2018). Datasheets for Datasets.  https://arxiv.org/abs/1803.09010

  2. GPT-1 paper Radford, A., & Narasimhan, K. (2018). Improving Language Understanding by Generative Pre-Training. OpenAI.  https://cdn.openai.com/research-covers/language-unsupervised/language_understan  ding_paper.pdf

  3. GPT-2 paper Radford, A., Wu, J., Child, R., Luan, D., Amodei, D. & Sutskever, I. (2019). Language Models are Unsupervised Multitask Learners. OpenAI.  https://cdn.openai.com/better-language-models/language_models_are_unsupervised  _multitask_learners.pdf

  4. GPT-3 paper Brown, T., Mann, B., Ryder, N., Subbiah, M., Kaplan, J., & Dhariwal, P. et al. (2020). OpenAI. Language Models are Few-Shot Learners.  https://arxiv.org/abs/2005.14165

  5. The Pile v1 paper Gao, L., Biderman, S., Black, S., Golding, L., Hoppe, T., & Foster, C. et al. (2021). The Pile: An 800GB Dataset of Diverse Text for Language Modeling.

  6. EleutherAI.  https://arxiv.org/abs/2101.00027

  7. GPT-J announcement Komatsuzak, A., Wang, B. (2021). GPT-J-6B: 6B JAX-Based Transformer.  https://arankomatsuzaki.wordpress.com/2021/06/04/gpt-j/

  8. GPT-NeoX-20B paper Black, S., Biderman, S., Hallahan, E. et al. (2022). EleutherAI. GPT-NeoX-20B: An Open-Source Autoregressive Language Model.  http://eaidata.bmk.sh/data/GPT_NeoX_20B.pdf

  9. RoBERTa paper Liu, Y., Ott, M., Goyal, N., Du, J., Joshi, M., & Chen, D. et al. (2019). RoBERTa: A Robustly Optimized BERT Pretraining Approach. Meta AI.  https://arxiv.org/abs/1907.11692

  10. MT-NLG paper Smith, S., Patwary, M., Norick, B., LeGresley, P., Rajbhandari, S., & Casper, J. et al. (2021). Using DeepSpeed and Megatron to Train Megatron-Turing NLG 530B, A Large-Scale Generative Language Model. Microsoft/NVIDIA.  https://arxiv.org/abs/2201.11990

  11. Gopher paper Rae, J., Borgeaud, S., Cai, T., Millican, K., Hoffmann, J., & Song, F. et al. (2021). Scaling Language Models: Methods, Analysis & Insights from Training Gopher. DeepMind.  https://arxiv.org/abs/2112.11446

  12. Appendix A: Top 50 Resources: Wikipedia + CC + WebText (i.e. GPT-3)

附录 A:前 50 个资源:Wikipedia + CC + WebText(即 GPT-3)


51份ChatGPT专业报告
计算机研究报告:ChatCPT在金融应用前景
ChatGPT系列,重构办公软件价值天花板
ChatGPT通用化效果突破、前景广阔
ChatGPT系列,为人形机器人注入“灵魂”
ChatGPT更懂人类的叙事
浙商证券:ChatGPT研究框架
ChatGPT芯片算力:研究框架
Chiplet方兴未艾,先进封测持续创新(2023)
ChatGPT将AIGC推向平民化时代(2023)
ChatGPT:AI相关生态赛道会分享
AIGC 概念爆火带来什么启示
ChatGPT成功连接,未来可期(2023)
大厂加大类ChatGPT布局力度,商业应用有望加速落地
ChatGPT带来算力需求;第三方支付行业逻辑逐步被认知
三分钟看懂ChatGPT
ChatGPT跨行业专题报告:AIGC发展大年,推动新一轮产业革命(2023)
ChatGPT的背后:指数级增长的芯片与半导体需求(2023)
专题研究:ChatGPT:深度拆解(2023)
专题报告:AIGC进展迅速,重构内容生产力(2023)
ChatGPT热度加速AI算力,光通信产业链受益
ChatGPT专题:探寻ChatGPT能力圈,以及破圈之路(2023)
AIGC专题:探析AIGC的技术发展和应用(2023)
AIGC/ChatGPT:内容生产力的革命(Web3.0)
ChatGPT的背后:指数级增长的芯片与半导体需求(2023)
国内外科技公司ChatGPT技术布局及应用场景
ChatGPT:又一个“人形机器人”主题(2023)
揭秘ChatGPT身后的AIGC技术和它的中国同行(2023)
ChatGPT 研究框架(2023)
ChatGPT:真格基金分享(2023)
揭秘ChatGPT身后的AIGC技术和它的中国同行(2023)
《ChatGPT专题报告(1)》
1、行业专题研究:ChatGPT,开启AI新纪元(2023)
2、从ChatGPT到生成式AI(Generative AI):人工智能新范式,重新定义生产力(2023)
3、海外ChatGPT专题:ChatGPT风口已至,商业化落地加速(2023)
4、ChatGPT:开启AI新纪元(2023)
5、ChatGPT引领,关注AI产业2023新场景落地
《ChatGPT专题报告(2)》
1、ChatGPT:优化对话的语言模型(2023)
2、ChatGPT:聊天机器人顶流,开启自然语言处理领域新篇章
3、ChatGPT前景广阔,巨头入局有望加速AI落地(2023)
4、ChatGPT:振奋人形机器人应用端锦绣前程
《AIGC人工智能行业专题》
1、AIGC行业专题:2023年有望成为AIGC的拐点 2、腾讯研究院AIGC发展趋势报告2023
GPT-1到ChatGPT产业梳理
ChatGPT需要何种算力基础设施?
ChatGPT全球商业化落地加速,新一轮算力储备开启
AIGC时代来临,全球 AI 服务器龙头厂商大有可为
《从“上网”到“上算”,由“网络世界至“虚拟现实”系列报告》
1、AI专题报告之一:AIGC 与ChatGPT 正掀起新一轮的产业浪潮 2、AI专题报告之二:AIGC将开启新一轮游戏产业变革 3、AI专题报告之三:新一轮内容爆发的AIGC逻辑,在于消除“认知”不对称
ChatGPT开启AI发展新浪潮,算力紧缺和海量应用驱动AI硬件广阔空间
ChatGPT对GPU算力的需求测算与相关分析
AIGC&ChatGPT发展报告


本号资料全部上传至知识星球,更多内容请登录智能计算芯知识(知识星球)星球下载全部资料。




免责申明:本号聚焦相关技术分享,内容观点不代表本号立场,可追溯内容均注明来源,发布文章若存在版权等问题,请留言联系删除,谢谢。


电子书<服务器基础知识全解(终极版)>更新完毕,知识点深度讲解,提供182页完整版下载。


获取方式:点击“小程序链接”即可查看182页 PPT可编辑版本和PDF阅读版本详情。

服务器基础知识全解PPT(终极版)

服务器基础知识全解PDF(终极版)



温馨提示:

请搜索“AI_Architect”或“扫码”关注公众号实时掌握深度技术分享,点击“阅读原文”获取更多原创技术干货。

智能计算芯世界 聚焦人工智能、芯片设计、异构计算、高性能计算等领域专业知识分享.
评论 (0)
  • 在CAN总线分析软件领域,当CANoe不再是唯一选择时,虹科PCAN-Explorer 6软件成为了一个有竞争力的解决方案。在现代工业控制和汽车领域,CAN总线分析软件的重要性不言而喻。随着技术的进步和市场需求的多样化,单一的解决方案已无法满足所有用户的需求。正是在这样的背景下,虹科PCAN-Explorer 6软件以其独特的模块化设计和灵活的功能扩展,为CAN总线分析领域带来了新的选择和可能性。本文将深入探讨虹科PCAN-Explorer 6软件如何以其创新的模块化插件策略,提供定制化的功能选
    虹科汽车智能互联 2025-04-28 16:00 68浏览
  • 速卖通,作为阿里巴巴集团旗下的跨境电商平台,于2010年横空出世,彼时正值全球电商市场蓬勃发展,互联网的普及让跨境购物的需求日益增长,速卖通顺势而为,迅速吸引了全球目光。它以“让天下没有难做的生意”为使命,致力于打破国界限制,搭建起中国商家与全球消费者之间的桥梁。在其发展的黄金时期,速卖通取得的成绩令人瞩目。在欧洲市场,速卖通一度成为第一大电商平台。根据第三方机构《欧洲跨境商务》的评选,速卖通凭借出色的服务和消费者口碑,在“欧洲十大跨境电商平台”中脱颖而出,力压来自美国的亚马逊和eBay等电商巨
    用户1742991715177 2025-04-26 20:23 185浏览
  • 在电子电路设计和调试中,晶振为电路提供稳定的时钟信号。我们可能会遇到晶振有电压,但不起振,从而导致整个电路无法正常工作的情况。今天凯擎小妹聊一下可能的原因和解决方案。1. 误区解析在硬件调试中,许多工程师在测量晶振时发现两端都有电压,例如1.6V,但没有明显的压差,第一反应可能是怀疑短路。晶振电路本质上是一个交流振荡电路。当晶振未起振时,两端会静止在一个中间电位,通常接近电源电压的一半。万用表测得的是稳定的直流电压,因此没有压差。这种情况一般是:晶振没起振,并不是短路。2. 如何判断真
    koan-xtal 2025-04-28 05:09 115浏览
  • 探针台作为半导体制造与测试的核心设备,通过精密定位与多环境适配能力,支撑芯片研发、生产及验证全流程。以下是其关键应用领域与技术特性:一、核心功能支撑1.‌电性能测试与分析‌l 在晶圆切割前,探针台直接接触芯片电极,测量阈值电压、漏电流、跨导等200余项参数,用于评估良品率及优化工艺设计。l 支持单晶体管I-V曲线测量,定位栅极氧化层厚度偏差(精度达0.2nm),为器件性能分析提供数据基础。2.‌纳米级定位与测量‌l 定位精度达±0.1μm,满足5nm及以下制程芯片的
    锦正茂科技 2025-04-27 13:09 151浏览
  • 2025年全球人形机器人产业迎来爆发式增长,政策与资本双重推力下,谷歌旗下波士顿动力、比亚迪等跨国企业与本土龙头争相入局,产业基金与风险投资持续加码。仅2025年上半年,中国机器人领域就完成42笔战略融资,累计金额突破45亿元,沪深两市机器人指数年内涨幅达68%,印证了资本市场对智能终端革命的强烈预期。值得关注的是,国家发展改革委联合工信部发布《人形机器人创新发展行动计划》,明确将仿生感知系统、AI决策中枢等十大核心技术纳入"十四五"国家重大专项,并设立500亿元产业引导基金。技术突破方面,本土
    电子资讯报 2025-04-27 17:08 227浏览
  • 一、智能家居的痛点与创新机遇随着城市化进程加速,现代家庭正面临两大核心挑战:情感陪伴缺失:超60%的双职工家庭存在“亲子陪伴真空期”,儿童独自居家场景增加;操作复杂度攀升:智能设备功能迭代导致用户学习成本陡增,超40%用户因操作困难放弃高阶功能。而WTR096-16S录音语音芯片方案,通过“语音交互+智能录音”双核驱动,不仅解决设备易用性问题,更构建起家庭成员间的全天候情感纽带。二、WTR096-16S方案的核心技术突破1. 高保真语音交互系统动态情绪语音库:支持8种语气模板(温柔提醒/紧急告警
    广州唯创电子 2025-04-28 09:24 121浏览
  •   北京华盛恒辉电磁环境适应性测试系统是针对复杂电磁环境进行仿真、测试与评估的关键设备,以下从系统功能、技术架构、应用场景、核心优势、发展趋势五个维度展开全面解析:   应用案例   目前,已有多个电磁环境适应性测试系统在实际应用中取得了显著成效。例如,北京华盛恒辉和北京五木恒润电磁环境适应性测试系统。这些成功案例为电磁环境适应性测试系统的推广和应用提供了有力支持。   一、系统功能   复杂电磁环境构建   全生命周期测试能力   实时监测与反馈   二、技术架构   模块化设
    华盛恒辉l58ll334744 2025-04-26 17:21 197浏览
  • 晶振在使用过程中可能会受到污染,导致性能下降。可是污染物是怎么进入晶振内部的?如何检测晶振内部污染物?我可不可以使用超声波清洗?今天KOAN凯擎小妹将逐一解答。1. 污染物来源a. 制造过程:生产环境不洁净或封装密封不严,可能导致灰尘和杂质进入晶振。b. 使用环境:高湿度、温度变化、化学物质和机械应力可能导致污染物渗入。c. 储存不当:不良的储存环境和不合适的包装材料可能引发化学物质迁移。建议储存湿度维持相对湿度在30%至75%的范围内,有助于避免湿度对晶振的不利影响。避免雨淋或阳光直射。d.
    koan-xtal 2025-04-28 06:11 96浏览
  •     今天,纯电动汽车大跃进牵引着对汽车电气低压的需求,新需求是48V。车要更轻,料要堆满。车身电子系统(电子座舱)从分布改成集中(域控),电气上就是要把“比12V系统更多的能量,送到比12V系统数量更少的ECU去”,所以,电源必须提高电压,缩小线径。另一方面,用比传统12V,24V更高的电压,有利于让电感类元件(螺线管,电机)用更细的铜线,缩小体积去替代传统机械,扩大整车电气化的边界。在电缆、认证行业60V标准之下,48V是一个合理的电压。有关汽车电气低压,另见协议标准第
    电子知识打边炉 2025-04-27 16:24 201浏览
  • 贞光科技代理品牌紫光国芯的车规级LPDDR4内存正成为智能驾驶舱的核心选择。在汽车电子国产化浪潮中,其产品以宽温域稳定工作能力、优异电磁兼容性和超长使用寿命赢得市场认可。紫光国芯不仅确保供应链安全可控,还提供专业本地技术支持。面向未来,紫光国芯正研发LPDDR5车规级产品,将以更高带宽、更低功耗支持汽车智能化发展。随着智能网联汽车的迅猛发展,智能驾驶舱作为人机交互的核心载体,对处理器和存储器的性能与可靠性提出了更高要求。在汽车电子国产化浪潮中,贞光科技代理品牌紫光国芯的车规级LPDDR4内存凭借
    贞光科技 2025-04-28 16:52 70浏览
  • 4月22日下午,备受瞩目的飞凌嵌入式「2025嵌入式及边缘AI技术论坛」在深圳深铁皇冠假日酒店盛大举行,此次活动邀请到了200余位嵌入式技术领域的技术专家、企业代表和工程师用户,共享嵌入式及边缘AI技术的盛宴!1、精彩纷呈的展区产品及方案展区是本场活动的第一场重头戏,从硬件产品到软件系统,从企业级应用到高校教学应用,都吸引了现场来宾的驻足观看和交流讨论。全产品矩阵展区展示了飞凌嵌入式丰富的产品线,从嵌入式板卡到工控机,从进口芯片平台到全国产平台,无不体现出飞凌嵌入式在嵌入式主控设备研发设计方面的
    飞凌嵌入式 2025-04-28 14:43 82浏览
  •  集成电路封装测试是确保芯片性能与可靠性的核心环节,主要包括‌晶圆级测试(CP测试)‌和‌封装后测试(FT测试)‌两大阶段,流程如下:一、晶圆级测试(CP测试)1.‌测试目的‌:在晶圆切割前筛选出功能缺陷或性能不达标的晶粒(Die),避免后续封装环节的资源浪费,显著降低制造成本。2.‌核心设备与操作‌l ‌探针台(Prober)‌:通过高精度移动平台将探针与晶粒的Pad jing准接触,实现电气连接。l ‌ATE测试机‌:提供测试电源、信号输入及功能向量,接收晶粒反
    锦正茂科技 2025-04-27 13:37 182浏览
  • 探针台作为高精度测试设备,在光电行业的关键器件研发、性能测试及量产质量控制中发挥核心作用,主要涵盖以下应用场景与技术特性:一、光电元件性能测试1.‌光电器件基础参数测量‌l 用于LED、光电探测器、激光器等元件的电流-电压(I-V)特性、光功率、响应速度等参数测试,支撑光通信、显示技术的器件选型与性能优化。l 支持高频信号测试(如40GHz以上射频参数),满足高速光调制器、光子集成电路(PIC)的带宽与信号完整性验证需求。2.‌光响应特性分析‌l 通过电光转换效率测
    锦正茂科技 2025-04-27 13:19 115浏览
  •  探针台的维护直接影响其测试精度与使用寿命,需结合日常清洁、环境控制、定期校准等多维度操作,具体方法如下:一、日常清洁与保养1.‌表面清洁‌l 使用无尘布或软布擦拭探针台表面,避免残留清洁剂或硬物划伤精密部件。l 探针头清洁需用非腐蚀性溶剂(如异丙醇)擦拭,检查是否弯曲或损坏。2.‌光部件维护‌l 镜头、观察窗等光学部件用镜头纸蘸取wu水jiu精从中心向外轻擦,操作时远离火源并保持通风。3.‌内部防尘‌l 使用后及时吹扫灰尘,防止污染物进入机械滑
    锦正茂科技 2025-04-28 11:45 55浏览
我要评论
0
0
点击右上角,分享到朋友圈 我知道啦
请使用浏览器分享功能 我知道啦