详解ChatGPT数据集之谜

智能计算芯世界 2023-02-21 07:45

——文末附ChatGPT专题下载——

51份专业报告

一些研究人员的报告称,通用人工智能(AGI)可能是从我们当前的语言模型技术进行演进 [1],预训练 Transformer 语言模型为 AGI 的发展铺平了道路。虽然模型训练数据集日渐增大,但缺乏基本指标文档,包括数据集大小、数据集 token 数量和具体的内容细节。
下载链接(文末附51份专业报告):
AIGC&ChatGPT发展报告
浙商证券:ChatGPT研究框架(2023)
ChatGPT芯片算力:研究框架

专题研究:ChatGPT:深度拆解(2023)

国泰君安:ChatGPT 研究框架(2023)

尽管业内提出了数据集组成和整理文档的标准 [2],但几乎所有重点研究实验室在揭示模型训练数据集细节这方面都做得不够。这里整合的研究涵盖了 2018 年到 2022 年初从 GPT-1 到 Gopher 的精选语言模型的所有数据集(包括主要数据集:Wikipedia 和 Common Crawl)的综合视图。
1、概述
图 1. 主要数据集大小的可视化汇总。未加权大小,以 GB 为单位。 
2018 年以来,大语言模型的开发和生产使用呈现出爆炸式增长。一些重点研究实验室报告称,公众对大语言模型的使用率达到了惊人高度。2021 年 3 月,OpenAI 宣布 [3] 其 GPT-3 语言模型被 “超过 300 个应用程序使用,平均每天能够生成 45 亿个词”,也就是说仅单个模型每分钟就能生成 310 万词的新内容。
值得注意的是,这些语言模型甚至还没有被完全理解,斯坦福大学的研究人员 [4] 最近坦言,“目前我们对这些模型还缺乏认知,还不太了解这些模型的运转模式、不知道模型何时会失效,更不知道这些模型的突现性(emergent properties)能产生什么效果”。
随着新型 AI 技术的快速发展,模型训练数据集的相关文档质量有所下降。模型内部到底有什么秘密?它们又是如何组建的?本文综合整理并分析了现代大型语言模型的训练数据集。
因为这方面的原始文献并不对外公开,所以本文搜集整合了二、三级研究资料,在必要的时候本文会采用假设的方式来推算最终结果。
在本文中,我们会将原始论文中已经明确的特定细节(例如 token 数量或数据集大小)归类为 “公开的(disclosed)” 数据,并作加粗处理。
多数情况下,适当地参考二、三级文献,并采用假设的方式来确定最终结果是很有必要的。在这些情况下,token 数量和数据集大小等细节是 “确定的(determined)”,并以斜体标记。
模型数据集可分为六类,分别是:维基百科、书籍、期刊、Reddit 链接、Common Crawl 和其他数据集。
表 1. 主要数据集大小汇总。以 GB 为单位。公开的数据以粗体表示。确定的数据以斜体表示。仅原始训练数据集大小。
1.1. 维基百科
维基百科是一个免费的多语言协作在线百科全书,由超过 300,000 名志愿者组成的社区编写和维护。截至 2022 年 4 月,英文版维基百科中有超过 640 万篇文章,包含超 40 亿个词 [5]。维基百科中的文本很有价值,因为它被严格引用,以说明性文字形式写成,并且跨越多种语言和领域。一般来说,重点研究实验室会首先选取它的纯英文过滤版作为数据集。
1.2. 书籍
故事型书籍由小说和非小说两大类组成,主要用于训练模型的故事讲述能力和反应能力,数据集包括 Project Gutenberg 和 Smashwords (Toronto BookCorpus/BookCorpus) 等。
1.3. 杂志期刊
预印本和已发表期刊中的论文为数据集提供了坚实而严谨的基础,因为学术写作通常来说更有条理、理性和细致。这类数据集包括 ArXiv 和美国国家卫生研究院等。
1.4. Reddit 链接
WebText 是一个大型数据集,它的数据是从社交媒体平台 Reddit 所有出站链接网络中爬取的,每个链接至少有三个赞,代表了流行内容的风向标,对输出优质链接和后续文本数据具有指导作用。
1.5. Common Crawl
Common Crawl 是 2008 年至今的一个网站抓取的大型数据集,数据包含原始网页、元数据和文本提取,它的文本来自不同语言、不同领域。重点研究实验室一般会首先选取它的纯英文过滤版(C4)作为数据集。
1.6. 其他数据集
不同于上述类别,这类数据集由 GitHub 等代码数据集、StackExchange 等对话论坛和视频字幕数据集组成。
2、常用数据集
2019 年以来,大多数基于 Transformer 的大型语言模型 (LLM) 都依赖于英文维基百科和 Common Crawl 的大型数据集。在本节中,我们参考了 Jesse Dodge 和 AllenAI(AI2)[8] 团队的综合分析,按类别对英文维基百科作了高级概述,并在 Common Crawl 数据集 [7] 的基础上,用谷歌 C4 [6] (Colossal Clean Crawled Corpus) 在 Common Crawl 中提供了顶级域(domains)。
2.1. 维基百科(英文版)分析
下面按类别 [9] 列出了维基百科的详细信息,涵盖了 2015 年抽样的 1001 篇随机文章,研究人员注意到随时间推移文章传播的稳定性。假设一个 11.4GB、经过清理和过滤的维基百科英文版有 30 亿 token,我们就可以确定类别大小和 token。
表 2. 英文维基百科数据集类别。公开的数据以粗体表示。确定的数据以斜体表示。
2.2 Common Crawl 分析
基于 AllenAI (AI2) 的 C4 论文,我们可以确定,过滤后的英文 C4 数据集的每个域的 token 数和总体百分比,该数据集为 305GB,其中 token 数为 1560 亿。
表 3. C4:前 23 个域(不包括维基百科)。公开的数据以粗体表示,确定的数据以斜体表示。
3、GPT-1 数据集
2018 年,OpenAI 发布了 1.17 亿参数的 GPT-1。在论文中,OpenAI 并没有公布模型训练数据集的来源和内容 [10],另外,论文误将‘BookCorpus’拼写成了‘BooksCorpus’。BookCorpus 以作家未出版的免费书籍为基础,这些书籍来自于 Smashwords,这是一个自称为 “世界上最大的独立电子书分销商” 的电子书网站。这个数据集也被称为 Toronto BookCorpus。经过几次重构之后,BookCorpus 数据集的最终大小确定为 4.6GB [11]。
2021 年,经过全面的回顾性分析,BookCorpus 数据集对按流派分组的书籍数量和各类书籍百分比进行了更正 [12]。数据集中有关书籍类型的更多详细信息如下:
表 4. BookCorpus 书籍类型。公开的数据以粗体表示,确定的数据以斜体表示。
在随后的数据集重构中,BookCorpus 数据集进一步过滤掉了书籍中的 “吸血鬼” 类别、降低了言情类书籍的百分比、增加了 “历史” 类书籍,增加了收集的书籍数量。
3.1. GPT-1 数据集总结
GPT-1 最终的数据集总结分析如下:
表 5.GPT-1 数据集总结。以 GB 为单位。公开的数据以粗体表示,确定的数据以斜体表示。
 4、GPT-2 数据集
2019 年,OpenAI 发布了拥有 15 亿参数的语言模型 GPT-2。GPT-2 论文阐明了所用训练数据集的大小 [13],不过并未说明其内容。而 GPT-2 模型卡(model card)(在 GPT-2 GitHub 仓库中)说明了模型内容 [14]。
我们可以从 GPT-3 论文中得到 token 数量,该论文使用了 WebText 扩展版本来表示 190 亿 token。据推测,2020 年推出的 WebText 扩展版本拥有 12 个月的额外数据(additional data),因此它可能比 2019 年推出的 GPT-2 版本大 25% 左右 [15]。GPT-2 最终的 token 数量确定为 150 亿左右。
如 GPT-2 论文所述,假设模型卡显示链接数时,每个链接都可以被 4500 万链接总数所除,那 WebText 的内容在数据集中所占的百分比的详细信息就可以确定。
然后可以使用确定的 150 亿 token 数量来查找每个域的 token 数量。请注意,在可用的前 1,000 个域中,此处仅显示前 50 个域。
表 6. WebText: 前 50 个域。 公开的数据以粗体表示,确定的数据以斜体表示。
4.1. GPT-2 数据集总结
GPT-2 模型最终的数据集总结分析如下:
表 7. GPT-2 数据集总结。 公开的数据以粗体表示,确定的数据以斜体表示。
5、GPT-3 数据集
GPT-3 模型由 OpenAI 于 2020 年发布。论文阐明了所用训练数据集的 token 数量 [16],但训练数据集的内容和大小尚不清楚(Common Crawl 的数据集大小除外 [17])
表 8. GPT-3 数据集。 公开的数据以粗体表示,确定的数据以斜体表示。
5.1. GPT-3:关于 Books1 和 Books2 数据集的分析
特别值得关注的是,在 OpenAI 的 GPT-3 论文中,并未公开 Books1 数据集(120 亿 token)和 Books2 数据集(550 亿 token)的大小和来源。关于这两个数据集的来源人们提出了几个假设,包括来自 LibGen18 和 Sci-Hub 的类似数据集,不过这两个数据集常以 TB 为计,大到无法匹配。
5.2. GPT-3:Books1
GPT-3 使用的 Books1 数据集不可能与 GPT-1 使用的 BookCorpus 数据集相同,原因在于 Books1 的数据集更大,达 120 亿 token。在一篇引用的论文 [19] 中就提及 GPT-1 使用的 BookCorpus 数据集拥有 9.848 亿个词,但这可能只相当于 13 亿 token(984.8 字 x 1.3 字的 token 乘数)。
通过标准化项目古腾堡语料库(SPGC),Books1 有可能与古腾堡项目保持一致性。SPGC 是一种开放式科学方法,被用于古腾堡项目完整的 PG 数据的精选(curated)版本。SPGC 包含 120 亿个 token [20],大约为 21GB [21]。
5.3. GPT-3:Books2
Books2(550 亿 token)可能与 Bibliotik 保持一致,并由 EleutherA 收集该来源的数据,组成数据集,使其成为 The Pile v1 的一部分。Bibliotik 版本为 100.96GB [22],其确定的 token 数仅为 250 亿,低于 Books2 公开的 550 亿。然而,使用 SPGC 的‘每字节 token 数’比率(大约为 1:1.75),Bibliotik 的 token 数和大小将更接近于 Books2。
5.4. GPT-3 数据集总结
附录 A 概述了使用 Wikipedia + CommonCrawl + WebText 数据集的顶级资源列表。GPT-3 模型的最终数据集总结分析如下:
表 9.GPT-3 数据集总结。公开的数据以粗体表示,确定的数据以斜体表示。
 6、The Pile v1(GPT-J 和 GPT-NeoX-20B)数据集
The Pile v1 数据集由 EleutherAI 于 2021 年发布,该数据集已被用于训练包括 GPT-J、GPT-NeoX-20B 在内的多种模型,并作为包括 MT-NLG 在内的其他模型的部分数据集。The Pile v1 论文阐明了所用训练数据集的来源和大小。随着 token 数量的增加,The Pile v1 论文应被用作未来数据集文档的黄金标准。
有关 token 数量的更多详情,可以使用本文提供的信息来确定,参见表 1(大小以 GB 为单位)和表 7(token / 每字节)[23]。
表 10. The Pile v1 数据集。公开的数据以粗体表示,确定的数据以斜体表示。
6.1. The Pile v1 分组数据集(Grouped Datasets)
为了确定如‘Books’、‘Journals’和‘CC’这类数据集的大小,笔者对数据集进行了分组,如下表所示。
表 11. The Pile v1 分组数据集(不包括 Wikipedia、CC 和 WebText)。公开的数据以粗体表示,确定的以斜体表示。
6.2. The Pile v1 数据集总结
The Pile v1 数据集与 GPT-J 和 GPT-NeoX-20B 模型的最终数据集总结分析如下:
表 12. Pile v1 数据集总结。 公开的数据以粗体表示,确定的数据以斜体表示。
7、Megatron-11B 和 RoBERTa 数据集
2019 年,Meta AI (当时称之为 Facebook AI) 和华盛顿大学联合发布了拥有 1.25 亿参数的 RoBERTa 模型。次年,Meta AI 发布了拥有 110 亿参数的 Megatron-11B 模型。Megatron-11B 使用的训练数据集与 RoBERTa 相同。RoBERTa [24] 论文阐明了所用训练数据集的内容,不过必须参考引用的论文 (BERT [25] 和 toryes [26]) 来确定最终的数据集大小。
BookCorpus : 确定的数据集为 4.6GB,如上面的 GPT-1 部分所示。
维基百科:公开的数据集为 “16GB(BookCorpus 加上英文维基百科)”。在减去 BookCorpus 数据集(4.6GB,如上面的 GPT-1 部分所述)后,维基百科数据集确定为 11.4GB。
CC-News :(经过滤后)公开的数据集为 76GB。
OpenWebText : 公开的数据集为 38GB。
Stories : 公开的数据集为 31GB。请注意,此数据集是 “基于常识推理任务问题” 的 Common Crawl 内容,不属于本文的‘Books’类别。相反,将 Stories 与 CC-News 数据集(76GB)相结合,Common Crawl 的总数据集则为 107GB。
7.1. Megatron-11B 和 RoBERTa 的数据集总结
Megatron-11B 和 RoBERTa 最终的数据集总结分析如下:
表 13. Megatron-11B 和 RoBERTa 的数据集总结。 公示的数据以粗体表示,确定的数据以斜体表示。
8、MT-NLG 数据集
2021 年,英伟达和微软发布了拥有 5300 亿参数的语言模型 MT-NLG。MT-NLG 是微软 Turing NLG(拥有 170 亿参数)和英伟达 Megatron-LM(拥有 83 亿参数)的 “继任者”。MT-NLG 论文阐明了所用训练数据集的来源和 token 数量,不过没有明确指出数据集的大小。
如前所述,有关数据集大小的更多详情,可以使用 The Pile v1 论文中提供的信息来确定。虽然使用的组件相同,但注意的是,MT-NLG 和 The Pile v1 中报告的组件大小却各不相同,这是由于来自 Eleuther AI (The Pile v1 数据集) 和 Microsoft/NVIDIA (MT-NLG 模型) 的研究人员采用了不同的数据过滤和去重方法。
8.1. MT-NLG 中的 Common Crawl 数据集
Pile-CC:公开的数据集为 498 亿 token,确定的数据为 227.12GB 左右,参见上述 Pile v1 部分。
CC-2020-50: 公开的数据集为 687 亿 token,假设 token 的每字节率(per byte rate)为 0.25 TpB=274.8GB。
CC-2021-04:公开的数据集为 826 亿 token,假设 token 的每字节率为 0.25 TpB=330.4GB
RealNews(来自 RoBERTa/Megatron-11B):显示为 219 亿 token。根据 RealNews 论文 [27],数据集确定为 120GB。
CC-Stories (来自 RoBERTa/Megatron-11B):公开的数据集为 53 亿 token,如上述 RoBERTa 部分所示,数据集确定为 31GB。
根据以上来源,可确认 Common Crawl 的总数据量为 983.32GB,共计 2283 亿 token。
8.2. MT-NLG 分组数据集(Grouped Datasets)
表 14. MT-NLG 分组数据集。公开的数据以粗体表示,确定的数据以斜体表示。
8.3. MT-NLG 数据集总结
MT-NLG 模型最终的数据集总结分析如下:
表 15. MT-NLG 数据集总结。 公示的数据以粗体表示,确定的数据以斜体表示。
9、MT-NLG 数据集 Gopher 数据集
Gopher 模型由 DeepMind 于 2021 年发布,有 2800 亿参数。该论文清楚地说明了所使用训练数据集所包含的高级 token 数量和大小 [28],但没有说明详细内容。
表 16. 公开的 Gopher 数据集 (MassiveText)。公开的数据以粗体表述,确定的数据以斜体表示。
有趣的是,据 Gopher 论文披露:其 Books 数据集中包含一些超过 500 年历史(1500-2008)的书籍。
9.1. MassiveWeb 数据集分析
DeepMind 于 2014 年被谷歌收购,并在创建 MassiveText 时获得了海量数据。虽然 Gopher 论文中没有进一步详细描述 MassiveWeb,但第 44 页附录中的表 A3b 注明了 MassiveWeb 中出现的前 20 个域 [29]。根据披露的每个域所占的百分比,我们可以使用 MassiveWeb 的总 token 数(5060 亿 token)和总原始大小(1900GB)来确定每个域的 token 数量和大小。
表 17. MassiveWeb:前 20 个域。公开的数据以粗体表示,确定的数据以斜体表示。
9.2. Gopher:关于维基百科数据集的分析
维基百科数据集的总规模很难确定。在 Gopher 论文中,研究人员指出维基百科没有进行数据去重 [30]。然而,论文中列出的不同大小数据集(12.5GB MassiveWeb Wikipedia 与 1GB MassiveText Wikipedia)可能是由于失误而造成的,误将 “10GB” 写成了 “1GB”。无论如何,本文仅使用 MassiveWeb 数据集版本 (12.5GB)。
9.3. Gopher: 不包括 WebText
Gopher 数据集的组成部分不包括 Reddit 外链的 WebText 数据集。为了清楚起见,尽管 Reddit 是 MassiveWeb 中的顶级域,但该数据集仅抓取 Reddit 域内的 Reddit 链接。根据定义,WebText [31] 由 “所有 Reddit 的外链” 组成(即指向 Reddit 域外的链接)。
9.4. Gopher 分组数据集
MassiveWeb 被认为是 MassiveText 的子组件,并被集成到 Gopher 的数据集汇总中,其分组基于以下列出的可用信息:
表 18. Gopher 分组数据集。公开的数据以粗体表示,确定的数据以斜体表示。
9.5. Gopher 数据集总结
Gopher 是本文中最大的数据集,大小为 10.5TB。Gopher 模型的最终数据集总结分析为:
表 19. Gopher 数据集总结。公开的数据以粗体表示,确定的数据以斜体表示。
10、结论
对于训练当代 Transformer 大型语言模型的数据集而言,这可能是最全面的整合分析内容(截止 2022 年初)。在主要数据源不透明的情况下,本次研究主要从二级和三级来源收集数据,并经常需要假定来确定最终估计值。随着研究人员要处理千万亿个 token(1,000 万亿)和数千 TB 的数据(1,000TB),确保详细披露数据集组成的文档变得越来越重要。
特别值得关注的是,基于大型语言模型的强大 AI 系统产生的冗长而匿名的输出正在迅速发展,其中许多数据集的细节内容几乎没有文档说明。
强烈建议研究人员使用突出显示的 “数据集的数据表(Datasheet for Datasets)” 论文中提供的模板,并在记录数据集时使用最佳实践论文(即 Pile v1 论文,包括 token 数量)。数据集大小(GB)、token 数量(B)、来源、分组和其他详细信息指标均应完整记录和发布。
随着语言模型不断发展并更广泛地渗透到人们的生活中,确保数据集的详细信息公开透明、所有人都可访问且易于理解是有用、紧迫和必要的。
扩展阅读及脚注
考虑到简洁和可读性,本文使用了脚注而非文本 / 括弧式引文。主要参考文献如下,或者参见 http://lifearchitect.ai/papers/,获取大语言模型领域的主要基础论文。以下论文按本文顺序显示。
  1. Datasheets for Datasets Gebru, T., Morgenstern, J., Vecchione, B., Vaughan, J., Wallach, H., Daumé III, H., & Crawford, K. (2018). Datasheets for Datasets.  https://arxiv.org/abs/1803.09010

  2. GPT-1 paper Radford, A., & Narasimhan, K. (2018). Improving Language Understanding by Generative Pre-Training. OpenAI.  https://cdn.openai.com/research-covers/language-unsupervised/language_understan  ding_paper.pdf

  3. GPT-2 paper Radford, A., Wu, J., Child, R., Luan, D., Amodei, D. & Sutskever, I. (2019). Language Models are Unsupervised Multitask Learners. OpenAI.  https://cdn.openai.com/better-language-models/language_models_are_unsupervised  _multitask_learners.pdf

  4. GPT-3 paper Brown, T., Mann, B., Ryder, N., Subbiah, M., Kaplan, J., & Dhariwal, P. et al. (2020). OpenAI. Language Models are Few-Shot Learners.  https://arxiv.org/abs/2005.14165

  5. The Pile v1 paper Gao, L., Biderman, S., Black, S., Golding, L., Hoppe, T., & Foster, C. et al. (2021). The Pile: An 800GB Dataset of Diverse Text for Language Modeling.

  6. EleutherAI.  https://arxiv.org/abs/2101.00027

  7. GPT-J announcement Komatsuzak, A., Wang, B. (2021). GPT-J-6B: 6B JAX-Based Transformer.  https://arankomatsuzaki.wordpress.com/2021/06/04/gpt-j/

  8. GPT-NeoX-20B paper Black, S., Biderman, S., Hallahan, E. et al. (2022). EleutherAI. GPT-NeoX-20B: An Open-Source Autoregressive Language Model.  http://eaidata.bmk.sh/data/GPT_NeoX_20B.pdf

  9. RoBERTa paper Liu, Y., Ott, M., Goyal, N., Du, J., Joshi, M., & Chen, D. et al. (2019). RoBERTa: A Robustly Optimized BERT Pretraining Approach. Meta AI.  https://arxiv.org/abs/1907.11692

  10. MT-NLG paper Smith, S., Patwary, M., Norick, B., LeGresley, P., Rajbhandari, S., & Casper, J. et al. (2021). Using DeepSpeed and Megatron to Train Megatron-Turing NLG 530B, A Large-Scale Generative Language Model. Microsoft/NVIDIA.  https://arxiv.org/abs/2201.11990

  11. Gopher paper Rae, J., Borgeaud, S., Cai, T., Millican, K., Hoffmann, J., & Song, F. et al. (2021). Scaling Language Models: Methods, Analysis & Insights from Training Gopher. DeepMind.  https://arxiv.org/abs/2112.11446

  12. Appendix A: Top 50 Resources: Wikipedia + CC + WebText (i.e. GPT-3)

附录 A:前 50 个资源:Wikipedia + CC + WebText(即 GPT-3)


51份ChatGPT专业报告
计算机研究报告:ChatCPT在金融应用前景
ChatGPT系列,重构办公软件价值天花板
ChatGPT通用化效果突破、前景广阔
ChatGPT系列,为人形机器人注入“灵魂”
ChatGPT更懂人类的叙事
浙商证券:ChatGPT研究框架
ChatGPT芯片算力:研究框架
Chiplet方兴未艾,先进封测持续创新(2023)
ChatGPT将AIGC推向平民化时代(2023)
ChatGPT:AI相关生态赛道会分享
AIGC 概念爆火带来什么启示
ChatGPT成功连接,未来可期(2023)
大厂加大类ChatGPT布局力度,商业应用有望加速落地
ChatGPT带来算力需求;第三方支付行业逻辑逐步被认知
三分钟看懂ChatGPT
ChatGPT跨行业专题报告:AIGC发展大年,推动新一轮产业革命(2023)
ChatGPT的背后:指数级增长的芯片与半导体需求(2023)
专题研究:ChatGPT:深度拆解(2023)
专题报告:AIGC进展迅速,重构内容生产力(2023)
ChatGPT热度加速AI算力,光通信产业链受益
ChatGPT专题:探寻ChatGPT能力圈,以及破圈之路(2023)
AIGC专题:探析AIGC的技术发展和应用(2023)
AIGC/ChatGPT:内容生产力的革命(Web3.0)
ChatGPT的背后:指数级增长的芯片与半导体需求(2023)
国内外科技公司ChatGPT技术布局及应用场景
ChatGPT:又一个“人形机器人”主题(2023)
揭秘ChatGPT身后的AIGC技术和它的中国同行(2023)
ChatGPT 研究框架(2023)
ChatGPT:真格基金分享(2023)
揭秘ChatGPT身后的AIGC技术和它的中国同行(2023)
《ChatGPT专题报告(1)》
1、行业专题研究:ChatGPT,开启AI新纪元(2023)
2、从ChatGPT到生成式AI(Generative AI):人工智能新范式,重新定义生产力(2023)
3、海外ChatGPT专题:ChatGPT风口已至,商业化落地加速(2023)
4、ChatGPT:开启AI新纪元(2023)
5、ChatGPT引领,关注AI产业2023新场景落地
《ChatGPT专题报告(2)》
1、ChatGPT:优化对话的语言模型(2023)
2、ChatGPT:聊天机器人顶流,开启自然语言处理领域新篇章
3、ChatGPT前景广阔,巨头入局有望加速AI落地(2023)
4、ChatGPT:振奋人形机器人应用端锦绣前程
《AIGC人工智能行业专题》
1、AIGC行业专题:2023年有望成为AIGC的拐点 2、腾讯研究院AIGC发展趋势报告2023
GPT-1到ChatGPT产业梳理
ChatGPT需要何种算力基础设施?
ChatGPT全球商业化落地加速,新一轮算力储备开启
AIGC时代来临,全球 AI 服务器龙头厂商大有可为
《从“上网”到“上算”,由“网络世界至“虚拟现实”系列报告》
1、AI专题报告之一:AIGC 与ChatGPT 正掀起新一轮的产业浪潮 2、AI专题报告之二:AIGC将开启新一轮游戏产业变革 3、AI专题报告之三:新一轮内容爆发的AIGC逻辑,在于消除“认知”不对称
ChatGPT开启AI发展新浪潮,算力紧缺和海量应用驱动AI硬件广阔空间
ChatGPT对GPU算力的需求测算与相关分析
AIGC&ChatGPT发展报告


本号资料全部上传至知识星球,更多内容请登录智能计算芯知识(知识星球)星球下载全部资料。




免责申明:本号聚焦相关技术分享,内容观点不代表本号立场,可追溯内容均注明来源,发布文章若存在版权等问题,请留言联系删除,谢谢。


电子书<服务器基础知识全解(终极版)>更新完毕,知识点深度讲解,提供182页完整版下载。


获取方式:点击“小程序链接”即可查看182页 PPT可编辑版本和PDF阅读版本详情。

服务器基础知识全解PPT(终极版)

服务器基础知识全解PDF(终极版)



温馨提示:

请搜索“AI_Architect”或“扫码”关注公众号实时掌握深度技术分享,点击“阅读原文”获取更多原创技术干货。

智能计算芯世界 聚焦人工智能、芯片设计、异构计算、高性能计算等领域专业知识分享.
评论 (0)
  • 在智能语音产品的开发过程中,麦克风阵列的选型直接决定了用户体验的优劣。广州唯创电子提供的单麦克风与双麦克风解决方案,为不同场景下的语音交互需求提供了灵活选择。本文将深入解析两种方案的性能差异、适用场景及工程实现要点,为开发者提供系统化的设计决策依据。一、基础参数对比分析维度单麦克风方案双麦克风方案BOM成本¥1.2-2.5元¥4.8-6.5元信噪比(1m)58-62dB65-68dB拾音角度全向360°波束成形±30°功耗8mW@3.3V15mW@3.3V典型响应延迟120ms80ms二、技术原
    广州唯创电子 2025-03-27 09:23 180浏览
  • 在当今竞争激烈的工业环境中,效率和响应速度已成为企业制胜的关键。为了满足这一需求,我们隆重推出宏集Panorama COOX,这是Panorama Suite中首款集成的制造执行系统(MES)产品。这一创新产品将Panorama平台升级为全面的工业4.0解决方案,融合了工业SCADA和MES技术的双重优势,帮助企业实现生产效率和运营能力的全面提升。深度融合SCADA与MES,开启工业新纪元宏集Panorama COOX的诞生,源于我们对创新和卓越运营的不懈追求。通过战略性收购法国知名MES领域专
    宏集科技 2025-03-27 13:22 218浏览
  • 长期以来,智能家居对于大众家庭而言就像空中楼阁一般,华而不实,更有甚者,还将智能家居认定为资本家的营销游戏。商家们举着“智慧家居、智慧办公”的口号,将原本价格亲民、能用几十年的家电器具包装成为了高档商品,而消费者们最终得到的却是家居设备之间缺乏互操作性、不同品牌生态之间互不兼容的碎片化体验。这种早期的生态割裂现象致使消费者们对智能家居兴趣缺失,也造就了“智能家居无用论”的刻板印象。然而,自Matter协议发布之后,“命运的齿轮”开始转动,智能家居中的生态割裂现象与品牌生态之间的隔阂正被基于IP架
    华普微HOPERF 2025-03-27 09:46 133浏览
  • 在嵌入式语音系统的开发过程中,广州唯创电子推出的WT588系列语音芯片凭借其优异的音质表现和灵活的编程特性,广泛应用于智能终端、工业控制、消费电子等领域。作为该系列芯片的关键状态指示信号,BUSY引脚的设计处理直接影响着系统交互的可靠性和功能拓展性。本文将从电路原理、应用场景、设计策略三个维度,深入解析BUSY引脚的技术特性及其工程实践要点。一、BUSY引脚工作原理与信号特性1.1 电气参数电平标准:输出3.3V TTL电平(与VDD同源)驱动能力:典型值±8mA(可直接驱动LED)响应延迟:语
    广州唯创电子 2025-03-26 09:26 216浏览
  • 六西格玛首先是作为一个量度质量水平的指标,它代表了近乎完美的质量的水平。如果你每天都吃一个苹果,有一间水果店的老板跟你说,他们所卖的苹果,质量达到六西格玛水平,换言之,他们每卖一百万个苹果,只会有3.4个是坏的。你算了一下,发现你如果要从这个店里买到一个坏苹果,需要805年。你会还会选择其他店吗?首先发明六西格玛这个词的人——比尔·史密斯(Bill Smith)他是摩托罗拉(Motorloa)的工程师,在追求这个近乎完美的质量水平的时候,发明了一套方法模型,开始时是MAIC,后来慢慢演变成DMA
    优思学院 2025-03-27 11:47 169浏览
  • ​2025年3月27日​,贞光科技授权代理品牌紫光同芯正式发布新一代汽车安全芯片T97-415E。作为T97-315E的迭代升级产品,该芯片以大容量存储、全球化合规认证、双SPI接口协同为核心突破,直击智能网联汽车"多场景安全并行"与"出口合规"两大行业痛点,助力车企抢占智能驾驶与全球化市场双赛道。行业趋势锚定:三大升级回应智能化浪潮1. 大容量存储:破解车联网多任务瓶颈随着​车机功能泛在化​(数字钥匙、OTA、T-BOX等安全服务集成),传统安全芯片面临存储资源挤占难题。T97-415E创新性
    贞光科技 2025-03-27 13:50 168浏览
  • 案例概况在丹麦哥本哈根,西门子工程师们成功完成了一项高安全设施的数据集成项目。他们利用宏集Cogent DataHub软件,将高安全设施内的设备和仪器与远程监控位置连接起来,让技术人员能够在不违反安全规定、不引入未经授权人员的情况下,远程操作所需设备。突破OPC 服务器的远程连接难题该项目最初看似是一个常规的 OPC 应用:目标是将高安全性设施中的冷水机(chiller)设备及其 OPC DA 服务器,与远程监控站的两套 SCADA 系统(作为 OPC DA 客户端)连接起来。然而,在实际实施过
    宏集科技 2025-03-27 13:20 120浏览
  • 在电子设计中,电磁兼容性(EMC)是确保设备既能抵御外部电磁干扰(EMI),又不会对自身或周围环境产生过量电磁辐射的关键。电容器、电感和磁珠作为三大核心元件,通过不同的机制协同作用,有效抑制电磁干扰。以下是其原理和应用场景的详细解析:1. 电容器:高频噪声的“吸尘器”作用原理:电容器通过“通高频、阻低频”的特性,为高频噪声提供低阻抗路径到地,形成滤波效果。例如,在电源和地之间并联电容,可吸收电源中的高频纹波和瞬态干扰。关键应用场景:电源去耦:在IC电源引脚附近放置0.1μF陶瓷电容,滤除数字电路
    时源芯微 2025-03-27 11:19 186浏览
  • WT588F02B是广州唯创电子推出的一款高性能语音芯片,广泛应用于智能家电、安防设备、玩具等领域。然而,在实际开发中,用户可能会遇到烧录失败的问题,导致项目进度受阻。本文将从下载连线、文件容量、线路长度三大核心因素出发,深入分析烧录失败的原因并提供系统化的解决方案。一、检查下载器与芯片的物理连接问题表现烧录时提示"连接超时"或"设备未响应",或烧录进度条卡顿后报错。原因解析接口错位:WT588F02B采用SPI/UART双模通信,若下载器引脚定义与芯片引脚未严格对应(如TXD/RXD交叉错误)
    广州唯创电子 2025-03-26 09:05 150浏览
  • 汽车导航系统市场及应用环境参照调研机构GII的研究报告中的市场预测,全球汽车导航系统市场预计将于 2030年达到472亿美元的市场规模,而2024年至2030年的年复合成长率则为可观的6.7%。汽车导航系统无疑已成为智能汽车不可或缺的重要功能之一。随着人们在日常生活中对汽车导航功能的日渐依赖,一旦出现定位不准确或地图错误等问题,就可能导致车主开错路线,平白浪费更多行车时间,不仅造成行车不便,甚或可能引发交通事故的发生。有鉴于此,如果想要提供消费者完善的使用者体验,在车辆开发阶段便针对汽车导航功能
    百佳泰测试实验室 2025-03-27 14:51 221浏览
我要评论
0
0
点击右上角,分享到朋友圈 我知道啦
请使用浏览器分享功能 我知道啦