并行计算指的是将计算任务分配给几个共享相同内存的处理器的计算模式。并行计算系统的架构通常表现为组件的同构性；每个处理器都是相同类型的，且拥有相同的处理性能。共享内存有一个独立的地址空间，可供所有处理器访问。并行程序被分成若干执行单元并分配给不同的处理器，它们之间依靠共享内存相互通信。
起初，只有具有共享同一物理内存的多处理器的架构才可称为并行系统。随着时间的推移，这些限制条件已经放宽，只要是基于共享内存这一概念的架构，无论是物理内存系统，还是由库、特定的硬件和高效的网络基础设施组成的系统，都可以称为并行系统。例如，一个集群中节点通过无限带宽网络连接，且配置了分布式共享内存系统，就可以称作并行系统。
处理器芯片已经逐渐达到其物理极限。处理器的处理速度季制于光速，处理器中封装晶体管的密度也受到热力学温度极限的约束。为了克服这些限制。人们将多个处理器连接起来互相协调工作，成功地解决了这个难题。在这一方向上的初步探索引领了并行计算的发展，包括技术、架构和用于并行执行多个任务的系统。正如之前所述，并行计算和分布式计算在概念上没有十分清晰的界定，前者经常用来代替后者。本文将介绍并行计算核心概念和基础知识。
全文下载：并行计算
全文下载：并行计算
下载链接：超级计算中心基础设施发展趋势
阿里云弹性高性能计算
中国高性能计算挑战与进展
高性能深度学习计算框架
超级计算机研究报告
深度报告：GPU研究框架
基于CPU/GPU异构量子高性能计算
免责申明：本号聚焦相关技术分享，内容观点不代表本号立场，可追溯内容均注明来源，发布文章若存在版权等问题，请留言联系删除，谢谢。
电子书<服务器基础知识全解(终极版)>更新完毕，知识点深度讲解，提供182页完整版下载。
获取方式：点击“阅读原文”即可查看PPT可编辑版本和PDF阅读版本详情。
温馨提示：
请搜索“AI_Architect”或“扫码”关注公众号实时掌握深度技术分享，点击“阅读原文”获取更多原创技术干货。
