联邦学习是一种在保护数据隐私安全的前提下,联合多方进行共同建模的分布式机器学习框架。在训练过程中,通过对模型参数进行加密、传递、运算、解密,实现整体模型表现的提升。1、AI大模型落地的前景和痛点,兼谈工程师架构师所面临的机会和挑战
2、AIGC驱动下高校数字化转型
3、大模型趋势下的企业数据体系思考
4、大模型时代下数据中台该何去
5、大模型重塑软件开发以及实践案例展示
6、当GPT遇到低代码低代码平台AIGC开发落地实战
7、迈向通用人工智能时代之路——边缘与管力网络演进及思考
8、网宿边缘智能平台与AIGC探索在联邦学习过程中,为了支持参数和数据可以在密态下进行无损的计算,需使用同态加密技术(加密后的数据为2048bit大整数),而同态加密技术会带来计算量和传输量的剧增。重点考虑异构硬件特性:
定制:根据场景和算法定制架构和计算引擎,计算效率高。
并行:可在算法、多引擎、pipeline处理等多个层面优化并行度。
延迟:高带宽传输,纯硬件电路,无指令执行概念。
部署:可在云或本地切换部署解决方案并根据应用需求扩展。
异构算力方案比较重点考虑:将复杂运算转移至硬件设备执行,大幅提升并行处理效率,支持高并发、低延迟
GPU特性
- 资源丰富,算力强大,可以有效完成复杂度较高的运算。
- 基于SIMT(单指令多线程)架构,其主体由多个相同的流式多处理器组成。因此具有高并发度的特点。
- 内存分级机制,可以大幅提高数据读写和处理速率。具有很强的可编程性,可以根据不同需求快速实现算法的硬件实现,GPU在通用计算领域的作用比较重要。
FPGA特性
可编程逻辑电路,FPGA内部资源游离分配,可以根据设计人员的需要进行编程
并行性,可编程定制不同功能的程逻辑电路,数百万个LUT进行大规模并行计算
高速性能,快速的时钟速度和响应时间,因此可以处理高速数据流和实时信号
1、未来网络白皮书(2023):算网操作系统白皮书 2、未来网络白皮书(2023):以网络IO为中心的无服务器数据中心白皮书 3、未来网络白皮书(2023):光电融合服务定制广域网白皮书人工智能专题报告:智算中心—赋能AI产业化、产业AI化(2023)
中国超导体行业:立足科技前沿,满足能源战略需求(2023)多样性算力:新一代计算架构超异构计算
聚力“高广深”打造先进算力网络
生成式AI:产业变革与机会(2023论坛合集)
400+份重磅ChatGPT专业报告(合集)
《“东数西算”技术分析合集》
《2023年液冷技术白皮书汇总》
1、浸没式液冷数据中心热回收白皮书(2023)
2、数据中心绿色设计白皮书(2023)世界AI大会系列:数据为核,迈向多模态AI大模型时代
AI精华系列报告:AMD发布MI300,指引Chiplet等AI芯片新方向2、CXL-Forum CXL-Consortium技术方案.pdf3、CXL-Forum Elastics cloud技术方案.pdf 4、CXL-Forum Intel技术方案.pdf 5、CXL-Forum Marvell技术方案.pdf 6、CXL-Forum MemVerge技术方案.pdf 7、CXL-Forum Micron技术方案.pdf1、芯来科技:基于RISC-V的MCU软硬件解决方案2、芯来科技:高可靠高安全性RISC-V处理器设计与实现
本号资料全部上传至知识星球,更多内容请登录智能计算芯知识(知识星球)星球下载全部资料。
免责申明:本号聚焦相关技术分享,内容观点不代表本号立场,可追溯内容均注明来源,发布文章若存在版权等问题,请留言联系删除,谢谢。
温馨提示:
请搜索“AI_Architect”或“扫码”关注公众号实时掌握深度技术分享,点击“阅读原文”获取更多原创技术干货。