国产突破!芯片设计核心调度器实现完全自主自研!

EETOP 2023-08-25 11:53

这是一篇推荐我们速石自研调度器——Fsched的文章。

看起来在专门写调度器,但又不完全在写。
往下看,你就懂了。

本篇一共五个章节:

一、介绍一下主角——速石自研调度器Fsched

二、只要有个调度器,就够了吗?

三、全面对比:速石研发平台 VS LSF Suite

四、如果你想尝试AI——

五、不止半导体领域。。。。



介绍一下主角

速石自研调度器Fsched


fastone Scheduler,简称Fsched,是速石科技所有产品的核心调度组件。Ta是面向HPC集群的操作系统,是HPC集群的“大脑”,用于对HPC集群内的计算资源进行管理、监控,对用户提交的任务进行统一管理、分发和远程执行。

Fsched是速石科技基于开源的Slurm版本进化而来的全新产品。

01

我们的Fsched调度器到底厉害在哪?


先看一组我们在半导体领域用户的真实验证数据

5个月时间内:

CPU调度峰值达到5万核

提交了超过8000万Jobs

构建超过700台机器组成的大规模集群;

使用量约3000万核时

Fsched性能指标

吞吐量:

1000 jobs/second

响应时间:

1 ms

集群规模:

单个Fsched集群能够支持的最大节点数:1000

单个Fsched集群能够支持的最大CPU核数:30000


总结一下,Fsched调度器优势:

1. 完全由速石独立开发,性能卓越;

2. 我们能提供代码级技术支持;

3. 支持市面上几乎所有EDA工具;

4. 服务了100+家不同类型的半导体行业用户;

5. 兼容LSF/SGE等调度器,使用体验不变。


关于调度器科普和不同流派近二十年的发展历程,可以点击回顾:亿万打工人的梦:16万个CPU随你用

02

代码级技术支持有什么不一样?


代码级技术支持的特别之处主要体现在解决问题的路径上

一句话,我们能做很多人做不到的事情。


一般问题:我们站在产品视角来解决


特殊问题:我们以开发者身份来解决

比如一些特殊调度策略的改造与优化,我们是开发者,所以能做。包括各种调度器日志的监控分析,优化调度器的提交方式和脚本等等。


DEBUG:深入代码级的技术支持

举一个典型例子:当研发提交任务出现异常状态,怎么办?


我们首先需要定位与任务相关的日志。日志分为:基础设施层日志、中间件层日志、应用层日志等。
IT和研发工程师的关注点不一样:IT工程师一般看基础设施层日志,CAD和研发工程师看中间件层日志和应用层日志。不同角色各看各的,定位问题效率低。
我们通过Fsched调度器:
1. 把调度任务的异常日志分类,找出是哪一层的问题;

2. 任务状态跟踪,通过异常应用找出相应进程和IO信息,方便判断;

3. 通过数据分析抓取日志中的关键信息。

找到问题,over。

03

Slurm之上,我们还做了什么?


Slurm是厉害的:全球60%的TOP500超算中心和超大规模集群(包括我国的天河二号等)都采用Slurm作为调度系统。它拥有容错率高、支持异构资源、高度可扩展等优点,适用性相当强。


那么,基于Slurm之上,我们还做了些什么?


从0到1,帮助用户更快,更简单地用起来

1. 产品级IT自动化管理,标准化地调用资源,保证环境一致性,降低用户配置复杂度和出错率,上手更容易;

2. 从业务出发,Fsched与底层资源的联动性强,根据任务需求自动伸缩,更符合云上使用方式。
从1到10,让用户用得稳定,用得放心
1. 对Slurm开源版进行修复与增强修复Slurm开源版在复杂环境下任务异常崩溃等问题,增加了混合云智能调度能力;
2. 基于Wrapper组件,Fsched对上层EDA应用进行了兼容与优化,保证用户使用体验不变;

PS:同样是Wrapper,水平也是有高下的。要达到多年战斗在一线的专业高级口译的经验和水平,只能说:有难度。

3. 根据最佳实践经验总结的流程与规则,能优化EDA Workflow,提高调度器使用效率;

4. 代码级支持能力让用户无后顾之忧。


只要有个调度器

就够了吗?


答案自然是否定的。

为什么?

或许,我们可以换个角度来回答这个问题。


就像汽车出现之前,用户的期望永远是——1匹更快的马一样

在当下芯片设计研发领域,我们如果把调度器类比马,那么汽车是什么呢?


我们给大家简单描绘一下:

一个站在整个芯片设计研发体系和架构视角来满足EDA行业用户性能、功能、体验的产品。

1. Ta是完整的一体化产品,功能紧密耦合,且经过层层实战考验;

2. Ta解决的是完整生命周期的芯片设计业务问题,调度器只是其中一个模块;

3. Ta具有对企业未来发展的弹性,能扩展至不同规模和更多业务路线,比如AI

而这,正是我们与其他很多产品最大的区别之一


我们的产品在设计之初就是面向EDA应用,服务芯片设计研发业务场景的。这也决定了我们解决问题的出发点永远是:是否满足研发业务需求,然后从上至下地解决问题。


01

一整套上中下层联动的芯片研发环境

我们提供的是一整套上中下层联动的芯片设计研发环境:

1. 连接上层EDA应用,对应用本身的运行提供支持和优化;

2. 连接底层资源,给用户提供更灵活,更高效使用资源的能力;

3. 结合EDA应用和底层资源的联动和适配,给出最佳实践经验。


02

功能面向实际业务场景设计和提供


我们的功能都是面向实际业务场景设计和提供的:

1. License调度优化,可帮助企业用户最大化提升License利用率,更好地规划License购买策略,控制整体使用成本;

2. 我们能多维度监控任务状态,提供基于EDA任务层的监控、告警、数据统计分析功能与服务,让团队管理者监控各个重要指标变化,从全局角度掌握项目的整体任务及资源情况,为未来项目合理规划、集群生命周期管理、成本优化提供支持;

3. 日常数据统计与运营分析管理,实现问题可追溯,可追踪,降低成本,提升整体项目管理效率。


03

交互方式不改变EDA用户使用习惯


我们的交互方式不改变EDA用户的使用习惯。原来怎么用,现在还怎么用。



速石研发平台

VS

LSF Suite


半导体行业用户最熟悉的调度器是LSF,就不多介绍了。

不过,它背后的LSF Suite大家就不一定熟悉了。


来来,我们盘一下,我们速石研发平台跟LSF Suite的区别是什么?

01

根本区别:设计理念不一样


我们是站在整个芯片设计研发体系和架构视角来设计的一体化产品解决的是完整生命周期的芯片设计业务问题,功能紧密耦合,且经过层层实战考验。

Fsched调度器只是其中一个模块,不单独售卖,在我们的全线企业级产品均属内置,且与产品其他功能深度绑定

这正是我们上一节提到的面向EDA业务的产品定位决定的。
而LSF Suite里的核心调度器LSF与其他组件是不关联的,属于可选项。这也导致了用户大多只接触过LSF,而对它的其他组件没有什么概念。

而且,因为各种功能组件之间独立存在的,用户使用的时候需要根据自己业务需要进行二次开发组装,从零开始进行功能模块需求评估、采购、对接、开发和测试验证兼容性,才能搭建出一个完整的研发环境,时间周期也会比较长
另外还有期间的运维、后续的更新升级和功能扩展等事项。

02

性价比:速石研发平台TCO更低


下图是我们研发平台与LSF Suite的横向对比图,可以清楚地看到,两者的收费模式差别很大。

我们Fsched调度器是包含在平台费用里的,相关组件也都是随产品一起内置的,不单独收费。


而LSF Suite除了核心调度器按使用核数收费以外,所有功能组件都需要额外收费


从总拥有成本来看,对用户来说,速石研发平台付出的成本更低,获得的东西更多。还有很多隐性成本没有列在表格里,比如对接调试时间成本,人工成本,售后支持成本等等。


总结一下,我们跟LSF Suite的五大主要区别

1. 核心调度器Fsched完全国产自研,有代码级支持能力;
2. 我们的产品设计初衷就是提供面向EDA业务的一整套研发环境,可扩展性强
3. 各功能模块紧密耦合,不单独收费,整体性价比高
4. 我们的CAD能力与经验,能有效提高上中下层整体联动效率;
5. 我们兼容LSF/SGE等调度器,使用体验不变。



如果你想尝试AI——


目前,AI在芯片设计领域的应用主要有两条路线:


路线一:AI+EDA工具

Synopsys、Cadence与Siemens等公司纷纷在其最新工具中使用了AI技术,覆盖先进数字与模拟芯片的设计、验证、测试和制造环节,让开发者在芯片开发的每一个阶段都可以采用借助AI的自主学习能力,提供芯片设计生产力。

当然,越来越多EDA工具也支持借助GPU进行运算加速。


路线二:AI算法模型训练

Google研究人员使用10,000个芯片布局图来训练他们的深度学习模型——PRIME,人工智能生成的芯片的设计时间不到六个小时。

而NVIDIA设计了另一种用于芯片设计的深度学习方法——PrefixRL模型,NVIDIA使用其RL工具设计的电路比人类使用当今EDA工具设计的电路小25%,但性能相似。


路线一需要支持全流程EDA工具的一整套研发环境,以及构建异构资源(CPU+GPU、本地+云上)的调度及管理平台的能力。

路线二需要的支持企业从ML/LLM模型构建、大规模训练到最终部署需求的MLOps模块

我们都有。


另外,我们刚刚发布的一款行业知识库聊天应用Megrez,面向企业客户提供大语言模型的私有化部署能力,允许用户自定义行业知识库,实现领域知识的问答。

Megrez基于芯片设计领域提供的支持



不止半导体领域。。。。


在半导体以外的其他行业,如生命科学、汽车/智能制造,我们也表现不错:


汽车/智能制造

这样跑COMSOL,是不是就可以发Nature了

LS-DYNA求解效率深度测评 │ 六种规模,本地VS云端5种不同硬件配置

怎么把需要45天的突发性Fluent仿真计算缩短到4天之内?

从4天到1.75小时,如何让Bladed仿真效率提升55倍?


生命科学

王者带飞LeDock!开箱即用&一键定位分子库+全流程自动化,3.5小时完成20万分子对接

1分钟告诉你用MOE模拟200000个分子要花多少钱

155个GPU!多云场景下的Amber自由能计算

提速2920倍!用AutoDock Vina对接2800万个分子



关于fastone云平台在各种EDA应用上的表现,可以点击以下应用名称查看:

HSPICE │ OPC │ VCS │ Virtuoso │ Calibre

速石科技芯片设计五部曲,前三部先睹为快:

模拟IC  数字IC  算法仿真


 END -

我们有个IC设计研发云平台
IC设计全生命周期一站式覆盖
调度器Fsched国产化替代、专业IT-CAD服务
100+行业客户落地实践
支持海内外多地协同研发与办公
多层安全框架层层保障

扫码免费试用,送200元体验金,入股不亏~

更多EDA电子书
欢迎扫码关注小F(ID:iamfastone)获取

你也许想了解具体的落地场景:
暴力堆机器之王——Calibre
Auto-Scale这支仙女棒如何大幅提升Virtuoso仿真效率?
揭秘20000个VCS任务背后的“搬桌子”系列故事
大规模OPC上云,5000核并行,效率提升53倍
从30天到17小时,如何让HSPICE仿真效率提升42倍?

芯片设计研发平台:
【案例】95后占半壁江山的浙桂,如何在百家争鸣中快人一步
最强省钱攻略——IC设计公司老板必读
芯片设计五部曲之三 | 战略规划家——算法仿真
【案例】速石X腾讯云X燧原:芯片设计“存算分离”混合云实践
解密一颗芯片设计的全生命周期算力需求
缺人!缺钱!赶时间!初创IC设计公司如何“绝地求生”?

重大事件:
速石科技联合芯华章,推动新一代EDA向云原生迈进
速石科技赋能里恩特,开拓更广阔的芯片设计市场
速石科技应邀出席2023世界人工智能大会,AI研发平台引人瞩目
速石科技与深信服开启战略合作,助力芯片设计自主创新
速石科技成三星Foundry国内首家SAFE™云合作伙伴

EETOP EETOP半导体社区-国内知名的半导体行业媒体、半导体论坛、IC论坛、集成电路论坛、电子工程师博客、工程师BBS。
评论
  •     IPC-2581是基于ODB++标准、结合PCB行业特点而指定的PCB加工文件规范。    IPC-2581旨在替代CAM350格式,成为PCB加工行业的新的工业规范。    有一些免费软件,可以查看(不可修改)IPC-2581数据文件。这些软件典型用途是工艺校核。    1. Vu2581        出品:Downstream     
    电子知识打边炉 2025-01-22 11:12 134浏览
  • Ubuntu20.04默认情况下为root账号自动登录,本文介绍如何取消root账号自动登录,改为通过输入账号密码登录,使用触觉智能EVB3568鸿蒙开发板演示,搭载瑞芯微RK3568,四核A55处理器,主频2.0Ghz,1T算力NPU;支持OpenHarmony5.0及Linux、Android等操作系统,接口丰富,开发评估快人一步!添加新账号1、使用adduser命令来添加新用户,用户名以industio为例,系统会提示设置密码以及其他信息,您可以根据需要填写或跳过,命令如下:root@id
    Industio_触觉智能 2025-01-17 14:14 145浏览
  •  光伏及击穿,都可视之为 复合的逆过程,但是,复合、光伏与击穿,不单是进程的方向相反,偏置状态也不一样,复合的工况,是正偏,光伏是零偏,击穿与漂移则是反偏,光伏的能源是外来的,而击穿消耗的是结区自身和电源的能量,漂移的载流子是 客席载流子,须借外延层才能引入,客席载流子 不受反偏PN结的空乏区阻碍,能漂不能漂,只取决于反偏PN结是否处于外延层的「射程」范围,而穿通的成因,则是因耗尽层的过度扩张,致使跟 端子、外延层或其他空乏区 碰触,当耗尽层融通,耐压 (反向阻断能力) 即告彻底丧失,
    MrCU204 2025-01-17 11:30 210浏览
  • 临近春节,各方社交及应酬也变得多起来了,甚至一月份就排满了各式约见。有的是关系好的专业朋友的周末“恳谈会”,基本是关于2025年经济预判的话题,以及如何稳定工作等话题;但更多的预约是来自几个客户老板及副总裁们的见面,他们为今年的经济预判与企业发展焦虑而来。在聊天过程中,我发现今年的聊天有个很有意思的“点”,挺多人尤其关心我到底是怎么成长成现在的多领域风格的,还能掌握一些经济趋势的分析能力,到底学过哪些专业、在企业管过哪些具体事情?单单就这个一个月内,我就重复了数次“为什么”,再辅以我上次写的:《
    牛言喵语 2025-01-22 17:10 178浏览
  •  万万没想到!科幻电影中的人形机器人,正在一步步走进我们人类的日常生活中来了。1月17日,乐聚将第100台全尺寸人形机器人交付北汽越野车,再次吹响了人形机器人疯狂进厂打工的号角。无独有尔,银河通用机器人作为一家成立不到两年时间的创业公司,在短短一年多时间内推出革命性的第一代产品Galbot G1,这是一款轮式、双臂、身体可折叠的人形机器人,得到了美团战投、经纬创投、IDG资本等众多投资方的认可。作为一家成立仅仅只有两年多时间的企业,智元机器人也把机器人从梦想带进了现实。2024年8月1
    刘旷 2025-01-21 11:15 666浏览
  • 现在为止,我们已经完成了Purple Pi OH主板的串口调试和部分配件的连接,接下来,让我们趁热打铁,完成剩余配件的连接!注:配件连接前请断开主板所有供电,避免敏感电路损坏!1.1 耳机接口主板有一路OTMP 标准四节耳机座J6,具备进行音频输出及录音功能,接入耳机后声音将优先从耳机输出,如下图所示:1.21.2 相机接口MIPI CSI 接口如上图所示,支持OV5648 和OV8858 摄像头模组。接入摄像头模组后,使用系统相机软件打开相机拍照和录像,如下图所示:1.3 以太网接口主板有一路
    Industio_触觉智能 2025-01-20 11:04 194浏览
  • 本文介绍瑞芯微开发板/主板Android配置APK默认开启性能模式方法,开启性能模式后,APK的CPU使用优先级会有所提高。触觉智能RK3562开发板演示,搭载4核A53处理器,主频高达2.0GHz;内置独立1Tops算力NPU,可应用于物联网网关、平板电脑、智能家居、教育电子、工业显示与控制等行业。源码修改修改源码根目录下文件device/rockchip/rk3562/package_performance.xml并添加以下内容,注意"+"号为添加内容,"com.tencent.mm"为AP
    Industio_触觉智能 2025-01-17 14:09 203浏览
  • 2024年是很平淡的一年,能保住饭碗就是万幸了,公司业绩不好,跳槽又不敢跳,还有一个原因就是老板对我们这些员工还是很好的,碍于人情也不能在公司困难时去雪上加霜。在工作其间遇到的大问题没有,小问题还是有不少,这里就举一两个来说一下。第一个就是,先看下下面的这个封装,你能猜出它的引脚间距是多少吗?这种排线座比较常规的是0.6mm间距(即排线是0.3mm间距)的,而这个规格也是我们用得最多的,所以我们按惯性思维来看的话,就会认为这个座子就是0.6mm间距的,这样往往就不会去细看规格书了,所以这次的运气
    wuliangu 2025-01-21 00:15 324浏览
  • 日前,商务部等部门办公厅印发《手机、平板、智能手表(手环)购新补贴实施方案》明确,个人消费者购买手机、平板、智能手表(手环)3类数码产品(单件销售价格不超过6000元),可享受购新补贴。每人每类可补贴1件,每件补贴比例为减去生产、流通环节及移动运营商所有优惠后最终销售价格的15%,每件最高不超过500元。目前,京东已经做好了承接手机、平板等数码产品国补优惠的落地准备工作,未来随着各省市关于手机、平板等品类的国补开启,京东将第一时间率先上线,满足消费者的换新升级需求。为保障国补的真实有效发放,基于
    华尔街科技眼 2025-01-17 10:44 238浏览
  • 数字隔离芯片是一种实现电气隔离功能的集成电路,在工业自动化、汽车电子、光伏储能与电力通信等领域的电气系统中发挥着至关重要的作用。其不仅可令高、低压系统之间相互独立,提高低压系统的抗干扰能力,同时还可确保高、低压系统之间的安全交互,使系统稳定工作,并避免操作者遭受来自高压系统的电击伤害。典型数字隔离芯片的简化原理图值得一提的是,数字隔离芯片历经多年发展,其应用范围已十分广泛,凡涉及到在高、低压系统之间进行信号传输的场景中基本都需要应用到此种芯片。那么,电气工程师在进行电路设计时到底该如何评估选择一
    华普微HOPERF 2025-01-20 16:50 123浏览
  • 飞凌嵌入式基于瑞芯微RK3562系列处理器打造的FET3562J-C全国产核心板,是一款专为工业自动化及消费类电子设备设计的产品,凭借其强大的功能和灵活性,自上市以来得到了各行业客户的广泛关注。本文将详细介绍如何启动并测试RK3562J处理器的MCU,通过实际操作步骤,帮助各位工程师朋友更好地了解这款芯片。1、RK3562J处理器概述RK3562J处理器采用了4*Cortex-A53@1.8GHz+Cortex-M0@200MHz架构。其中,4个Cortex-A53核心作为主要核心,负责处理复杂
    飞凌嵌入式 2025-01-24 11:21 18浏览
  • 嘿,咱来聊聊RISC-V MCU技术哈。 这RISC-V MCU技术呢,简单来说就是基于一个叫RISC-V的指令集架构做出的微控制器技术。RISC-V这个啊,2010年的时候,是加州大学伯克利分校的研究团队弄出来的,目的就是想搞个新的、开放的指令集架构,能跟上现代计算的需要。到了2015年,专门成立了个RISC-V基金会,让这个架构更标准,也更好地推广开了。这几年啊,这个RISC-V的生态系统发展得可快了,好多公司和机构都加入了RISC-V International,还推出了不少RISC-V
    丙丁先生 2025-01-21 12:10 617浏览
  • 高速先生成员--黄刚这不马上就要过年了嘛,高速先生就不打算给大家上难度了,整一篇简单但很实用的文章给大伙瞧瞧好了。相信这个标题一出来,尤其对于PCB设计工程师来说,心就立马凉了半截。他们辛辛苦苦进行PCB的过孔设计,高速先生居然说设计多大的过孔他们不关心!另外估计这时候就跳出很多“挑刺”的粉丝了哈,因为翻看很多以往的文章,高速先生都表达了过孔孔径对高速性能的影响是很大的哦!咋滴,今天居然说孔径不关心了?别,别急哈,听高速先生在这篇文章中娓娓道来。首先还是要对各位设计工程师的设计表示肯定,毕竟像我
    一博科技 2025-01-21 16:17 159浏览
  • 随着消费者对汽车驾乘体验的要求不断攀升,汽车照明系统作为确保道路安全、提升驾驶体验以及实现车辆与环境交互的重要组成,日益受到业界的高度重视。近日,2024 DVN(上海)国际汽车照明研讨会圆满落幕。作为照明与传感创新的全球领导者,艾迈斯欧司朗受邀参与主题演讲,并现场展示了其多项前沿技术。本届研讨会汇聚来自全球各地400余名汽车、照明、光源及Tier 2供应商的专业人士及专家共聚一堂。在研讨会第一环节中,艾迈斯欧司朗系统解决方案工程副总裁 Joachim Reill以深厚的专业素养,主持该环节多位
    艾迈斯欧司朗 2025-01-16 20:51 333浏览
  • 故障现象 一辆2007款日产天籁车,搭载VQ23发动机(气缸编号如图1所示,点火顺序为1-2-3-4-5-6),累计行驶里程约为21万km。车主反映,该车起步加速时偶尔抖动,且行驶中加速无力。 图1 VQ23发动机的气缸编号 故障诊断接车后试车,发动机怠速运转平稳,但只要换挡起步,稍微踩下一点加速踏板,就能感觉到车身明显抖动。用故障检测仪检测,发动机控制模块(ECM)无故障代码存储,且无失火数据流。用虹科Pico汽车示波器测量气缸1点火信号(COP点火信号)和曲轴位置传感器信
    虹科Pico汽车示波器 2025-01-23 10:46 74浏览
我要评论
0
点击右上角,分享到朋友圈 我知道啦
请使用浏览器分享功能 我知道啦