Intel酷睿Ultra285H体验DeepSeek14B模型:每秒近10Tokens关键是它

硬件世界 2025-04-01 21:54

一、前言:哪个发烧友能抵挡本地部署大模型的诱惑

今年年初,横空出世的DeepSeek AI大模型火爆出圈,一夜过后人人都在谈论DeepSeek大模型,而已经进入第二年的AI PC方面,自然也不会落后。

相对于直接付费使用成熟的AI应用,DeepSeek完全开源的特性也让更多发烧友乐于在本地部署,充分利用越发强大的硬件AI性能。

但是对于主流的笔记本平台,在本地运行DeepSeek大模型,效果如何呢?

我们找来了当下比较新的轻薄本,Intel平台和AMD平台各一台,测试一下不同平台在本地运行DeepSeek大模型的表现。

Intel酷睿Ultra 285H AI体验:DeepSeek 14B模型每秒近10 Tokens OpenVINO成制胜关键

当然我们在本地部署的DeepSeek只能是蒸馏版,因为满血版DeepSeek-R1模型高达671b的参数根本不是小飞机平台所能容纳的,好在还有六个蒸馏后不同规模的小模型,方便玩家根据自己的硬件配置选择合适的模型规模。

DeepSeek-R1大模型和由它蒸馏而来的六个小模型都是开源的,每个人都可以下载部署到自己的设备上。

选择合适的模型规模,关键就在于运行设备的显存或内存容量,当然对于普通玩家,特别是笔记本用户来说,主要还是看内存大小。

这也就是AI PC概念出现以来,电脑的内存容量已经普遍从32GB起步的原因,就连被戏称“用金子做内存”的苹果,最新的Mac Mini M4也把内存升级到16GB起步。

二、测试平台介绍:各有优势 但都是最强移动处理器的竞争者

条件所限,我们没有找到两台完全对等的笔记本进行对比,只能选取比较接近的配置,分别搭载了Intel酷睿Ultra 9 285H处理器、AMD锐龙AI 9 HX370处理器,都是各自平台轻薄本能搭载的最强处理器,定位上旗鼓相当。

Intel酷睿Ultra 285H AI体验:DeepSeek 14B模型每秒近10 Tokens OpenVINO成制胜关键

Intel酷睿Ultra 9 285H处理器基于Arrow Lake架构,拥有6个性能核,8个能效核和2个低功耗能效核,一共16核心,但不支持超线程技术,所以总线程数也是16, 性能核最大睿频频率为5.4GHz,拥有24MB高速缓存。

它内建Intel锐炫140T显卡,包含8个Xe核心,同时还内置NPU,能够提供高达13 TOPS的算力。

CPU+GPU+NPU全平台总算力达到99 TOPS,为本地运行大模型提供了很好的支撑。

Intel酷睿Ultra 285H AI体验:DeepSeek 14B模型每秒近10 Tokens OpenVINO成制胜关键

AMD锐龙AI 9 HX370处理器基于Zen 5架构,4个Zen 5核心和8个Zen 5c核心,支持超线程技术,总共是12个核心24线程,最高加速频率为5.1GHz,拥有12MB的L2 高速缓存和24MB的L3 高速缓存。

内建AMD Radeon 890M显卡,包含16个GPU核心。

当然也有独立的NPU引擎,而且算力高达55 TOPS,是迄今最强的。

Intel酷睿Ultra 285H AI体验:DeepSeek 14B模型每秒近10 Tokens OpenVINO成制胜关键

需要注意的是,Intel酷睿Ultra 9 285H处理器的TDP高达45W,AMD锐龙AI 9 HX370处理器的TDP只有28W。

当然,Intel和AMD都允许笔记本制造商根据具体产品设计,在一定范围内设定处理器功耗。

Intel酷睿Ultra 285H AI体验:DeepSeek 14B模型每秒近10 Tokens OpenVINO成制胜关键

Intel酷睿Ultra 285H AI体验:DeepSeek 14B模型每秒近10 Tokens OpenVINO成制胜关键

我们这次准备的两台笔记本,Intel方面是一台轻薄本,实际烤机测试CPU稳定释放功率只有35W左右,而AMD方面是一台全能本,还搭载了一块NVIDIA RTX 4060Laptop独立显卡(已禁用),拥有更强劲的散热配置和功耗表现,实际烤机测试中可以稳定释放高达60W的功率。

笔记本平台并不像台式机主板一样可以方便地在BIOS中对CPU功耗性能等进行限制,所以这个测试并不是一个非常严谨的性能对比测试,只能说分别测试一下各自的表现情况和我们的使用体验,请读者朋友们自行比较。

三、DeepSeek-R1模型测试:iGPU算力也可流畅运行本地部署的14B模型

Ollama是一个开源的大语言部署服务工具,只需iGPU即可部署大模型。

我们这次测试就是基于Ollama框架,在本地部署DeepSeek-R1的蒸馏版模型,测试使用iGPU的运行效率。

Ollama作为一个开源软件,功能依赖全球开发者的共同维护,自然也会有一些特别的分支。

我们此次测试,专门找来了针对 intel 推理框架和AMD ROCm推理框架分别优化过的Ollama版本,更能体现Intel和AMD硬件在各自最佳环境下的运行效率。

Intel酷睿Ultra 285H AI体验:DeepSeek 14B模型每秒近10 Tokens OpenVINO成制胜关键

(左侧为Intel酷睿Ultra 9 285H运行截图,右侧为AMD锐龙AI 9 HX370运行截图)

为了避免图形UI造成的延迟和对性能的影响,我们直接在命令行中同DeepSeek-R1:14B模型进行对话,我们准备了4个问题,分别是:

你是谁?

最简单的问题,用来检查DeepSeek大模型是否正确工作。

模仿李白的风格,写一首七律·登月。

简单的文字写作能力。

一亿之内最大的质数是多少?

数学能力其实不是DeepSeek这种推理模型的长处,但也可以测试一下。

帮我写一份5月份前往南疆的旅行攻略。

对DeepSeek的语义理解/推理能力和文字写作能力进行测试。

同样我们对DeepSeek-R1大模型另外两个更小规模的蒸馏版本7B和1.5B,也都进行了测试,测试成绩汇总如下:

Intel酷睿Ultra 285H AI体验:DeepSeek 14B模型每秒近10 Tokens OpenVINO成制胜关键

Intel酷睿Ultra 285H AI体验:DeepSeek 14B模型每秒近10 Tokens OpenVINO成制胜关键

模型规模越小,执行速度越快,但相对的AI智力下降也非常明显,经常会出现无法回答或者先入死循环的状态。

14B规模的模型的反应速度和回答准确率表现都比较优秀,在测试平台上运行效果非常好(但数学问题的回答准确度还是不太行)。

从测试结果上来看,Intel酷睿Ultra 9 285H在针对Intel优化过的Ollama上的每秒token输出更高一些,在14B和7B规模模型中,对比AMD锐龙AI 9 HX370都有40%左右的领先,而在1.5B规模模型中,双方性能表现都很强,但Intel平台仍有5%左右的优势。

当然这个测试也并不能代表Intel处理器在AI性能上就一定比AMD处理器强很多,每秒输出的Token数也不是决定AI性能表现的唯一评价维度,但至少从实际测试的结果上来看,针对Intel 优化过的框架确实拥有更好的支持,让Intel处理器的性能表现更强。

四、AI大模型能力测试:Deepseek-R1:14B模型编程已经实用

我们也测试了一下Deepseek-R1:14B模型在Intel酷睿Ultra 9 285H处理器的轻薄本上实际表现,测试一下使用本地Intel iGPU算力来编程,效果如何。

Intel酷睿Ultra 285H AI体验:DeepSeek 14B模型每秒近10 Tokens OpenVINO成制胜关键

Intel酷睿Ultra 285H AI体验:DeepSeek 14B模型每秒近10 Tokens OpenVINO成制胜关键

我们首先安装了一个针对Intel酷睿Ultra处理器优化的AI应用工具:Flowy AI PC软件,然后在其中使用Deeoseek-R1:14B模型来编写一个基于HTML语言的贪吃蛇游戏。

Intel酷睿Ultra 285H AI体验:DeepSeek 14B模型每秒近10 Tokens OpenVINO成制胜关键

Intel酷睿Ultra 285H AI体验:DeepSeek 14B模型每秒近10 Tokens OpenVINO成制胜关键

按照Deepseek给出的操作说明,我们很容易就可以把这个由AI写出来的贪吃蛇游戏运行起来,虽然比较简陋,但基本的游戏功能已经没有问题了。

Intel酷睿Ultra 9 285H处理器搭配Deepseek-R1:14B模型,能力已经具备一定实用价值了,已经可以帮助用户提高编程速度和工作效率了。

五、总结:Intel 全力推广OpenVINO 效果已经开始展现

得益于DeepSeek的开源,让本地部署AI大模型变的前所未有的容易,即使是在轻薄本这种并不以性能见长的移动平台上,运行本地大模型也能有相当不错的性能表现。

在我们的测试中,Intel酷睿Ultra 9 285H处理器展现出相当强劲的实力,使用开源部署工具Ollama(Intel优化版),在本地部署DeepSeek-R1:14B,仅依靠CPU的算力,就可以实现接近10 Token/s的输出速度,比AMD锐龙AI 9 HX370处理器的输出高了40%以上,而且这个成绩还是在CPU实际功率相差接近一倍的情况下得出的。

Intel酷睿Ultra 285H AI体验:DeepSeek 14B模型每秒近10 Tokens OpenVINO成制胜关键

这也从一个侧面说明,AI大模型的高效运行,不仅仅是硬件性能的问题,软件的适配同样重要,甚至比硬件性能更重要一些。

就像谈论AI算力,NVIDIA是个绕不开的名字一样,NVIDIA的CUDA和硬件相辅相承,共同构成了宽阔的护城河,Intel和AMD作为追赶者,必须付出巨大的努力和代价才有机会在这个领域挑战NVIDIA的地位。

Intel现在不遗余力地推广OpenVINO,我们已经看到了结果。也许硬件的真实性能强弱难以量化比较,但从我们这次的体验来看,Intel酷睿Ultra 9 285处理器在用户实际使用中,确实能发挥出比AMD锐龙AI 9 HX370处理器更强的性能。

再加上Intel连续举办的人工智能创新应用大赛,用真金白银鼓励开发者开发基于OpenVINO的AI应用,Intel平台的AI应用正在迎来一个百花齐放的时代。

DeepSeek大模型极大地抹平了桌面平台面临的算力鸿沟之后,AI应用的丰富程度,专用推理架构的普及程度,硬件性能的发挥水平,共同决定了谁才是AI PC时代的王者。

Intel现在在全力推广OpenVINO,我们也不希望AMD被拉开太远,NVIDIA算力霸权的挑战者越多越好。


硬件世界 共同研究探讨硬件知识及相关信息
评论 (0)
  • 提到“质量”这两个字,我们不会忘记那些奠定基础的大师们:休哈特、戴明、朱兰、克劳士比、费根堡姆、石川馨、田口玄一……正是他们的思想和实践,构筑了现代质量管理的核心体系,也深远影响了无数企业和管理者。今天,就让我们一同致敬这些质量管理的先驱!(最近流行『吉卜力风格』AI插图,我们也来玩玩用『吉卜力风格』重绘质量大师画象)1. 休哈特:统计质量控制的奠基者沃尔特·A·休哈特,美国工程师、统计学家,被誉为“统计质量控制之父”。1924年,他提出世界上第一张控制图,并于1931年出版《产品制造质量的经济
    优思学院 2025-04-01 14:02 144浏览
  • 退火炉,作为热处理设备的一种,广泛应用于各种金属材料的退火处理。那么,退火炉究竟是干嘛用的呢?一、退火炉的主要用途退火炉主要用于金属材料(如钢、铁、铜等)的热处理,通过退火工艺改善材料的机械性能,消除内应力和组织缺陷,提高材料的塑性和韧性。退火过程中,材料被加热到一定温度后保持一段时间,然后以适当的速度冷却,以达到改善材料性能的目的。二、退火炉的工作原理退火炉通过电热元件(如电阻丝、硅碳棒等)或燃气燃烧器加热炉膛,使炉内温度达到所需的退火温度。在退火过程中,炉内的温度、加热速度和冷却速度都可以根
    锦正茂科技 2025-04-02 10:13 57浏览
  • 北京贞光科技有限公司作为紫光同芯授权代理商,专注于为客户提供车规级安全芯片的硬件供应与软件SDK一站式解决方案,同时配备专业技术团队,为选型及定制需求提供现场指导与支持。随着新能源汽车渗透率突破40%(中汽协2024数据),智能驾驶向L3+快速演进,车规级MCU正迎来技术范式变革。作为汽车电子系统的"神经中枢",通过AEC-Q100 Grade 1认证的MCU芯片需在-40℃~150℃极端温度下保持μs级响应精度,同时满足ISO 26262 ASIL-D功能安全要求。在集中式
    贞光科技 2025-04-02 14:50 95浏览
  • 在智能交互设备快速发展的今天,语音芯片作为人机交互的核心组件,其性能直接影响用户体验与产品竞争力。WT588F02B-8S语音芯片,凭借其静态功耗<5μA的卓越低功耗特性,成为物联网、智能家居、工业自动化等领域的理想选择,为设备赋予“听得懂、说得清”的智能化能力。一、核心优势:低功耗与高性能的完美结合超低待机功耗WT588F02B-8S在休眠模式下待机电流仅为5μA以下,显著延长了电池供电设备的续航能力。例如,在电子锁、气体检测仪等需长期待机的场景中,用户无需频繁更换电池,降低了维护成本。灵活的
    广州唯创电子 2025-04-02 08:34 141浏览
  • 随着汽车向智能化、场景化加速演进,智能座舱已成为人车交互的核心承载。从驾驶员注意力监测到儿童遗留检测,从乘员识别到安全带状态判断,座舱内的每一次行为都蕴含着巨大的安全与体验价值。然而,这些感知系统要在多样驾驶行为、复杂座舱布局和极端光照条件下持续稳定运行,传统的真实数据采集方式已难以支撑其开发迭代需求。智能座舱的技术演进,正由“采集驱动”转向“仿真驱动”。一、智能座舱仿真的挑战与突破图1:座舱实例图智能座舱中的AI系统,不仅需要理解驾驶员的行为和状态,还要同时感知乘员、儿童、宠物乃至环境中的潜在
    康谋 2025-04-02 10:23 77浏览
  • 职场之路并非一帆风顺,从初入职场的新人成长为团队中不可或缺的骨干,背后需要经历一系列内在的蜕变。许多人误以为只需努力工作便能顺利晋升,其实核心在于思维方式的更新。走出舒适区、打破旧有框架,正是让自己与众不同的重要法宝。在这条道路上,你不只需要扎实的技能,更需要敏锐的观察力、不断自省的精神和前瞻的格局。今天,就来聊聊那改变命运的三大思维转变,让你在职场上稳步前行。工作初期,总会遇到各式各样的难题。最初,我们习惯于围绕手头任务来制定计划,专注于眼前的目标。然而,职场的竞争从来不是单打独斗,而是团队协
    优思学院 2025-04-01 17:29 191浏览
  • 据先科电子官方信息,其产品包装标签将于2024年5月1日进行全面升级。作为电子元器件行业资讯平台,大鱼芯城为您梳理本次变更的核心内容及影响:一、标签变更核心要点标签整合与环保优化变更前:卷盘、内盒及外箱需分别粘贴2张标签(含独立环保标识)。变更后:环保标识(RoHS/HAF/PbF)整合至单张标签,减少重复贴标流程。标签尺寸调整卷盘/内盒标签:尺寸由5030mm升级至**8040mm**,信息展示更清晰。外箱标签:尺寸统一为8040mm(原7040mm),提升一致性。关键信息新增新增LOT批次编
    大鱼芯城 2025-04-01 15:02 189浏览
  • 文/郭楚妤编辑/cc孙聪颖‍不久前,中国发展高层论坛 2025 年年会(CDF)刚刚落下帷幕。本次年会围绕 “全面释放发展动能,共促全球经济稳定增长” 这一主题,吸引了全球各界目光,众多重磅嘉宾的出席与发言成为舆论焦点。其中,韩国三星集团会长李在镕时隔两年的访华之行,更是引发广泛热议。一直以来,李在镕给外界的印象是不苟言笑。然而,在论坛开幕前一天,李在镕却意外打破固有形象。3 月 22 日,李在镕与高通公司总裁安蒙一同现身北京小米汽车工厂。小米方面极为重视此次会面,CEO 雷军亲自接待,小米副董
    华尔街科技眼 2025-04-01 19:39 192浏览
  • 探针本身不需要对焦。探针的工作原理是通过接触被测物体表面来传递电信号,其精度和使用效果取决于探针的材质、形状以及与检测设备的匹配度,而非对焦操作。一、探针的工作原理探针是检测设备中的重要部件,常用于电子显微镜、坐标测量机等精密仪器中。其工作原理主要是通过接触被测物体的表面,将接触点的位置信息或电信号传递给检测设备,从而实现对物体表面形貌、尺寸或电性能等参数的测量。在这个过程中,探针的精度和稳定性对测量结果具有至关重要的影响。二、探针的操作要求在使用探针进行测量时,需要确保探针与被测物体表面的良好
    锦正茂科技 2025-04-02 10:41 56浏览
  • 文/Leon编辑/cc孙聪颖‍步入 2025 年,国家进一步加大促消费、扩内需的政策力度,家电国补政策将持续贯穿全年。这一利好举措,为行业发展注入强劲的增长动力。(详情见:2025:消费提振要靠国补还是“看不见的手”?)但与此同时,也对家电企业在战略规划、产品打造以及市场营销等多个维度,提出了更为严苛的要求。在刚刚落幕的中国家电及消费电子博览会(AWE)上,家电行业的竞争呈现出胶着的态势,各大品牌为在激烈的市场竞争中脱颖而出,纷纷加大产品研发投入,积极推出新产品,试图提升产品附加值与市场竞争力。
    华尔街科技眼 2025-04-01 19:49 199浏览
  • 引言在语音芯片设计中,输出电路的设计直接影响音频质量与系统稳定性。WT588系列语音芯片(如WT588F02B、WT588F02A/04A/08A等),因其高集成度与灵活性被广泛应用于智能设备。然而,不同型号在硬件设计上存在关键差异,尤其是DAC加功放输出电路的配置要求。本文将从硬件架构、电路设计要点及选型建议三方面,解析WT588F02B与F02A/04A/08A的核心区别,帮助开发者高效完成产品设计。一、核心硬件差异对比WT588F02B与F02A/04A/08A系列芯片均支持PWM直推喇叭
    广州唯创电子 2025-04-01 08:53 183浏览
我要评论
0
0
点击右上角,分享到朋友圈 我知道啦
请使用浏览器分享功能 我知道啦