大模型一体机塞进这款游戏卡,价格砍掉一个数量级
- 2025-04-10 10:58
来源:量子位 作者:金磊 梦晨
家人们,你知道近段时间大火的各种大模型一体机,里面到底是什么卡吗?
相信很多小伙伴的第一反应,或许就是N卡。
但在我们接触、体验了真实的大模型一体机之后,发现了一个大写的“万万没想到”:
没错,里面也可以是英特尔的锐炫™ 显卡!
那这性能到底能不能跟上呢?
带着这个问题,在体验之余,我们还“抓”来了一个正在为这种一体机开发方案的软件公司进行了一番“盘问”。
这家公司叫飞致云,主要是把大模型一体机用在了自家的MaxKB上(一款基于大语言模型的知识库问答系统)。
他们是把4张锐炫™ A770显卡和2张N卡放到一起,做了一下对比测试:
但是!
买半张N卡的钱,就能轻松搞定4张锐炫™ 显卡。
由此,飞致云给出了这样一个结论:
一个“性价比”关键词,道破了为什么大模型一体机里面会出现英特尔游戏卡。
毕竟之前企业要私有化部署一个目前最流行的DeepSeek一体机,那个价格可是动辄便破百万元。
但现在,英特尔靠着自家的游戏卡,把这个价格直接就砍掉一个数量级。
因此,现在的大模型一体机,有了另一种更高性价比的选择。
而且有一说一,除了一体机本身,若是聚焦在AI推理的任务上,现在可以说是处处都有锐炫™ 显卡的影子。
##搞AI推理,请记住全新英特尔GPU+CPU组合
首先要说明的一点是,搞大模型一体机,英特尔靠的不仅仅是自家游戏卡那么简单。
它的背后其实是一记组合拳的模式:
英特尔锐炫™ 显卡 + 至强® W处理器。
锐炫™ 显卡在这里面的角色不用多说,主要是推理的“加速器”。
而至强® W处理器不仅能充当“大脑”的角色,来负责通用计算与系统协调,还能在一些开源软件平台,如KTransformer或英特尔自己开发的工具,如FlashMOE的帮助下,与显卡协作进行异构加速,例如在DeepSeek中承担一些稀疏MOE的处理工作。
为了充分发挥锐炫™ 显卡的能力,英特尔通过优化显存带宽(如A770卡间通信达20G/秒)和低时延技术(如内存拷贝优化),解决了多卡并行时的性能损耗问题,提升了吞吐量(如70B模型支持12路实时聊天)。
即便对于不同规模场景,英特尔也能做到适配——从供AGI开发人员使用的工作站(2卡)到装载4卡或8卡的大尺寸一体机,能满足多样化且差异化的需求。
例如我们刚才提到的飞致云的MaxKB,在知识问答、智能客服、内容生成、文档合规检查等场景中就实现了效率提升、成本优化和风险控制。
同时依托高性能硬件解决了AI模型私有化部署与算力需求问题。
除此之外,我们发现还有好多企业都在选择构建英特尔这对CPU与GPU组合的一体机系统、软件或整体解决方案。
超云,便是其中之一。
超云基于英特尔的平台,打造了三种不同形态的设备。
例如适应普通办公环境的塔式工作站、小型液冷一体机,支持包含英特尔锐炫™ 显卡在内的2-4张GPU卡。
再如最高可配8卡的大尺寸高端一体机,可运行32B-70B参数规模的大模型。
据了解,所有这些机型都已经投入到了实际使用当中,主打:
· 企业内部AI助手:超云自身使用开源模型搭建知识库系统,实现自动化报价、报销审批;
· 金融行业智能投顾:基于32B蒸馏模型,提供实时数据分析与投资建议;
· 海量文档处理:使用智能OCR+大模型,实现公文自动归档与检索。
与之类似的还包括云尖。
它推出边缘推理工作站,可支持4张GPU卡,适用7B-32B轻量化模型,可以满足文档OCR、智能质检等企业本地化AI应用。
此外,已经pick英特尔平台的一体机解决方案还有很多,未来可能还会有更多,而如此多合作伙伴的一致选择,也就不难从侧面印证一点:
不论是单纯的AI推理应用,亦或是融合了推理及各种可视化生产力应用的复合场景,英特尔这套组合拳,已然成为了一种业界公认的、高性价比的新选项。
##一体机,为什么纷纷选择英特尔平台?
自春节前DeepSeek-R1惊艳亮相,经过两个多月的沉淀,从行业落地情况来看,明显呈现出一个趋势:
越来越多的企业选择以一体机的形式将DeepSeek融入业务。而这一趋势,也在影响其他大模型落地的“姿式”。
而部署速度快,正是这一趋势得以率先显现的原因。
一方面,得益于一体机开箱即用且方便为各垂直行业深度定制化的特点,预装模型、优化软硬件协同,让企业无需自行复杂调试。
另一方面,启动成本低的优势让企业能先用一体机把大模型跑起来,再慢慢迭代。
当然,对于众多企业而言,在选择一体机时,除了追求速度优势之外,实际上还有着更多深层次、全方位的考量因素,这些因素综合起来影响着企业的决策:
·性能与成本更平衡,运营成本降低
一体机可实现性能与成本的精妙平衡,其凭借强大高效的硬件配置和优化的软件系统,为企业提供稳定高效算力,满足业务需求,避免使用云算力的持续费用,降低运营成本。
·运维简化
传统 IT 系统由多种硬件设备和软件系统组成,运维管理复杂繁琐,企业需投入大量人力、物力和时间进行安装、配置、维护和更新。而一体机将软硬件深度集成为统一整体,简化了运维流程,企业统一管理维护即可应对业务需求和技术挑战,运维效率大幅提高,而管理难度和成本都显著降低。
·稳定可靠
对AI业务而言,连续性和稳定性很重要。一体机软硬件经严格集成测试与优化,能在复杂环境长时间稳定运行。同时可以专机专用,避免云服务在高峰期造成速度和可用性上的波动。
英特尔所推出的锐炫™ 显卡与至强® W处理器的组合,正是一套满足以上因素的极具潜力的解决方案。
像这样的配置,不光能够很好地支持DeepSeek R1系列,同时还与Qwen、Baichuan、Llama等多个开源模型兼容适配。
这意味着在不同的应用场景和业务需求下,这个组合都能灵活应对,为企业带来多样化的选择和更丰富的功能体验。
这些选择,这些体验,目标都只有一个,那就是AI普惠或者说AI无处不在!
站在历史的角度,一体机要承担的使命,正是要将强大的AI模型引入各行各业,这与计算机从大型机时代发展至个人计算机(PC)时代的进程类似。
包括DeepSeek在内的大模型前沿创新企业选择开源,是激发这一进程的起点,而整个进程能否迅速演进,就要靠全行业的共同参与了。
英特尔在此时,就像穿越回了上世纪80年代,那时它曾凭借开放架构和高性价比方案重新定义了PC,并拉着全球的合作伙伴们一手促成了PC真正意义上的“个人化”普及,而今,到了在AI世界复刻这一成功经验的时候了。
- 游戏
相关文章
资讯
- 2天前
AI赋能政务审核提速,易联众智能材料预审平台开启数字政务服务新图景
- 6天前
智能锁行业首届导购大赛收官,德施曼引领行业服务标准升级
- 1周前
标杆效应!比音勒芬AI 战略重塑高端运动服饰行业新格局
- 3周前
Moka AI 探索实践:七年技术深耕,从单点突破到招聘全流程闭环
- 1个月前
AI赋能新一代工业软件,第四届工业软件创新应用大赛颁奖典礼圆满举办
- 1个月前
探索DeepSeek全场景部署实践,优刻得举办AI专题分享会
- 1个月前
神州鲲泰问学一体机DeepSeek版发布:垂直场景深度赋能,破局企业AI落地难题
- 2个月前
易联众“智鼎云帆大模型平台”全面接入DeepSeek
- 2024-12-21
第五届中国人工智能大赛成果发布会成功举办
- 2024-12-13
北京电信聚焦“上云用数” 推动国产算力应用与智算创新发展
- 2024-12-05
讯飞智作超拟人数字人功能全面开放,开启全民定制新潮流
- 2024-11-25
探索未来之路 激发AI创新 “天翼云·息壤杯”高校AI大赛北京区域赛开赛
- 2024-11-24
亚马逊向Anthropic追加40亿美元投资 加速人工智能创新与应用
- 2024-11-24
科大讯飞:拟推首期员工持股计划
- 2024-11-17
彰显青年风采 传承科学家精神 中国科技青年风采荟在浙江温州举行
原创
荐读
-
5G+AR加持 晨星机器人掀起“智能化+人机交互”制造新趋势
2021世界制造业大会于11月22日在合肥落下帷幕。为期四天的大会中,作为向世界展示智能制造全面能力的窗口,联想展示了一系列让人惊喜的创新产品。现场展示的ThinkPad X1 Fold整体重量仅有1公斤,折叠起来之后的厚度大约为24毫米。当保持半开状态时,可以像拿本书一样握住,并且能同时运行两个应用程序。使用固定在中间的键盘之后,瞬间变...
-
智能手机竞争中失败,日本在联网汽车领域举步维艰
据外媒报道,在制造带有数字联网服务的汽车的竞争中,丰田汽车和日产汽车面临着被本土市场拖累的风险。与美国和欧洲的汽车消费者不同的是,日本消费者不愿意为这些联网功能和服务买单。结果就是:日本只有10%的汽车...
-
2020年河南省将推广应用3万台工业机器人
到2020年,推广应用3万台工业机器人,建设1000条智能生产线、300个智能车间、150个智能工厂……4月16日,在2018两岸智能装备制造郑州论坛上,河南省工信委发布了《2017年河南省智能制造白皮书》,河南智能制造的2020...