英特尔Gaudi 2E助力DeepSeek-V3.1大模型高效部署 推理性能显著提升
时间:2025-08-27 16:47:59 来源:网络

近日,DeepSeek-V3.1正式发布,新版本引入混合推理架构,可同时支持思考模式与非思考模式,显著提升响应效率与任务处理能力。该模型在Agent任务执行和工具调用等方面也实现了明显进步。

作为DeepSeek-V3.1的重要硬件支持,英特尔Gaudi 2E AI加速器现已为该模型提供深度优化,从训练到推理实现全流程高效支撑。Gaudi 2E以出色的性能与成本效益,为大模型落地提供了新的高性价比选择。

Gaudi 2E配备96GB大容量内存,搭载先进HBM控制器,在线性访问和随机访问等场景中均进行了针对性优化,有效降低AI任务延迟,保障计算流程顺畅稳定。该加速器还具备优秀的可扩展性,支持多卡互联,为用户提供高度灵活的定制化AI解决方案,满足多样化的模型部署需求。

在实际性能测试中,搭载8张英特尔Gaudi 2E的一体机服务器运行DeepSeek-V3.1表现突出:在输入/输出长度均为1K、并发用户数为30的条件下,每个并发生成速度达到10 token/秒;在输入/输出长度为2K、并发用户数为28时,仍可保持10 token/秒的高生成速率。这表明DeepSeek-V3.1在问答和代码生成等任务中具备更稳定、高效的综合能力。

英特尔表示,未来将继续通过开放架构、技术支持和生态合作,推动AI产业创新与发展,加速大模型技术实现广泛落地和普惠应用。


声明:登载此文出于传递更多信息之目的,并不意味着赞同其观点或证实其描述。

如涉及作品内容、版权和其它问题,请在30日内与本网联系,我们将在第一时间删除内容,本网站对此声明具有最终解释权。


关于我们

    欢迎来到 173183 资讯平台 —— 游戏党、数码控和汽车迷的专属信息集结地!

    咱这儿专治各种 “信息荒”:游戏圈的新瓜旧料咱全兜着,新游预告、版本更新、赛事骚操作,保证让你比队友先一步摸到版本密码;数码圈的新鲜货更别错过,小到能塞进兜的耳机,大到能压垮桌的主机,新品解析、性能扒皮,帮你躲开商家的 “彩虹屁”;汽车圈的瓜也管够,新车上市、技术突破、政策变动,不管是喝油的、用电的还是只存在于图纸上的,都给你唠得明明白白。

    咱不整那些云里雾里的词儿,专业干货全给你嚼碎了说。管你是抱着手柄的硬核玩家,揣着拆机组装的数码狂魔,还是对着仪表盘流口水的汽车迷,来了就别走,保准有你的菜!

    违法和不良信息举报:60178@qq.com