浪潮信息发布元诺HC1000人工智能服务器,声称其推理成本突破性地降低至每百万代币1元人民币(约0.14美元)。此举旨在突破大规模人工智能代理部署的成本壁垒。
浪潮信息发布了其元诺HC1000超大规模AI服务器,声称已将大型模型推理成本降低至每百万代币1元人民币(约0.14美元)——该公司表示,这一里程碑消除了大规模AI代理部署的一个关键障碍。
浪潮首席人工智能战略官刘军表示,推理过程中GPU利用率通常只有5%到10%,远低于训练工作负载中50%以上的利用率。HC1000通过全对称DirectCom超高速架构和超大规模设计解决了这一效率低下的问题,该设计能够分解计算工作流程并优化资源分配。
刘表示,新架构可以将单卡模型浮点运算利用率 (MFU) 提升高达 5.7 倍,从而显著降低推理成本。他强调,随着令牌消耗呈指数级增长,渐进式的成本优化将不再足够。计算架构必须进行根本性变革,成本效益将成为未来人工智能公司生存的“通行证”。
【公司名称】四川旭辉星创科技有限公司
【销售经理】熊经理
【联系方式】座机:028-85596747 手机:18244236404
【公司地址】四川省成都市武侯区商鼎国际2号楼2单元2203
请用微信扫描二维码