异构智算产业生态联盟携手众多生态合作伙伴齐聚燧弘华创庆阳绿色智算中心,共同见证了DeepSeek大模型落地取得的重大突破。在此次活动中,联想与燧弘华创的合作成果尤为引人注目,双方携手搭建的万全异构智算平台,成功突破算力瓶颈,在3000并发的高负载情况下,DeepSeek大模型的总吞吐量超过8000 tokens/s,为提升用户体验注入了强大动力。
燧弘华创庆阳绿色智算中心作为区域算力发展的关键力量,自成立以来便致力于为各类AI 应用提供坚实的算力支撑。而联想作为全球领先的科技企业,在AI基础设施领域有着深厚的技术积累与丰富的实践经验。此次双方强强联合,旨在通过技术创新解决当前大模型应用中面临的算力难题。
为了实现这一目标,联想与燧弘华创的技术团队进行了深入协作,采取了一系列创新举措。在硬件层面,联想问天WA5480 G3服务器搭载了第四代英特尔®至强®可扩展处理器,为平台提供了强劲的计算核心。
同时,通过访存优化技术,大幅提升了数据访问速度,减少了数据读取延迟,让处理器能够更快地获取所需数据进行运算。显存优化方面,对GPU显存的管理与调度进行了精细优化,确保在大规模并发运算时,显存能够高效利用,避免了因显存不足或使用不合理导致的性能下降。PCIe 5.0全互联架构创新则进一步提升了数据传输带宽,使得服务器内部各组件之间的数据交互更加顺畅,为大模型的高效运行提供了有力保障。
在软件框架层面,技术团队精选SGLang框架中性能最优算子,对大模型的算法执行过程进行了深度优化。这些性能最优算子能够以更高的效率执行模型的计算任务,从而在整体上提升大模型的运行性能。通过这一系列从硬件到软件的全方位优化,单机服务器运行大模型的性能实现了质的飞跃,在3000并发这一严苛条件下,总吞吐量成功突破8000 tokens/s,持续为 DeepSeek 满血版用户带来更加流畅、高效的使用体验。