阿里云最新的语言模型系列推出后不久,凭借其增强的性能和改进的安全性,荣登了开源LLM排行榜榜首。
Qwen2模型系列包含许多基础语言模型和指令调整语言模型,大小从0.5到720亿个参数,以及MoE模型。
其更新后的功能使Qwen2模型在协作人工智能平台Hugging Face开放LLM排行榜上名列第一,该模型可用于商业或研究目的。另外,Qwen2模型也适用于阿里云AI模型社区ModelScope。
阿里云首席技术官周靖人表示:“我们希望打造AI时代最开放的云,让算力更普惠、让AI更触手可及。”
得益于阿里云优化的训练方法,大模型Qwen2-72B在语言理解、语言生成、多语言能力、编码、数学和推理等15个基准测试中超越了其他领先开源模型。
此外,Qwen2-72B表现出令人印象深刻的处理长达128K个标记的上下文长度的能力,这是模型在生成文本时可以记住的最大标记数。
为了增强多语言能力,Qwen 2训练除了中文和英语,还涵盖了27种语言,包括德语、意大利语、阿拉伯语、波斯语和希伯来语。
不仅如此,Qwen2模型采用了Group Query Attention技术,优化了计算效率和模型性能之间的平衡,因此在模型推理中速度更快,内存占用更少。
Qwen2模型除了在数学和语言学方面表现出色之外,其输出还表现出与人类价值观更好的一致性。在MT-bench等基准测试上的比较性能表明,Qwen2在人类偏好的两个关键要素上得分很高。MT-bench是一套多轮问题集,用于评估聊天机器人的多轮对话和指令遵循能力。
通过融入人类反馈以更好与人类价值观保持一致,这些模型在安全性和责任感方面取得了良好表现,能够处理与欺诈和侵犯隐私等非法活动相关的多语言不安全查询,以防止模型被滥用。
就较小的模型而言,Qwen2-7B在包括编码在内的基准测试中也胜过其他类似尺寸的先进模型。