微软推出Phi-3,迄今为止最小的人工智能模型

🤖 由 文心大模型 生成的文章摘要

微软推出了轻量级人工智能模型Phi-3 Mini下一版本,这是该公司计划发布的三个小型模型中的第一个。

Phi-3 Mini可测量38亿个参数(参数是指模型可以理解多少复杂指令),并在相对于GPT-4等大型语言模型更小的数据集上进行训练。Phi-3 Min已在Azure、Hugging Face和Ollama上提供,微软计划发布Phi-3 Small(7B参数)和Phi-3 Medium(14B参数)。

微软于12月发布了Phi-2,其性能与Llama 2等更大的模型一致。微软表示,Phi-3的性能比之前的版本更先进,并且可以提供接近于比它大10倍模型的响应。

微软Azure AI平台公司副总裁Eric Boyd表示,Phi-3 Mini与GPT-3.5等LLM一样性能强大,“只是体积更小”。

与大型人工智能模型相比,小型人工智能模型通常运行成本更低,并且在手机和笔记本电脑等个人设备上表现更好。The Information今年早些时候报道称,微软正在组建一个专注于轻量级人工智能模型的团队。除了Phi,微软还构建了Orca-Math,专注于解决数学问题的模型。

值得一提的是,微软竞争对手也有小型人工智能模型,其中大多数针对更简单的任务,例如文档摘要或编码辅助。谷歌Gemma 2B和7B非常适合简单的聊天机器人和语言相关处理;Anthropic Claude 3 Haiku可阅读带有图表的密集研究论文并快速总结,而Meta最近发布的 Llama 3 8B可用于聊天机器人和编码辅助。

Boyd表示,开发者通过“课程”对Phi-3进行了培训,灵感来自于孩子们如何从睡前故事、单词更简单的书籍以及谈论更大主题的句子结构中学习。

“市面上没有足够的儿童读物,因此我们列出了3000多个单词的清单,以制作‘儿童读物’LLM来训练Phi。”

Boyd补充,Phi-3建立在之前迭代知识之上。Phi-1专注于编码,Phi-2学习推理,而Phi-3更擅长编码和推理。虽然Phi-3系列模型了解一些常识,但它还无法在广度上击败GPT-4或其他LLM,通过互联网培训的LLM获得的答案与像Phi-3这样的较小模型所得到的答案有很大不同。

「93913原创内容,转载请注明出处」