Meta推出Llama 3.2:适用于边缘和移动设备的小型AI模型

🤖 由 文心大模型 生成的文章摘要

Meta推出了其广受欢迎的开源AI模型Llama的新版本,其中小型和中型模型能够为边缘和移动设备工作负载提供支持。

Llama 3.2在Meta年度Connect大会上展出,其能够支持多语言文本生成和图像识别等视觉应用。

Meta首席执行官马克·扎克伯格表示:“这是我们的第一个开源多模式模型,它将支持许多需要视觉理解的应用。”

Llama 3.2延续了7月底发布的大规模开源模型Llama 3.1。

Llama 3.1是历史上最大的开源AI 模型,拥有高达4050亿个参数——参数是AI模型中可调整的变量,可帮助其从数据中学习模式。其规模反映了AI理解和生成类似人类文本的复杂性和能力。

Meta Connect 2024上发布的Llama 3.2模型尺寸要比Llama 3.1要小得多。Meta表示,之所以选择设计较小的模型,是因为并非所有研究人员都拥有运行像Llama 3.1这样庞大的模型所需的大量计算资源和专业知识。

LLama 3.2具有多种规模,从10亿个参数到900亿个参数不等。

它们分为两个部分-小型(1B和3B),设计轻巧,只能处理文本输入;可以安装在边缘设备和移动设备上,从而支持在设备上处理输入。

1B和3B Llama 3.2模型最多可支持128K个标记(约96240个单词),并在边缘运行的摘要、指令追踪和重写任务等用例中实现最先进的性能。

Meta表示,在本地运行模型的能力更安全,因为数据不会被发送到云端,而且处理速度很快,使得响应“感觉是即时的”。

较小的型号可以在高通和联发科硬件上运行,并且经过特别优化以在基于Arm的处理器上运行。

中型系统的大小为110亿和900亿个参数,是多模式的,这意味着它们能够处理文本以外的输入,例如图像等视觉输入。

更大尺寸的3.2模型可以同时接受图像和文本提示,同时还可以根据输入的组合更好理解和推理。

例如,中型Llama 3.2模型可用于理解图表和图形等用例,使企业能基于模型来深入了解财务报表上的销售数据。

在性能方面,Meta新款Llama 3.2模型可与Anthropic和OpenAI的行业领先系统相媲美。

3B模型在指令遵循和内容摘要等任务上的表现优于谷歌Gemma 2 2.6B和微软Phi 3.5-mini。

其中最大的模型90B版本在多种基准测试中均优于Claude 3-Haiku和GPT-4o-mini,其中包括流行的MMLU测试,这是业界领先的AI模型评估工具。

由于Meta LLama模型可供任何人使用,因此Meta已采取措施确保模型的安全可靠。

在之前的防护措施基础上,Meta引入了新的Guard功能,以支持中型模型的图像理解;除此之外,还引入了一系列过滤器,防止某些文本和影响输出发生在特定提示中。

较小尺寸的Llama 3.2型号配备了优化的Llama Guard,进一步缩小了体积。Llama Guard 3 1B 本质上是10亿参数3.2版本的“精简版”,但功能更基础,体积也更小——从2858 MB缩小到只有438 MB,使其能够装入消费级USB记忆棒。

「93913原创内容,转载请注明出处」