Lambda推出“推理即服务”API,宣称成本为人工智能行业最低

🤖 由 文心大模型 生成的文章摘要

Lambda是一家成立12年的旧金山公司,以向机器学习研究人员以及AI模型构建者和训练人员按需提供图形处理单元(GPU)而闻名。

如今,该公司推出了Lambda Inference API (应用程序编程接口),将其产品更进一步,该公司声称这是市场上同类服务中成本最低的。该API允许企业将AI模型和应用程序部署到最终用户的生产中,而无需担心采购或维护计算。

此次发布补充了Lambda目前专注于提供用于训练和微调机器学习模型的GPU集群的重点。

Lambda营收副总裁Robert Brooks表示:“我们的平台完全垂直化,这意味着与OpenAI等其他供应商相比,我们可以为最终用户节省大量成本。此外,没有任何速率限制会阻碍扩展,无需与销售人员交谈即可开始使用。”

事实上,正如Robert所描述,开发者可前往Lambda新推理API网页,生成API密钥,并在不到五分钟的时间内开始使用。

Lambda推理API支持Meta Llama 3.3和3.1、Nous Hermes-3和阿里通义千问2.5等前沿模型。对于较小的模型(例如Llama-3.2-3B-Instruct),起价为每百万个代币0.02美元,而对于较大的、最先进的模型(例如Llama 3.1-405B-Instruct),则最高价格为每百万个代币0.90美元。

正如Lambda联合创始人兼首席执行官Stephen Balaban所说,“开始使用Lambda进行LLM推理吧。”Balaban发布了一张图表,显示了其与该领域竞争对手相比,通过推理提供AI模型的每代币成本。

此外,与许多其他服务不同,Lambda即用即付模式确保客户只需为使用的代币付费,从而无需订阅或限速计划。

「93913原创内容,转载请注明出处」