亚马逊SageMaker AI新增OpenAI兼容API:改个URL就能迁移

核心看点:

  • SageMaker实时推理端点兼容OpenAI API格式
  • 同一端点可托管多个模型,用相同SDK访问
  • 支持Bearer Token认证,简化安全访问

亚马逊AWS今天给SageMaker AI加了个实用功能——实时推理端点现在兼容OpenAI API格式。这意味着什么?如果你之前用OpenAI的代码,现在只要把URL改成SageMaker的端点,其他代码基本不用动。

多模型托管也是个亮点。你可以在一个端点上部署多个模型,用同一套OpenAI SDK就能切换调用,不用为每个模型写不同的接入代码。

认证方面支持Bearer Token,安全性有保障。对已经在AWS生态里的企业来说,这个更新让模型迁移和实验成本大幅降低,想试试自研模型或者开源模型的门槛更低了。

本文地址:https://www.163264.com/12101

(0)
上一篇 3小时前
下一篇 3小时前

相关推荐