從模型服務端點配置對資源的訪問
重要的
這是一個實驗性的特性和API定義可能會改變。
本文描述了如何配置訪問外部和私人資源從模型服務端點使用磚秘密。
secrets-based環境變量是什麼?
secrets-based環境變量,您可以安全地存儲憑證在磚秘密範圍和引用那些秘密的模型。這允許憑據在服務時間從模型中獲取服務端點。
例如,您可以通過憑證叫OpenAI和其他外部模型端點或訪問外部數據存儲位置直接從模型服務。
磚建議這個功能部署OpenAI和LangChainMLflow口味服務模型。它也適用於其他SaaS模型要求的憑證訪問模式的理解是基於使用環境變量和API密鑰和令牌。
需求
這個功能目前僅支持通過磚REST API。
要使用此功能,您必須存儲憑證喜歡你的API密鑰或其他標記磚的秘密。
端點的創造者必須有讀訪問權配置中引用的磚的秘密。
創建一個秘密範圍
模型服務期間,從磚檢索秘密的秘密秘密的範圍和關鍵。這些獲得分配給秘密環境變量名稱,可以使用內部模型。
首先,創建一個秘密範圍。以下是CLI命令:
磚秘密創建範圍——範圍my_secret_scope
然後您可以添加您所需的秘密的秘密範圍和主要如下所示:
磚秘密把——範圍my_secret_scope——關鍵my_secret_key
秘密信息和環境變量的名稱可以傳遞給您的端點配置在端點創建或更新現有的配置端點。
添加秘密範圍端點配置
在模型服務端點創建和配置更新,你可以提供一個列表的秘密環境變量為每個服務規範模型內部API請求使用env_vars字段。下麵的例子分配價值從秘密提供的代碼中創建環境變量OPEN_API_KEY。
下麵是一個示例創建一個服務端點。看到創建和管理模式服務端點
POST / api / 2.0 / serving-endpoints{“名稱”:“feed-ads”,“配置”:{“served_models”:[{“model_name”:“ads1”,“model_version”:“1”,“workload_size”:“小”,“scale_to_zero_enabled”:真的,“env_vars”:[{“env_var_name”:“OPENAI_API_KEY”,“secret_scope”:“my_secret_scope”,“secret_key”:“my_secret_key”})})}}
你也可以更新服務端點,就像下麵的例子:
把/ api / 2.0 / serving-endpoints /{的名字}/配置{“served_models”:[{“model_name”:“ads1”,“model_version”:“2”,“workload_size”:“小”,“scale_to_zero_enabled”:真的,“env_vars”:[{“env_var_name”:“OPENAI_API_KEY”“secret_scope”:“my_secret_scope”,“secret_key”:“my_secret_key”})})}
服務端點創建或更新後,模型自動獲取的密鑰數據磚秘密範圍和填充模型推理代碼使用環境變量。
重要的
模型服務並不會自動上升變化env_vars規範。如果隻env_vars規範更新,沒有新的部署更新,以反映這些變化。您必須創建一個新的端點或更新計算配置的端點。