創建和管理Serverless實時推理端點

使用API

您可以使用啟用服務API來創建一個服務端點模型。在接下來的例子中,ElasticNet的名稱注冊模型。

文章https:// < databricks-instance > / api / 2.0 /預覽/ mlflow / endpoints-v2 /啟用{“registered_model_name”:“ElasticNet”}

使用用戶界麵

你讓一個模型為其服務注冊頁麵模型磚的機器學習的UI。

1. 單擊服務選項卡。如果模型是服務尚未啟用,使Serverless實時推理按鈕出現。

2. 點擊使Serverless實時推理。服務選項卡出現了狀態顯示為等待。幾分鍾後,狀態更改好了。

使用API

配置的狀態更新可以跟蹤config_update_status場的端點版本狀態。

把/預覽/ model-serving-api / endpoints-v2 / update-compute-config

在下麵,填充desired_workload_config_spec與WorkloadConfigSpec屬性。

{“registered_model_name”:“ElasticNet”,“舞台”:“登台|生產”,“desired_workload_config_spec”:{“WorkloadConfigSpec”}}

使用用戶界麵

啟用一個端點模型之後,您可以設置所需的計算上的配置計算設置選項卡。你可以設置單獨的配置登台和生產模型版本。

你可以選擇從幾個工作量大小,自動定量自動配置在工作負載的大小。如果你想端點縮減為零,你可以檢查複選框標題為“規模為零”。

請求格式

請求應該被發送通過構造一個JSON與下麵的一個鍵和一個JSON對象對應的輸入格式。

有四個輸入JSON格式取決於您的用例:

• dataframe_splitjson序列化熊貓Dataframe在嗎分裂取向。

  {“dataframe_split”:{“指數”:(0,1),“列”:(“花萼長度(厘米)”,“花萼寬(cm)”,“花瓣長度(厘米)”,“花瓣寬度(cm)”),“數據”:[[5.1,3.5,1.4,0.2),(4.9,3.0,1.4,0.2]]}}

• dataframe_recordsjson序列化熊貓Dataframe在嗎記錄取向。

  請注意

  這種格式不能保證保存列排序,和分裂格式是首選的記錄格式。

  {“dataframe_records”:({“花萼長度(厘米)”:5.1,“花萼寬(cm)”:3.5,“花瓣長度(厘米)”:1.4,“花瓣寬度(cm)”:0.2},{“花萼長度(厘米)”:4.9,“花萼寬(cm)”:3,“花瓣長度(厘米)”:1.4,“花瓣寬度(cm)”:0.2},{“花萼長度(厘米)”:4.7,“花萼寬(cm)”:3.2,“花瓣長度(厘米)”:1.3,“花瓣寬度(cm)”:0.2}]}

• 實例張量是一種tensors-based格式,接受行格式。使用此格式如果所有輸入張量有相同的六月十維度。從概念上講,每個實例列表中的張量可以與其他同名的張量列表的其餘部分來構建完整的輸入張量模型,這隻會是可能的如果所有的張量有相同的六月十維度。

  {“實例”:(“一個”,“b”,“c”]}

  或

  在下麵的例子中,有三個維度,具體每個輸入三個張量。

  {“實例”:({“t1”:“一個”,“t2”:(1,2,3,4,5),“t3”:[[1,2),(3,4),(5,6]]},{“t1”:“b”,“t2”:(6,7,8,9,10),“t3”:[[7,8),(9,10),(11,12]]}]}

• 輸入發送查詢與張量柱狀格式。這實際上要求是不同的,因為有一個不同數量的張量的實例t2(3)比t1和t3,所以它代表的輸入是不可能的實例格式。

  {“輸入”:{“t1”:(“一個”,“b”),“t2”:[[1,2,3,4,5),(6,7,8,9,10),(11,12,13,14,15]],“t3”:[[[1,2),(3,4),(5,6]],[[7,8),(9,10),(11,12]]]}}

響應格式

端點的響應是在以下格式。模型的輸出是包裹在一個“預測”鍵。

{“預測”:“從模型> < JSON輸出”}

使用用戶界麵

發送請求使用UI是最簡單快捷的方法來測試模型。你可以插入模型以JSON格式輸入數據並單擊發送請求。如果模型記錄了一個輸入的例子(如圖形所示上圖),點擊顯示的例子加載輸入示例。

使用API

你可以發送一個請求通過REST API使用得分標準磚的身份驗證。下麵的例子演示使用個人身份驗證訪問令牌。

給定一個MODEL_VERSION_URI就像https:// < databricks-instance > /模型/ iris-classifier /生產/調用,在那裏< databricks-instance >是磚實例的名稱和磚REST API的令牌DATABRICKS_API_TOKEN,下麵是例子的片段如何評分模型。

curl - x POST - u令牌:DATABRICKS_API_TOKEN美元MODEL_VERSION_URI美元\- h“application / json內容類型:\- d{“dataframe_records”:({“sepal_length”: 5.1,“sepal_width”: 3.5,“petal_length”: 1.4,“petal_width”: 0.2}]}’

curl - x POST - u令牌:DATABRICKS_API_TOKEN美元MODEL_VERSION_URI美元\- h“application / json內容類型:\- d{“輸入”:[[5.1,3.5,1.4,0.2]]}”

進口numpy作為np進口熊貓作為pd進口請求defcreate_tf_serving_json(數據):返回{“輸入”:{的名字:數據(的名字]。tolist()為的名字在數據。鍵()}如果isinstance(數據,dict)其他的數據。tolist()}defscore_model(model_uri,databricks_token,數據):頭={“授權”:f“不記名{databricks_token}”,“內容類型”:“application / json”,}data_json=json。轉儲({“dataframe_records”:數據。to_dict(東方=“記錄”)})如果isinstance(數據,pd。DataFrame)其他的create_tf_serving_json(數據)響應=請求。請求(方法=“職位”,頭=頭,url=model_uri,json=data_json)如果響應。status_code! =200年:提高異常(f“請求失敗狀態{響應。status_code},{響應。文本}”)返回響應。json()#接受大熊貓DataFrames評分模型數據=pd。DataFrame([{“sepal_length”:5.1,“sepal_width”:3.5,“petal_length”:1.4,“petal_width”:0.2}))score_model(MODEL_VERSION_URI,DATABRICKS_API_TOKEN,數據)#得分一個接受張量的模型數據=np。asarray([[5.1,3.5,1.4,0.2]])score_model(MODEL_VERSION_URI,DATABRICKS_API_TOKEN,數據)

看到以下筆記本為例如何測試你的Serverless實時推理端點與Python模型:

保持在一個階段多個版本

你也可以選擇繼續前麵的登台版本的登台。一個模型的多個版本可以在同一個階段。在這種情況下,兩個版本都提供,但隻能分期URL點最新的的版本。老版本仍然可以訪問的URL。

如果你想嚐試一個新版本在你舉辦端點,你可以做上麵的一樣,但集archive_existing_versions來假確保前麵的臨時版本不會存檔。

POST / mlflow /磚/模型版本/過渡階段{…“archive_existing_versions”:假的,…}

舞台上的地位

你也可以得到一個特定階段的地位。要做到這一點,首先需要確定哪些目前服務端點版本階段。獲取這些信息,您可以使用ListVersionAliases。

/ / mlflow / endpoints-v2預覽/ list-version-aliases

{“registered_model_name”:“ElasticNet”}

這將返回:

{“別名”:({“別名”:“暫存”,“endpoint_version_name”:“2”},{“別名”:“生產”,“endpoint_version_name”:“1”}]}

從那裏,您可以使用上麵的特定端點的狀態版本。