MLFlow搜索運行http 429錯誤

[賽義德]

我麵臨一個問題在加載毫升工件為一個特定的由搜索的實驗運行特定run_id如下:

https://www.mlflow.org/docs/latest/rest-api.html search-runs

API請求https://eastus-c3.azuredatabricks.net/api/2.0/mlflow/runs/search失敗與異常HTTPSConnectionPool(主機= ' eastus-c3.azuredatabricks.net ',端口= 443):馬克斯重試超過url: / api / 2.0 / mlflow /運行/搜索(ResponseError所致(太多的429錯誤反應的))

#搜索使用filter_string experiment_id與客戶和product_key訂單查詢開始時間= f”參數。product_key = {product_key}和參數。客戶={客戶}”runs_df = mlflow.search_runs([實驗。experiment_id], filter_string =查詢,order_by = [" start_time DESC "]) #獲得最新的運行記錄id run_id = runs_df.run_id.values [0] artifact_uri = runs_df.artifact_uri。值[0]客戶= MlflowClient ()

429是一個HTTP響應狀態碼表示客戶端應用程序已超過速度限製,或他們的請求數量可以在給定的時間內發送。有沒有解決呢?

我運行search_runs pandas_udf函數()API,並在客戶和product_key級別搜索在我dataframe找到適當的記錄為推理模型和工件加載。

推理過程很快,product_keys數量在4000條記錄的範圍,我最終達到MLFlow搜索API每分鍾30 - 40倍左右。

想在這嗎?

[Kaniz]

你好@賽義德!我的名字叫Kaniz,我這裏的技術主持人。很高興認識你,謝謝你的問題!看看你的同行在社區中有一個回答你的問題。否則我將盡快給你回電。謝謝。

[sean_owen · Accepted solution]

是的,你將命中率限製如果你試圖並行查詢API的如此之快。你隻是想在一個實驗操作運行數據與火花?您可以簡單地加載所有數據與spark.read.format DataFrame (“mlflow-experiment”) .load (“…實驗路徑……”)。使用的所有數據可以排序,查詢等(或轉換成熊貓DF如果你想)

[賽義德]

謝謝肖恩,這正是我需要打的API。加載實驗和操作運行一次,並根據需要過濾它們。