取消
顯示的結果
而不是尋找
你的意思是:

MLFlow搜索運行http 429錯誤

賽義德
新的貢獻者二世

我麵臨一個問題在加載毫升工件為一個特定的由搜索的實驗運行特定run_id如下:

https://www.mlflow.org/docs/latest/rest-api.html search-runs

API請求https://eastus-c3.azuredatabricks.net/api/2.0/mlflow/runs/search失敗與異常HTTPSConnectionPool(主機= ' eastus-c3.azuredatabricks.net ',端口= 443):馬克斯重試超過url: / api / 2.0 / mlflow /運行/搜索(ResponseError所致(太多的429錯誤反應的))

#搜索使用filter_string experiment_id與客戶和product_key訂單查詢開始時間= f”參數。product_key = {product_key}和參數。客戶={客戶}”runs_df = mlflow.search_runs([實驗。experiment_id], filter_string =查詢,order_by = [" start_time DESC "]) #獲得最新的運行記錄id run_id = runs_df.run_id.values [0] artifact_uri = runs_df.artifact_uri。值[0]客戶= MlflowClient ()

429是一個HTTP響應狀態碼表示客戶端應用程序已超過速度限製,或他們的請求數量可以在給定的時間內發送。有沒有解決呢?

我運行search_runs pandas_udf函數()API,並在客戶和product_key級別搜索在我dataframe找到適當的記錄為推理模型和工件加載。

推理過程很快,product_keys數量在4000條記錄的範圍,我最終達到MLFlow搜索API每分鍾30 - 40倍左右。

想在這嗎?

1接受解決方案

接受的解決方案

sean_owen
尊敬的貢獻者二世
尊敬的貢獻者二世

是的,你將命中率限製如果你試圖並行查詢API的如此之快。你隻是想在一個實驗操作運行數據與火花?您可以簡單地加載所有數據與spark.read.format DataFrame (“mlflow-experiment”) .load (“…實驗路徑……”)。使用的所有數據可以排序,查詢等(或轉換成熊貓DF如果你想)

在原帖子查看解決方案

3回複3

Kaniz
社區經理
社區經理

你好@賽義德!我的名字叫Kaniz,我這裏的技術主持人。很高興認識你,謝謝你的問題!看看你的同行在社區中有一個回答你的問題。否則我將盡快給你回電。謝謝。

sean_owen
尊敬的貢獻者二世
尊敬的貢獻者二世

是的,你將命中率限製如果你試圖並行查詢API的如此之快。你隻是想在一個實驗操作運行數據與火花?您可以簡單地加載所有數據與spark.read.format DataFrame (“mlflow-experiment”) .load (“…實驗路徑……”)。使用的所有數據可以排序,查詢等(或轉換成熊貓DF如果你想)

賽義德
新的貢獻者二世

謝謝肖恩,這正是我需要打的API。加載實驗和操作運行一次,並根據需要過濾它們。

歡迎來到磚社區:讓學習、網絡和一起慶祝

加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。

點擊在這裏注冊今天,加入!

參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。

Baidu
map