取消
顯示的結果
而不是尋找
你的意思是:

的曆史數據科學與工程服務集群上執行代碼

rendorHaevyn
新的貢獻者二世

我希望能夠查看任何或所有的清單如下:

  • 當筆記本連接/分離和DS&E集群
  • 當筆記本是DS&E集群上執行代碼
  • 筆記本什麼特定的細胞代碼是DS&E集群上執行

這是目前可能嗎?

我已經探索了使用集群和工作/運行api,但是,這些並沒有解決特別的筆記本執行代碼,但隻有工作/工作流。

雖然看起來功能後,我可以在磚SQL服務倉庫,我需要相同的功能為DS&E集群。

這個需求是確定什麼代碼的原因和筆記本前調整和擴展磁盤大小事件立即引發特定DS&E集群。

謝謝。

1接受解決方案

接受的解決方案

Atanu
尊敬的貢獻者
尊敬的貢獻者
4回複4

Debayan
尊敬的貢獻者三世
尊敬的貢獻者三世

你好,你是說如果你想通過UI列表,然後目前還不能使用。

請標記@Debayan與你的下一個反應會通知我。謝謝你!

rendorHaevyn
新的貢獻者二世

@Debayan穆克吉

正確——某種API訪問將是好的,如以下代碼。

所以,我能夠構造一個dataframe對指定集群的所有查詢,或者至少確定哪些細胞/筆記本電腦連接到集群上執行,具體日期時間。

從databricks_cli.sdk。api_client從databricks_cli進口ApiClient。< <模塊> >。api從databricks_cli.clusters進口< < ClusterHistoryAPI > >。api導入ClusterApi api_client = ApiClient(主機= DATABRICKS_HOST,令牌= DATABRICKS_TOKEN) clusters_api = ClusterApi (api_client) cluster_history_api = ClusterHistoryApi (api_client) #即:這是DS&E api提供曆史訪問集群cluster_id = clusters_api.get_cluster_by_name (DataSciEng_Service_ClusterName) . get (cluster_id) cluster_code_exec_history = clusters_history_api。get_events (cluster_id unix_start unix_end, ASC,”, 0500) . get (code_execution_history) #即:所有代碼段的曆史/細胞/筆記本電腦上執行指定集群DS&E df = spark.read.json (sc.parallelize (cluster_code_exec_history)) #利潤

Atanu
尊敬的貢獻者
尊敬的貢獻者

從UIhttps://docs.www.eheci.com/notebooks/notebooks-code.html版本控製檢查版本控製的最好方法。

順便問一下,你們看到這有幫助//www.eheci.com/blog/2022/11/02/monitoring-notebook-command-logs-static-analysis-tools.ht..。@Cameron麥克弗森嗎?

rendorHaevyn
新的貢獻者二世

@Atanu Sarkar是的,你的建議將工作,謝謝。

歡迎來到磚社區:讓學習、網絡和一起慶祝

加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。

點擊在這裏注冊今天,加入!

參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。

Baidu
map