取消
顯示的結果
而不是尋找
你的意思是:

磚集群的發射時間

Farzana
新的因素

嗨,團隊,

我們有一個@adf管道將運行一些組活動# Azure磚筆記本之前被調用。當筆記本被稱為我們的管道將推出一個新的集群的每一份工作的工作計算標準與單個工人F4節點。啟動集群本身正在~ 7分鍾這增加了整體ADF管道運行時。

你能建議一個解決方案來減少集群啟動時間?

注意:我們的ADF管道有一個基於事件觸發將運行,有一個文件ADLS。我們不能有一個集群創建和運行所有的時間,因為它影響成本。

謝謝

3回複3

Kaniz
社區經理
社區經理

@Farzana,如果集群池有足夠的空閑實例和人工製品存儲的圖像下載較慢不是問題,然後可以做一些事情來減少集群啟動時間。

  • 預加載的運行時實例池來改善這個問題。
  • 研究節點守護進程的日誌來識別任何問題耽誤了。
  • 檢查任何自定義配置和火花庫可能導致這個問題。

Farzana
新的因素

@Kaniz謝謝你的回應。請你你什麼意思說明通過預加載運行時實例池?

甚至集群池需要連續運行(沒有特定的時間段為文件來定義ADLS)為了減少集群的發射時間為每一個工作,這樣對所有ADF管道運行時可以快速。不是嗎?

請幫我在理解“預加載運行時實例池”

謝謝

Kaniz
社區經理
社區經理

@Farzana,預加載的運行時實例池是一種功能,允許選擇一個特定版本的運行時加載在空閑實例池。這可以加快pool-backed集群啟動和減少集群啟動和自動伸縮。通過選擇一個預加載的火花版本,一個集群可以啟動比pool-backed集群更迅速,不使用一個預加載的版本。這個特性可以提高集群開始時間,客戶正在經曆緩慢。上可用的特性是磚作為艦隊的實例。

來源:
- - - - - -https://docs.www.eheci.com/release-notes/product/2019/july.html
- - - - - -https://docs.www.eheci.com/clusters/pools.html
- - - - - -https://docs.www.eheci.com/compute/aws-fleet-instances.html

歡迎來到磚社區:讓學習、網絡和一起慶祝

加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。

點擊在這裏注冊今天,加入!

參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。

Baidu
map