取消
顯示的結果
而不是尋找
你的意思是:

為短暫的集群etl配置工作節流

RicksDB
因素二世

你好,

是否可以配置工作節流為了隊列工作在一個工作區一定次數後並發執行時使用臨時性集群模式?主要原因是成本控製。我們願意降低性能而不是增加成本如果太多工作由於各種原因執行。

謝謝

9回複9

匿名
不適用

你好@E H -歡迎並感謝您的詢問。我的名字是風笛手,我是一個主持人的磚。讓我們看看其他成員說。如果我們沒有聽到任何東西,我們會回到這個擺動。

匿名
不適用

如果你有一個固定大小的集群中,這將自動發生。隻是不要打開自動定量。

https://docs.www.eheci.com/clusters/configure.html cluster-size-and-autoscaling

RicksDB
因素二世

謝謝你的回答josephk。

然而,這種解決方案並不在我工作。

如果我發射20個不同的工作,我將有20個短暫的集群同時運行。因此,如果他們每次運行5分鍾,我們將承擔100分鍾執行的一項法案。

的想法,例如,有一個最大的可配置的執行時間為每30分鍾。工作之後會排隊。在我的例子中,我可以把我的配置執行時間* 48,它會給我最糟糕的一天。

我也試過一個場景使用池最大的vm。然而,而不是排隊的工作,額外的工作失敗因為新vm無法供應。

目標是能夠預測成本通過計算最壞的情況下在一天之內,確保我們不會超越。現在,我能做到這一點的唯一方法就是使用一個交互式的集群(和支付更多DBU)集群而不是一份工作。

匿名
不適用

為什麼不直接在同一集群上運行所有的工作嗎?這將節省你很多的時間不啟動20集群。

歡迎來到磚社區:讓學習、網絡和一起慶祝

加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。

點擊在這裏注冊今天,加入!

參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。

Baidu
map