增強的自動定量是多少?
預覽
這個特性是在公共預覽。
磚增強自動定量優化集群利用率通過自動配置集群資源根據工作負載體積,與數據處理影響最小延遲你的管道。
增強自動定量改善磚集群自動定量功能具有以下特點:
增強自動定量實現優化流工作負載,並添加對改善批處理工作負載的性能的增強。通過添加或刪除機器增強自動定量優化成本隨著負載的變化。
增強自動定量主動關閉節點利用率低下,同時保證在關閉沒有失敗的任務。現有的集群自動定量特征尺度節點隻有在節點空閑。
增強自動定量是默認的自動定量模式當你創建一個新的管道在三角洲地區的生活表UI。您可以啟用增強自動定量供編輯現有管道管道設置在UI中。你也可以啟用增強自動定量當您創建或編輯管道與三角洲住表API。
啟用增強自動定量
使用增強的自動定量,做以下之一:
集集群模式來增強自動定量當您創建一個管道或編輯一條輸油管道在三角洲地區的生活表UI。
添加
自動定量管道配置默認的集群和設置模式字段增強。下麵的示例集群配置一個增強的自動定量最少5工人和最多10個工人。max_workers必須大於或等於min_workers。
請注意
增強自動定量是可用的
默認的集群。如果你包括自動定量配置維護集群配置,使用現有的集群自動定量特性。的
自動定量配置有兩種模式:遺產:使用集群自動定量。增強:使用增強的自動定量。
{“集群”:({“標簽”:“默認”,“自動定量”:{“min_workers”:5,“max_workers”:10,“模式”:“增強”}}]}
管道自動重新啟動後自動定量配置更改,如果管道配置連續執行。重啟之後,短時間內會增加延遲。後這段時間延遲增加,集群規模應該基於您的更新自動定量配置和管道延遲恢複之前的延遲特性。
增強的自動定量監測管道啟用
您可以使用事件日誌在三角洲地區的生活表用戶界麵來監控增強自動定量指標。增強自動定量的事件自動定量事件類型。下麵是示例事件:
事件 |
消息 |
|---|---|
集群調整請求開始 |
|
集群調整請求成功 |
|
集群調整請求部分成功 |
|
集群調整請求失敗 |
|
您還可以查看增強自動定量事件通過直接查詢事件日誌:
為積壓指標查詢事件日誌,看看通過查詢事件日誌監控數據積壓。
監控集群調整請求和響應增強的自動定量操作期間,看到的監視增強的自動定量事件從事件日誌。