取消
顯示的結果
而不是尋找
你的意思是:

第一次運行緩慢,基於jar的工作

User16783852686
新的貢獻者二世

在運行jar的工作時,我注意到第一運行總是需要額外的時間來完成自己的任務,連續運行花更少的時間完成這項工作。一個交互式集群上這種行為是可再生的。是什麼導致了這個呢?這是預期的嗎?

1接受解決方案

接受的解決方案

DD_Sharma
新的貢獻者三世

嗨@Brad巴克,在第一次運行時jar的工作第一工作/任務開始執行程序獲取jar /圖書館從司機到執行人。需要一些時間,但在第二次運行或任何連續運行時,將沒有提取操作所有連續運行需要更少的時間來完成這項工作比1日運行。這是預期行為。

整體可能有其他原因工作緩慢像網絡緩慢,大型圖書館,更多的輸入數據。但在理想的場景中,1日運行(在集群啟動)船庫與第一個任務執行人,我們可能會看到幾秒鍾/分鍾的緩慢(基於庫)的數量和大小。

在原帖子查看解決方案

5回複5

Kaniz
社區經理
社區經理

你好@布萊德!我的名字叫Kaniz,我這裏的技術主持人。很高興認識你,謝謝你的問題!看看你的同行在社區中有一個回答你的問題。否則我將與我的團隊跟進,盡快給你回電。謝謝。

User16763506586
貢獻者

嗨@Brad巴克

jar任務依賴關係嗎?。你能精心製作的這罐工作呢?。

werners1
尊敬的貢獻者三世

也許的加載jar需要一些時間?當你重新運行它的時候,它可能已經存在。

想在這裏大聲。

DD_Sharma
新的貢獻者三世

嗨@Brad巴克,在第一次運行時jar的工作第一工作/任務開始執行程序獲取jar /圖書館從司機到執行人。需要一些時間,但在第二次運行或任何連續運行時,將沒有提取操作所有連續運行需要更少的時間來完成這項工作比1日運行。這是預期行為。

整體可能有其他原因工作緩慢像網絡緩慢,大型圖書館,更多的輸入數據。但在理想的場景中,1日運行(在集群啟動)船庫與第一個任務執行人,我們可能會看到幾秒鍾/分鍾的緩慢(基於庫)的數量和大小。

歡迎來到磚社區:讓學習、網絡和一起慶祝

加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。

點擊在這裏注冊今天,加入!

參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。

Baidu
map