我將闡述我的問題。我使用一個6-node火花在Hadoop集群紗的一個節點作為主人和其他5作為工人節點。我運行我的火花在集群應用程序。完成後,當我檢查火花UI,我觀察了由於時間調度程序執行時間延遲和任務反序列化時間即使執行人計算時間是非常低的。總運行時間81秒時,它應該完成在不到8秒。我不能從任何現有的帖子在網上尋求幫助。我希望有人能幫我解決這個問題。是什麼方式減少調度延遲和反序列化任務時間。問題是由於最優的方式編寫代碼或由於配置的紗和火花?我附上一些圖片。我將分享任何其他事情需要進一步分析如紗,火花配置,必要時應用程序代碼等。 Thanks in advance.