01-22-202304:58我
我從火花dataframe 10億數據加載到目標表,但在7.3集群需要3個小時完成但遷移到10.4集群後8小時才能完成,我怎麼能減少時間
01-24-202312:06我
你好,請參考https://docs.www.eheci.com/clusters/cluster-config-best-practices.html集群配置的最佳實踐。請讓我們知道這有幫助。
01-24-202305:33點
嗨@Mohammed sadamusean,
你能提供更多細節在你在做什麼?什麼類型的轉換/動作你在做什麼?什麼你的源和彙嗎?批處理或流?所有這些信息會有所幫助。
01-24-202306:32點
我adls中的數據,這場數據加載到多個dataframes磚筆記本,從最終dataframe我加載數據到最終目標表基於dataframe tempview,通常需要3 7.3集群但在10.4集群需要8小時左右,10億條記錄
02-24-202303:40點
你能檢查你的火花UI來確定哪個階段時間最長,並分享一些信息嗎
從未顯出
加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。
點擊在這裏注冊今天,加入!
參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。