10-16-202102:16我
我試圖導入表從oracle 1.3軋機行和列是一個Blob, oracle數據的總大小是250 + GB。讀取和保存到S3δ表正在約60分鍾。我試著用平行閱讀使用JDBC(200個線程)。仍然采取更多的時間。
感謝你寶貴的建議來加快這一進程
10-17-202156我
你好,@Rama克裏希納N -我的名字叫Piper我社區版主之一。謝謝你的問題。讓我們給它一段時間看看社區說。謝謝你的耐心。
10-20-202101:04我
你能檢查並行線程和確認如果讀或寫操作慢?讀操作緩慢可能因為網絡問題或者引起數據庫並發問題。
10-20-202101:28我
賈古瑪@Ashwinkumar感謝回複。我和dataFrame試過。統計,這並沒有花費多少時間。請建議如果有任何其他最好的方法檢查讀操作緩慢。
10-20-202101:36我
你好@Rama克裏希納N -我們需要檢查火花UI上的任務來驗證如果操作從oracle數據庫讀取或寫入S3。
這個任務應該在UI上顯示特定的操作。
同時,火花UI上的活動線程將顯示如果具體操作是一個數據庫操作。
從未顯出
加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。
點擊在這裏注冊今天,加入!
參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。