讀取和保存Blob數據從甲骨文到磚S3是緩慢的

[RKNutalapati]

我試圖導入表從oracle 1.3軋機行和列是一個Blob, oracle數據的總大小是250 + GB。讀取和保存到S3δ表正在約60分鍾。我試著用平行閱讀使用JDBC(200個線程)。仍然采取更多的時間。

感謝你寶貴的建議來加快這一進程

[匿名]

你好,@Rama克裏希納N -我的名字叫Piper我社區版主之一。謝謝你的問題。讓我們給它一段時間看看社區說。謝謝你的耐心。

[User16829050420]

你能檢查並行線程和確認如果讀或寫操作慢?讀操作緩慢可能因為網絡問題或者引起數據庫並發問題。

[RKNutalapati]

賈古瑪@Ashwinkumar感謝回複。我和dataFrame試過。統計,這並沒有花費多少時間。請建議如果有任何其他最好的方法檢查讀操作緩慢。

[User16829050420]

你好@Rama克裏希納N -我們需要檢查火花UI上的任務來驗證如果操作從oracle數據庫讀取或寫入S3。

這個任務應該在UI上顯示特定的操作。

同時,火花UI上的活動線程將顯示如果具體操作是一個數據庫操作。