瀏覽
磚
幫助
登錄
開始使用磚
開始討論
開始資源
磚平台Beplay体育安卓版本
技術博客
磚平台的討論Beplay体育安卓版本
工程數據
機器學習
倉庫&分析
數據治理
管理和架構
學習
學習討論
培訓產品
認證
學習路徑
認證
組
地區和利益集團
美洲
亞太地區
利益集團
事件
社區灣
社區討論
社區新聞&成員認可
ninjadev999
新的貢獻者二世
自
02-11-2022
06-26-2023
用戶數據
4
的帖子
0
解決方案
0
榮譽給
0
榮譽收到
磚
關於ninjadev999
用戶活動
的帖子
回複
不能大DataFrame寫入該服務器通過使用jdbc驅動程序在Azure磚嗎
02-11-2022
我閱讀一個巨大的csv文件包括39795158條記錄和寫作到該服務器,在Azure磚。磚(筆記本)運行在集群節點56 GB內存,16個核心,和12個工人。這是我的代碼在Python和PySpark:從……
再保險:不能寫大DataFrame到該服務器通過使用jdbc驅動程序在Azure磚
02-11-2022
這不是我想要的解決方案。對不起。我想知道我的代碼是錯誤的,是失敗的原因。我想提高性能對大DataFrame處理。
再保險:不能寫大DataFrame到該服務器通過使用jdbc驅動程序在Azure磚
02-11-2022
我應該做出一些改變在每個記錄。之後,我將它們寫入到該軟件。所以看起來像磚是更好的使用它…我隻是需要加快大dataframe寫入該數據庫並修複錯誤。
再保險:不能寫大DataFrame到該服務器通過使用jdbc驅動程序在Azure磚
02-11-2022
謝謝你的回應!事實上,我不知道對數據工廠. .加快處理大DataFrame,我用再分配模式,根據這個博客:https://devblogs.microsoft.com/azure-sql/partitioning-on-spark-fast-loading-clustered-col..。
map