取消
顯示的結果
而不是尋找
你的意思是:

磚筆記本dataframe SQL表中加載複製數據

Priya_Mani
新的貢獻者二世

嗨,我試圖從datalake加載數據到使用“SourceDataFrame SQL表。寫在筆記本使用apache火花”操作。

這似乎是裝載在隨機時間重複。日誌不給信息,我不確定還能找什麼。我如何調查,找到問題的根源。請讓我知道我可以提供任何幫助的更多信息。

謝謝!

4回複4

werners1
尊敬的貢獻者三世

更多的在這個筆記本能否請您詳細闡述一下?

還有什麼磚運行時版本嗎?

Priya_Mani
新的貢獻者二世

嗨@Werner Stinckens,這是一個Apache火花筆記本,讀取文件的內容存儲在prem SQL Azure blob和加載到一個表中。

磚運行時是9.1 LTS(包括Apache火花3.1.2,Scala 2.12)與Standard_DS3_v2 worker-driver類型

筆記本使用下麵代碼讀取文件內容

val SourceDataFrame =火花.read .option .option(“頭”,“假”)(“分隔符”,“|”). schema (SourceSchemaStruct) . csv (SourceFilename)

然後寫dataframe成表覆蓋模式

SourceDataFrame2 .write .format (jdbc) .mode(“覆蓋”).option(“司機”,driverClass) .option (“url”, jdbcUrl) .option(“數據表”,TargetTable) .option(“用戶”,jdbcUsername) .option(“密碼”,jdbcPassword) .save ()

werners1
尊敬的貢獻者三世

Kaniz
社區經理
社區經理

嗨@Priya摩尼,我們一直沒有收到你自從上次反應@Werner Stinckens,我檢查是否你有一個決議。

如果你有任何解決方案,請與社區分享,因為它可以幫助別人。否則,我們將與更多的細節和試圖幫助回應。

同時,請別忘了點擊“選擇最佳”按鈕時提供的信息幫助解決你的問題。

歡迎來到磚社區:讓學習、網絡和一起慶祝

加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。

點擊在這裏注冊今天,加入!

參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。

Baidu
map