嗨@Werner Stinckens,這是一個Apache火花筆記本,讀取文件的內容存儲在prem SQL Azure blob和加載到一個表中。
磚運行時是9.1 LTS(包括Apache火花3.1.2,Scala 2.12)與Standard_DS3_v2 worker-driver類型
筆記本使用下麵代碼讀取文件內容
val SourceDataFrame =火花.read .option .option(“頭”,“假”)(“分隔符”,“|”). schema (SourceSchemaStruct) . csv (SourceFilename)
然後寫dataframe成表覆蓋模式
SourceDataFrame2 .write .format (jdbc) .mode(“覆蓋”).option(“司機”,driverClass) .option (“url”, jdbcUrl) .option(“數據表”,TargetTable) .option(“用戶”,jdbcUsername) .option(“密碼”,jdbcPassword) .save ()