再執行時間從火花Dataframe編寫到SQL server表

[Sha_1890]

我有8 gb的XML數據加載到不同的dataframes,有兩個dataframes 24款和82年十萬的數據寫入一個SQL server 2表2小時和5小時的時間來寫這本書。

我用下麵的集群配置

和python代碼

df.write.format (jdbc)。選項(“url”, jdbcUrl) .partitionBy (C_Code) .mode .option(“追加”)(“數據表”,“staging.tablename”)。jdbcUsername選項(“用戶”)。選項(“密碼”,jdbcPassword) .save ()

請建議我通過其他方式降低執行時間。