如果你能適應所有的數據到RAM中一個工人(因此可以使用.coalesce(1)),您可以使用dbfs找到並移動導致的CSV文件:
val fileprefix = " / mnt / aws /道路/ file-prefix”
數據集.coalesce (1)
.write
/ / .mode(“覆蓋”)/ /我通常不使用這個,但是你可能想要。
.option(“頭”,“真正的”).option(“分隔符”、“t \”) . csv (fileprefix +“.tmp”)
val partition_path = dbutils.fs.ls (fileprefix +“.tmp /”) .filter(文件= > file.name.endsWith (. csv)) (0) .path
dbutils.fs.cp (partition_path fileprefix +“.tab”)
dbutils.fs.rm (fileprefix +“.tmp”,遞歸= true)
如果你的文件不符合RAM的工人,你可能想要考慮chaoticequilibrium建議使用FileUtils.copyMerge ()。我沒有做過,還不知道是否有可能,例如,S3。
來源:
