05-17-202301:36我
作為批處理我的檔案大量小文件從源係統接收到使用dbutils.fs每一天。mv命令。
這需要小時dbutils.fs。一次一個mv移動文件。
我怎麼能速度呢?
05-17-202302:02我
@Dean色鬼
您可以使用多線程。
看到的例子:https://nealanalytics.com/blog/databricks-spark-jobs-optimization-techniques-multi-threading/
在原帖子查看解決方案
從未顯出
加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。
點擊在這裏注冊今天,加入!
參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。
