要啟用並行讀寫操作,可以利用ThreadPool功能。這個過程包括指定的一組表需要閱讀,閱讀這些表創建一個方法從JDBC數據源和儲蓄在三角洲的格式,然後使用ThreadPool並行處理。
iterationList = [“表1”、“表”、“table3”)
def轉換(表):
打印(f“線程:{表}開始”)
spark.read.format (jdbc) .load(表).write.saveAsTable(表)
打印(f“線程:{表}完成”)
從multiprocessing.pool
進口ThreadPool
與3 #初始化ThreadPool線程
池= ThreadPool (3)
#並行執行轉換方法在iterationList為每個表
池。地圖(轉換、iterationList)