@Data4
要啟用並行讀寫操作,可以利用ThreadPool功能。這個過程包括指定的一組表需要閱讀,閱讀這些表創建一個方法從JDBC數據源和儲蓄在三角洲的格式,然後使用ThreadPool並行處理。
- 表的列表準備閱讀:做平行的讀和寫操作之前,您必須首先組裝要讀取表的列表。應定義列表如下:
iterationList = [“表1”、“表”、“table3”)
- 在這一步中,一個方法命名為“轉換”將實現處理表從JDBC數據源的閱讀並保存在三角洲格式。轉換方法將結構如下:
def轉換(表):
打印(f“線程:{表}開始”)
spark.read.format (jdbc) .load(表).write.saveAsTable(表)
打印(f“線程:{表}完成”)
- 為了實現並行處理,ThreadPool適當數量的線程可以被初始化。在這個例子中,我們將創建一個ThreadPool三線程。的“地圖”功能ThreadPool然後用來執行並行“變換”的方法為每個表的“iterationList”。
從multiprocessing.pool
進口ThreadPool
與3 #初始化ThreadPool線程
池= ThreadPool (3)
#並行執行轉換方法在iterationList為每個表
池。地圖(轉換、iterationList)
