我需要閱讀和變換幾CSV文件,然後將它們附加到一個數據幀。我能做到這一點在磚使用簡單的循環,但我想加快解決。
下麵是我的代碼的大致結構:
在filepath all_filepaths: df1 = read_file (filepath) df2 =變換(df1) df3 = df3.append (df2)
而不是一次處理1文件有並行方式處理它們嗎?有很多解決方案在線但是我隻能在磚得到以下工作:
與ThreadPoolExecutor (max_workers = 20)池:df3 = pd.concat(池。地圖(read_and_transform_df all_filepaths))
153個文件,第一種方法花費了3.35分鍾,第二種方法3.87分鍾。
有沒有一種方法來優化第二種方法還是另一種更快的方法?
謝謝,
Tanjil
