加載多個gz文件從亞行ADLS湖/δ表

[Krish1]

我有幾個gz文件(file.csv.gz) ADLS文件夾的相當大的規模。所有這些文件都是extractd從同一個基表具有類似的數據,但不同的日期。我怎麼能轉移在三角洲湖/δ表。我們想做快速POC如何更快的磚是在閱讀這些文件的數據在三角洲其他平台(s)不能規模。Beplay体育安卓版本

任何幫助將非常感激。

Krish。

[Debayan]

嗨,你可以閱讀GZ文件通過火花。

https://stackoverflow.com/questions/42761912/how-to-read-gz-compressed-file-by-pyspark

請讓我們知道這有幫助。另外,請標記@Debayan與你的下一個評論,這樣我將得到通知。謝謝你！