何時使用Dataframes火花SQL API

[parthibsg]

你好,專家,

我的新磚。構建數據管道,我都批處理和流數據。

我應該使用Dataframes API來讀取csv文件然後轉換為拚花格式轉換嗎?

或

寫入表使用CSV然後使用火花SQL轉換嗎?。

欣賞優點和缺點,哪一個更好

謝謝你！

Rathinam

[Debayan]

嗨Rathinam,最好了解管道在這種情況下。使用CSV寫入表,然後使用火花SQL將更快的在一些情況下比另一個。

[Kaniz]

嗨@Parthib Rathnam,謝謝你!

讓我們來看看這個,我們會跟進更新。