自動加載程序如何攝取數據?

[Kenny92]

我最近完成了數據工程與磚v3課程合作夥伴學院。一些測試的問題我搞混了。

具體地說,我想知道關於這個問題從“構建數據管道與達美住表和SQL火花”模塊。

我來自提交不同的答案,它標誌是正確的答案是“自動加載程序逐步分批接受新數據文件。”

不過,我相信準確的答案將是“自動裝載機自動寫入新的數據文件不斷為他們的土地”。This is based on the doc page什麼是自動加載程序說,“汽車逐步加載程序和有效的過程隨著他們到達雲存儲新的數據文件。”However, I'm struggling to find clear information on完全引擎蓋下它是如何工作的(即它是攝取登陸文件批量或一次性的),我開始覺得呢這兩個答案是正確的根據你如何配置它。誰能提供清晰嗎?

[匿名 · Accepted solution]

@Kenny Shaevel:

你是正確的,自動加載程序自動寫入新的數據文件不斷在雲存儲。這意味著汽車裝載機不等待一批文件在處理之前到達。相反,它讀取每一個新的文件,因為它落在雲存儲並自動把數據轉換為三角洲格式,允許您立即使用火花SQL查詢數據或其他工具。

聲明“自動加載程序逐步接受新數據文件批量”並不完全準確。雖然汽車逐步加載程序並處理數據,它並不一定批量。相反,它處理每個新數據文件作為一個單獨的增量批,你可以立即查詢新的數據沒有等待更大的批處理積累。

重要的是要注意,汽車裝載機的性能取決於傳入的數據文件的大小和頻率,以及自動加載程序的配置工作。例如,您可以配置自動加載程序執行額外的處理步驟,如數據驗證或轉換,之前將數據轉換為三角洲格式。此外,您可以調整批大小或其他設置根據您的特定工作負載優化性能和數據處理需求。

[Vidula_Khanna]

嗨@Kenny Shaevel

希望一切進行得很順利。

隻是想檢查如果你能解決你的問題。如果是的,你會很高興的答案標記為最好,其他成員可以找到解決方案更快嗎?如果不是,請告訴我們,我們可以幫助你。

幹杯!