矢量化閱讀包含小數鋪文件類型列(s)

[alm]

我試圖讀鋪文件,和寫一個三角洲表,檢查機關文件,其中包含小數類型列。我遇到了一個問題,很巧妙地描述kb。磚的文章,我解決了通過禁用矢量化閱讀建議。

所以,我的問題已經解決了,我真的要抱怨什麼?令我疑惑的,如果是有意的,有必要檢查十進製類型的文件?這似乎有點尷尬,所以我想知道什麼正在做些什麼?如果有一個開放的問題,我希望一個鏈接。

同時,如果有一個活躍的achitectural決定背後,我會非常感興趣的動機——專業的好奇心:)

最後需要注意的一點是,我使用scala 2.12和火花3.3.2。

[匿名]

@Alberte Mørk:

你觀察到的行為是由於已知問題在Apache火花矢量化閱讀時使用鑲花的文件包含小數類型列。正如你提到的,這個問題可以解決通過禁用拚花文件(s)的矢量化閱讀問題。

關於是否正在進行,我建議檢查Apache火花JIRA的開放與這個問題有關的問題。您還可以發布一個問題引發用戶郵件列表,看看在這個問題上有任何更新。

至於這種行為背後的架構決策,這可能是導致這一事實十進製類型列是許多本地不支持的文件格式,包括拚花。因此,火花需要執行一些額外的處理在閱讀這些列時,這會影響性能。鑲花的決定使用矢量化閱讀文件默認情況下很可能基於性能考慮對於大多數數據類型,和大多數鋪文件不包含小數類型列。

我希望這可以幫助!

[alm]

謝謝你！