sharikrishna26.medium.com

[SIRIGIRI]

火花Dataframes模式

模式推理是不可靠的。

我們有以下模式推理的問題:

1. 自動推理的模式通常是不正確的
2. 火花推斷模式是額外的工作,它需要一些額外的時間
3. 用模式驗證模式推斷是相互矛盾的

4所示。它也可能改變列的順序

我們有兩種方法去做。

1. 模式DDL字符串
2. 結構體類型對象

進一步的詳細描述請參考這個鏈接

https://sharikrishna26.medium.com/spark-dataframes-schema-6fe1f90a56c

請分享,評論

2023年新年快樂

[Rishabh264]

感謝分享

[Aviral-Bhardwaj]

好帖子謝謝

[Varshith]

另一個區別這兩個方法是,在模式DDL字符串方法我們使用字符串,整數等。但在Struct類型對象的方法我們可以隻使用火花StringType等數據類型(),IntegerType(),等等。