如何動態爆炸pyspark或scala數組類型列

[SatheeshSathees]

你好,

我有一個鑲花文件與嵌套結構複雜的列類型和數組。

我用下麵的劇本從平我的拚花文件鏈接。

https://docs.microsoft.com/en-us/azure/synapse-analytics/how-to-analyze-complex-schema

我能平模式使用腳本成功地在步驟1和步驟2。但是在上麵的鏈接中,第三步平數組的腳本使用硬編碼的列名。但在我的情況下我有多個列的數組類型,需要轉換,所以我不能使用這種方法。

有什麼方法可以動態地改變所有數組類型列列沒有硬編碼,因為在未來可能會改變在我的例子中。類似的檢查數組類型的列和爆炸動態和重複所有列的數組。

請通知

[shyam_9]

你好,請查看以下文檔和筆記本也有類似的例子,

https://docs.microsoft.com/en-us/azure/synapse-analytics/how-to-analyze-complex-schema

https://docs.microsoft.com/en-us/azure/databricks/_static/notebooks/transform-complex-data-types-pyt..。