磚

@stale stokkereit您可以使用下麵的函數來平struct fieldimport pyspark.sql。函數作為F def flatten_df (nested_df): flat_cols = [c [0] nested_df c。dtypes如果c [1] [6] ! = ' struct '] nested_cols = [c c[0]的窩…

嗨@Yikun歌我們發現一個問題,將固定下一輪的補丁(1月中旬發布)。作為一個解決方案,你需要使用組裝jar像https://repo1.maven.org/maven2/org/mongodb/spark/mongo-spark-connector_2.12/3..。

嗨@nafri我第二@Jose岡薩雷斯。你可以先閱讀在火花,將它轉換成三角洲湖,在轉換之後,您可以運行優化命令將所有的小文件合並到一個更大的尺寸。然後你可以把它…