幫助
MartinB
貢獻者三世
自 ‎09-11-2021
‎06-26-2023

用戶數據

  • 24的帖子
  • 2解決方案
  • 5榮譽給
  • 15榮譽收到

用戶活動

分區修剪/分區消除不適用於文件夾分區JSON文件?(火花3.1.2)

02-13-2022
想象以下設置:我有日誌文件存儲為JSON文件分區,月,日,小時在物理文件夾:““”/ logs |——年= 2020 | = 2021年”——年= 2022 |——月= 01 '——月= 02 | = 01 |——天= .....

有沒有一種方法來創建一個non-temporary火花和PySpark視圖嗎?

10-14-2021
嗨,當創建一個火花視圖使用SparkSQL(“創建視圖作為SELCT…”)違約,這種觀點是non-temporary——視圖定義將生存火花會話集群以及火花。在PySpark我可以使用DataFrame.createOrReplaceTempView……

互操作性火花↔熊貓:不能把火花dataframe熊貓dataframe通過df.toPandas()時,它包含datetime值在遙遠的未來

09-11-2021
嗨,我在數據湖,有多個數據集特征valid_from和valid_to列表明有效性的行。如果一行目前是有效的,這是由valid_to = 9999-12-31就是表示。例子:加載到火花dataframe沒問題…
Baidu
map