三角洲主住表錯誤

[甜菜]

我麵臨一個錯誤在三角洲住表我想數據透視表。錯誤如下:

和複製的代碼錯誤如下:

熊貓作為pd導入導入pyspark.sql。函數作為F pdf = pd。DataFrame ({“A”(“foo”、“foo”、“foo”、“foo”、“foo”、“酒吧”,“酒吧”,“酒吧”,“酒吧”,“B”:[“一”、“一”、“一”、“兩個”,“兩個”,“一”、“一”、“兩個”,“兩個”)、“C”:[“小”、“大”、“大”、“小”、“小”、“大”、“小”、“小”、“大”、“D”: [1、2、2、3、3、4、5、6、7],“E”: (2、4、5、5、6、6、8、9, 9]}) df = spark.createDataFrame (pdf) df.write.mode(覆蓋).saveAsTable (test_table)導入dlt @dlt。視圖def test_table():返回spark.read.table @dlt (“test_table”)。表def test_table_pivoted():返回(spark.table (LIVE.test_table) .groupBy (A, B) .pivot (“C”) .agg (F.first (' D ')))

有人知道為什麼我不能數據透視表在三角洲住表管道嗎?

[bozhu]

根據兩個SQL和PythonDLT文件,“主”在DLT不支持。

所以我想知道使用“主”的並發症在這樣一個不受支持的方式嗎?

[卡裏爾]

DLT文檔中說的“主”不支持DLT但我注意到,如果你想讓主函數工作你必須做以下的事情之一:

1. 主在你的第一個dlt.view申請+配置”spark.databricks.delta.schema.autoMerge.enabled:真”。
2. 應用主以外的dlt decorator然後開始使用dlt中的輸出。視圖或dlt.table。

注意:這是我注意到,但你會得到一個警告說,GroupedData。主函數,它很快就會被棄用,你會有相同的警告如果你使用收集的實例。

希望有幫助!