火花持續對一個分區鋪文件

[sage5616]

在火花,它可以創建一個持久的視圖在Azure BLOB分區鋪文件?視圖必須當集群可用重啟,無需重新創建視圖,因此它不能被臨時視圖。

我可以創建一個臨時查看,但不持久的觀點。以下代碼返回一個例外。

火花。sql(“創建視圖測試使用鑲花選項(路徑\“/ mnt /文件夾/ file.c000.snappy.parquet \”)”)

拋出ParseException:不匹配輸入“使用”期待{' (',' UP_TO_DATE”、“像”、“評論”、“分區”、“TBLPROPERTIES”}(1號線,pos 23)

大謝謝你帶一看

[托馬斯]

你試過創建一個外部表上現有的鑲花數據?的觀點是建立在現有表的頂部在metastore注冊(不直接在文件)。

您將使用外部表的功能,在查詢中使用位置(https://docs.www.eheci.com/data-governance/unity-catalog/create-tables.html # create-an-external-table)

記住,指定的路徑應該是一個目錄,而不是一個特定的鑲花的文件。

[Hubert_Dudek1]

視圖是select語句的實現。請注冊拚花作為一個外部表。

[sage5616 · Accepted solution]

這是為我工作的東西。希望這可以幫助別人:https://stackoverflow.com/questions/72913913/spark-persistent-view-on-a-partition-parquet-file/72914..。

創建視圖測試從parquet. select *“/ mnt / folder-with-parquet-file (s) / '

@Hubert杜德克& @Tomasz Bacewicz不幸的是你的答案並不是很有用。

注:我不能硬編碼列或動態定義表的DDL創建外部表。我需要拚花的模式文件推斷在表創建的文件,沒有明確的硬編碼的模式。