讀取外部表在磚火花dataframe冰山

[lrodcon]

我想讀一個外部冰山數據庫從s3位置使用下麵命令

df_source = (spark.read.format(“冰山”).load (source_s3_path) .drop (* source_drop_columns) .filter (f”{date_column} < = {date_filter}”))

但我得到以下錯誤:

Py4JJavaError:調用o632.load時發生一個錯誤。:java.util。NoSuchElementException:沒有。在scala.None $ . get (Option.scala: 529)在scala.None $ . get (Option.scala: 527) org.apache.spark.sql.execution.datasources.v2.DataSourceV2Utils .loadV2Source美元(DataSourceV2Utils.scala: 136) org.apache.spark.sql.DataFrameReader anonfun負載1美元美元。(DataFrameReader.scala: 323) scala.Option.flatMap (Option.scala: 271) org.apache.spark.sql.DataFrameReader.load (DataFrameReader.scala: 321) org.apache.spark.sql.DataFrameReader.load sun.reflect.NativeMethodAccessorImpl (DataFrameReader.scala: 237)。在voke0(Native Method) at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62) at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43) at java.lang.reflect.Method.invoke(Method.java:498) at py4j.reflection.MethodInvoker.invoke(MethodInvoker.java:244) at py4j.reflection.ReflectionEngine.invoke(ReflectionEngine.java:380) at py4j.Gateway.invoke(Gateway.java:306) at py4j.commands.AbstractCommand.invokeMethod(AbstractCommand.java:132) at py4j.commands.CallCommand.execute(CallCommand.java:79) at py4j.ClientServerConnection.waitForCommands(ClientServerConnection.java:195) at py4j.ClientServerConnection.run(ClientServerConnection.java:115) at java.lang.Thread.run(Thread.java:750)

如果我改變帶來的格式來拚花在上麵的代碼中所有曆史記錄,我想避免通過使用其原始格式

我已經安裝了冰山圖書館冰山_2.12——火花-運行- 3.3在我的集群和預先配置添加以下參數:

spark.sql.catalog。spark_catalog org.apache.iceberg.spark。SparkCatalog spark.sql.catalog.spark_catalog。hadoop spark.sql.catalog.spark_catalog類型。倉庫/ <冰山數據文件夾> /

但是我不能讓它正常工作,所以不確定需要這些步驟(從一篇文章Dremio)或其他配置是必要的。如果可以,請讓我知道

[Jfoxyyc]

我遵循了同樣的指導你聯係,它工作得很好當我使用SQL代替python。你嚐試使用SQL嗎?

Dremio本文不討論是磚的SQL實現合並,隻有兼容三角洲文件,不隻是冰山一角。如果你需要合並,我還不知道這已經解決了。

[lrodcon]

謝謝你的回答,我也嚐試了SQL,它並沒有為我工作。它不檢測冰山作為一個有效的格式。我可能錯過了一些步驟。我將再試一試

[lrodcon]

沒什麼,我跟著本文具體步驟:https://www.dremio.com/subsurface/getting-started-with-apache-iceberg-in-databricks/

即使我有相同使用相同的運行時版本和圖書館,看看問題是相關的版本,但是我越來越即使在SQL錯誤。如果我試試這篇文章中的代碼:

% sql創建表默認。test_table_1 (id長整型數字、數據字符串)使用冰山;

我得到以下錯誤:

SyntaxError:無效語法文件“命令- 388374108764913 > <”,第2行創建表默認。test_table_1 (id長整型數字、數據字符串)^ SyntaxError:語法是無效的

不知道我做錯了什麼

[dynofu]

https://issues.apache.org/jira/browse/spark - 41344