我想讀一個外部冰山數據庫從s3位置使用下麵命令
df_source = (spark.read.format(“冰山”).load (source_s3_path) .drop (* source_drop_columns) .filter (f”{date_column} < = {date_filter}”))
但我得到以下錯誤:
Py4JJavaError:調用o632.load時發生一個錯誤。:java.util。NoSuchElementException:沒有。在scala.None $ . get (Option.scala: 529)在scala.None $ . get (Option.scala: 527) org.apache.spark.sql.execution.datasources.v2.DataSourceV2Utils .loadV2Source美元(DataSourceV2Utils.scala: 136) org.apache.spark.sql.DataFrameReader anonfun負載1美元美元。(DataFrameReader.scala: 323) scala.Option.flatMap (Option.scala: 271) org.apache.spark.sql.DataFrameReader.load (DataFrameReader.scala: 321) org.apache.spark.sql.DataFrameReader.load sun.reflect.NativeMethodAccessorImpl (DataFrameReader.scala: 237)。在voke0(Native Method) at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62) at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43) at java.lang.reflect.Method.invoke(Method.java:498) at py4j.reflection.MethodInvoker.invoke(MethodInvoker.java:244) at py4j.reflection.ReflectionEngine.invoke(ReflectionEngine.java:380) at py4j.Gateway.invoke(Gateway.java:306) at py4j.commands.AbstractCommand.invokeMethod(AbstractCommand.java:132) at py4j.commands.CallCommand.execute(CallCommand.java:79) at py4j.ClientServerConnection.waitForCommands(ClientServerConnection.java:195) at py4j.ClientServerConnection.run(ClientServerConnection.java:115) at java.lang.Thread.run(Thread.java:750)
如果我改變帶來的格式來拚花在上麵的代碼中所有曆史記錄,我想避免通過使用其原始格式
我已經安裝了冰山圖書館冰山_2.12——火花-運行- 3.3在我的集群和預先配置添加以下參數:
spark.sql.catalog。spark_catalog org.apache.iceberg.spark。SparkCatalog spark.sql.catalog.spark_catalog。hadoop spark.sql.catalog.spark_catalog類型。倉庫/ <冰山數據文件夾> /
但是我不能讓它正常工作,所以不確定需要這些步驟(從一篇文章Dremio)或其他配置是必要的。如果可以,請讓我知道
沒什麼,我跟著本文具體步驟:https://www.dremio.com/subsurface/getting-started-with-apache-iceberg-in-databricks/
即使我有相同使用相同的運行時版本和圖書館,看看問題是相關的版本,但是我越來越即使在SQL錯誤。如果我試試這篇文章中的代碼:
% sql創建表默認。test_table_1 (id長整型數字、數據字符串)使用冰山;
我得到以下錯誤:
SyntaxError:無效語法文件“命令- 388374108764913 > <”,第2行創建表默認。test_table_1 (id長整型數字、數據字符串)^ SyntaxError:語法是無效的
不知道我做錯了什麼