Apache Hudi表創建使用Hudi maven庫

[ros]

我安裝了hudi maven庫org.apache.hudi: hudi-spark3.3-bundle_2.12:0.13.0

在Dbricks運行時版本:12.2 LTS(包括Apache火花3.3.2,Scala 2.12)

火花配置:

spark.sql.catalog。spark_catalog org.apache.spark.sql.hudi.catalog。HoodieCatalog火花。序列化器org.apache.spark.serializer。KryoSerializer spark.sql。擴展org.apache.spark.sql.hudi.HoodieSparkSessionExtension

我跑這個python cmd:

進口org.apache.hudi.DataSourceReadOptions。_進口org.apache.hudi.DataSourceWriteOptions。_進口org.apache.hudi.config.HoodieWriteConfig._

這給了我錯誤:

ModuleNotFoundError:沒有模塊命名“org.apache.hudi”

然後我跑在筆記本sql命令:

創建表hudi_cow_pt_tbl (id bigint,名稱字符串,ts bigint, dt字符串,hh字符串)使用hudi tblproperties (type =‘牛’,primaryKey =“id”, preCombineField = ' ts)分區(dt, hh)位置的s3: / / incred-databricks-data / hudi_dms_data / hudi_cow_pt_tbl ';

這給了我錯誤:

. io .FileNotFoundException:沒有這樣的文件或目錄:s3: / / incred-databricks-data / hudi_dms_data / hudi_cow_pt_tbl

在這個路徑:s3: / / incred-databricks-data / hudi_dms_data /

[shan_chandra]

@Roshan RC -你能嚐試掛載位置相反,讓我們知道嗎?

[ros]

@Shanmugavel Chandrakasu

% sql create table hudi_cow_pt_tbl (id bigint名稱字符串,ts bigint, dt字符串,hh字符串)使用hudi tblproperties (type =‘牛’,primaryKey =“id”, preCombineField = ' ts)分區(dt, hh)位置“/ mnt /數據/ hudi_dms_data / hudi_cow_pt_tbl”;

它仍然給了我錯誤:

org.apache.hudi.exception。TableNotFoundException:連帽衫表未找到路徑找不到hudi表中為用戶提供路徑。