取消
顯示的結果
而不是尋找
你的意思是:

無效的字段provided-DatabricksDeltaLakeSinkConnector模式選項

Bency
新的貢獻者三世

我已經配置了一個三角洲湖沉連接器從AVRO話題中讀取數據,並將其寫入三角洲湖。我跟著文檔和配置下麵的樣子。

{

“名稱”:“dev_test_delta_connector”,

"配置":{

“主題”:“dl_test_avro”,

“input.data。形式at": "AVRO",

”連接器。類”:“io.confluent.connect.databricks.deltalake.DatabricksDeltaLakeSinkConnector”,

“名稱”:“dev_test_delta_connector”,

“kafka.auth。模式”:“SERVICE_ACCOUNT”,

“kafka.service.account.id”:“* * * *”,

“delta.lake.host.name”:“* * * * * *”,

“delta.lake.http。路徑”:“* * * * * * * * *”,

:“delta.lake.database dl_test_db”,

“delta.lake。令牌”:“* * * * * * * * *”,

“delta.lake.table.auto。創造”:“真正的”,

主題:“delta.lake.table.format kafka_ $ {}”,

:“staging.bucket.name dl-test-bucket”,

:“s3.region eu-west-2”,

“staging.s3.access.key.id”:“* * * * * * * * * * * * *”,

“staging.s3.secret.access.key”:“* * * * * * * * * *”,

“confluent.topic.bootstrap.servers”:“* * * * * * * * * * * * * * * *”,

“flush.interval.ms”:“100”,

”任務。馬克斯”:“1”

}

}

我期待連接器自動創建表,但它錯誤為:

“跟蹤”:“org.apache.kafka.connect.errors。ConnectException:退出WorkerSinkTask由於不可恢複的異常。\ n \乙org.apache.kafka.connect.runtime.WorkerSinkTask.deliverMessages (WorkerSinkTask.java: 568) \ n \乙org.apache.kafka.connect.runtime.WorkerSinkTask.poll (WorkerSinkTask.java: 326) \ n \乙org.apache.kafka.connect.runtime.WorkerSinkTask.iteration (WorkerSinkTask.java: 228) \ n \乙org.apache.kafka.connect.runtime.WorkerSinkTask.execute (WorkerSinkTask.java: 196) \ n \乙org.apache.kafka.connect.runtime.WorkerTask.doRun (WorkerTask.java: 184) \ n \乙org.apache.kafka.connect.runtime.WorkerTask.run (WorkerTask.java: 234) \ n \乙java.util.concurrent.Executors RunnableAdapter.call美元(Executors.java: 511) \ n \乙java.util.concurrent.FutureTask.run (FutureTask.java: 266) \ n \乙java.util.concurrent.ThreadPoolExecutor.runWorker (ThreadPoolExecutor.java: 1149) \ n \乙java.util.concurrent.ThreadPoolExecutor Worker.run美元(ThreadPoolExecutor.java: 624) \ n \乙java.lang.Thread.run (Thread.java: 750) \ nCaused: org.apache.kafka.connect.errors。ConnectException:無效的字段模式選擇提供\ n \乙io.confluent.connect.databricks.deltalake.DatabricksDeltaLakeSinkTask.convertFieldSchemaToTableSchema (DatabricksDeltaLakeSinkTask.java: 368) \ n \乙io.confluent.connect.databricks.deltalake.DatabricksDeltaLakeSinkTask.autoCreateTable (DatabricksDeltaLakeSinkTask.java: 309) \ n \乙io.confluent.connect.databricks.deltalake.DatabricksDeltaLakeSinkTask.recordsToPutToS3 (DatabricksDeltaLakeSinkTask.java: 146) \ n \乙io.confluent.connect.databricks.deltalake.DatabricksDeltaLakeSinkTask.put (DatabricksDeltaLakeSinkTask.java: 98) \ n \乙org.apache.kafka.connect.runtime.WorkerSinkTask.deliverMessages (WorkerSinkTask.java: 546) \ n \ t…10 \ n”

任何幫助將不勝感激,謝謝

3回複3

Hubert_Dudek1
尊敬的貢獻者三世

我知道配置彙合的一側(彙合的磚AWS三角洲湖沉連接器)。

常見的問題是S3問題(角色)。你能檢查保存在S3中暫存桶嗎?

你也可以聯係彙合的支持。

Hubert_Dudek1
尊敬的貢獻者三世

通常你需要確保支流可以連接到S3 /磚資源(ip /角色)和這個消息從支流並沒有太大的幫助:slightly_smiling_face:

Bency
新的貢獻者三世

@Hubert杜德克,我應該配置任何關於連接器配置模式?

因為我成功地表演一些數據從另一個不同的主題格式(JSON_SR)到三角洲湖表,但它與AVRO話題我得到這個錯誤。

歡迎來到磚社區:讓學習、網絡和一起慶祝

加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。

點擊在這裏注冊今天,加入!

參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。

Baidu
map