彙合的卡夫卡寫作時應用Avro違約

[AdamRink]

我有一個avro卡夫卡主題模式。在這種模式已經違約。我想排除違約列磚,隻是讓他們的默認為一個空數組。

avro樣本,試圖不提供UserFields因為我不能空數組存儲在三角洲(鋪)磚,隻是讓它默認為空。

{" name ": " UserFields”、“類型”:{“類型”:“數組”,“項目”:{“名稱”:“ud_record”,“類型”:“記錄”、“字段”:[{“名稱”:“userFieldName”,“類型”:“字符串”},{“名稱”:“userFieldValue”,“類型”:[“空”、“字符串”]}]},},“默認”:[]}

[Kaniz]

推特)嗨@溜冰場!我的名字叫Kaniz,我這裏的技術主持人。很高興認識你,謝謝你的問題!看看你的同行在社區中有一個回答你的問題。否則我將盡快給你回電。謝謝。

[Kaniz · Accepted solution]

推特)嗨@溜冰場,請通過下麵的博客。讓我知道如果有幫助。

• https://docs.www.eheci.com/spark/latest/structured-streaming/avro-dataframe.html example-with-schem……

[小軍]

嗨Kanzi這不是工作讓我知道其他溶解

df

.writeStream.format(“卡夫卡”)

.option (“kafka.bootstrap。服務器”,kafka_server_url)

.option (“kafka.security.protocol”、“SSL”)

kafka_ssl_keystore_location .option (“kafka.ssl.keystore.location”)

kafka_ssl_truststore_location .option (“kafka.ssl.truststore.location”)

kafka_ssl_truststore_password .option (“kafka.ssl.truststore.password”)

kafka_ssl_keystore_password .option (“kafka.ssl.keystore.password”)

kafka_ssl_key_password .option (“kafka.ssl.key.password”)

.option (“security.protocol”、“SSL”)

.option (“schema.registry.ssl.keystore.location”、“dbfs / FileStore / kafka-ssl / connector01_worker_keystore.jks”)

.option (“schema.registry.ssl.truststore.location”、“dbfs / FileStore / kafka-ssl / connector01_truststore.jks”)

.option (“schema.registry.ssl.truststore.password”、“xx”)

.option (“schema.registry.ssl.keystore.password”、“xx”)

.option (“schema.registry.ssl.key.password”、“xx”)

.option (“value.converter”、“io.confluent.connect.avro.AvroConverter”)

schemaRegistryAddr .option (“value.converter.schema.registry.url”)

/ / .option (“ssl.client.auth”,“真正的”)

/ / .option (“ssl.enabled.protocols”、“TLSv1.3、TLSv1.2 TLSv1.1, TLSv1”)

.option (“sasl.mechanism”、“普通”)

schemaRegistryAddr .option (“schema.registry.url”)

.option (“kafka.ssl.endpoint.identification.algorithm”、“https”)

targetTopic .option(“主題”)

.option(“分區”,3)

.outputMode(“追加”)

.option (“checkpointLocation”、“/ dbfs / test01 / xx”)

.start ()

引起的:sun.security.validator。ValidatorException: PKIX路徑構建失敗:sun.security.provider.certpath。SunCertPathBuilderException:無法找到有效的認證請求的目標路徑

rumtime 9.1。x 3.1.2

謝謝