你好,我有一個自動裝卸機代碼,很標準,我們有這個變量文件路徑,指向一個S3 bucket。例# 2成功執行和示例1將拋出一個異常。
似乎源1總是拋出異常而源2工作但是它拋出一個異常,當我使用一個更通用的路徑? ? ? ? ? / ? ? ? ?
如果有人已經知道如何解決這個問題將是有益的,提前謝謝!
示例1:val file_path = " / mnt /輸出/生/ source1 / ? ? ? ? ? ? / ? ? ? ? / * .e.ndjson”
示例2:val file_path = " / mnt /輸出/生/ source2/2022-11/14 - ? ? / * .e.ndjson”
com.amazonaws.services.s3.model。AmazonS3Exception:無法驗證以下目的地配置(服務:Amazon S3;狀態碼:400;錯誤代碼:InvalidArgument;
或
配置定義含糊不清。不能有重疊的後綴在兩個規則如果前綴是相同的事件類型重疊。(服務:Amazon S3;狀態碼:400;錯誤代碼:InvalidArgument;
val讀者=火花。readStream .format .option (“cloudFiles (“cloudFiles”)。格式”、“文本”).option (“cloudFiles。schemaLocation”, checkpoint_path) .option (“cloudFiles。useNotifications”,真的).load (file_path) .selectExpr(“價值”).writeStream .format .option (“kafka.bootstrap(“卡夫卡”)。服務器”、“卡夫卡:9092”).option .option(“主題”、“test_topic_3”) (“checkpointLocation”, checkpoint_path) .trigger (Trigger.AvailableNow) .start ()
