我試圖使用磚自動裝卸機的文件通知模式

[mk1987c]

當我運行我的命令使用.option readstream (“cloudFiles。useNotifications”、“真正的”)it start reading the files from Azure blob (please note that i did not provide the configuration like subscription id , clint id , connect string and all while reading )

df = (

spark.readStream.format (“cloudFiles”)

.option (“cloudFiles。格式”、“csv”)

.option (“cloudFiles。useNotifications”、“真正的”)

.option(“標題”,真的)

.load (source_data_loc)

)

現在我開始寫的時候用下麵的代碼

df.writeStream.format(“δ”)。選項(“checkpointLocation checkpoints_loc) .outputMode(“追加”).start (target_data_loc)

它開始給我錯誤請提供訂閱ID與“cloudFiles.subscriptionId”

現在我給解決這些問題在使用readstream如下提到的所有這些信息

cloudFilesConf = {

“cloudFiles。subscriptionId”: subscriptionId,

“cloudFiles。clientId”: spn_client_id,

“cloudFiles。connectionString”: QueueSASKey,

“cloudFiles。clientSecret”: spn_secret_name,

“cloudFiles。tenantId”: spn_tenant_id,

“cloudFiles。resourceGroup”: ResourceGroup_name,

“cloudFiles。schemaLocation”: schema_loc,

#“cloudFiles。useNotifications”:“真正的”

}

但是當我試圖運行現在給我”選項()有一個意想不到的關鍵字參數的cloudFiles。subscriptionId”這個錯誤,所以不知道問題在哪裏

請建議

[jose_gonzalez]

你好,

我想與大家分享以下文檔,可以幫你解決這個問題。https://docs.www.eheci.com/ingestion/auto-loader/file-notification-mode.html required-permissions-f……你需要設置正確的權限並定義所有的設置能夠消耗數據。

[mk1987c · Accepted solution]

謝謝你我發現這個問題,現在已經解決了謝謝

[Abhradwip]

請讓我們知道這個問題是怎麼解決的

[mk1987c]

嗨Abhradwip,問題得到解決。