取消
顯示的結果
而不是尋找
你的意思是:

我試圖使用磚自動裝卸機的文件通知模式

mk1987c
新的貢獻者三世

當我運行我的命令使用.option readstream (“cloudFiles。useNotifications”、“真正的”)it start reading the files from Azure blob (please note that i did not provide the configuration like subscription id , clint id , connect string and all while reading )

df = (

spark.readStream.format (“cloudFiles”)

.option (“cloudFiles。格式”、“csv”)

.option (“cloudFiles。useNotifications”、“真正的”)

.option(“標題”,真的)

.load (source_data_loc)

)

現在我開始寫的時候用下麵的代碼

df.writeStream.format(“δ”)。選項(“checkpointLocation checkpoints_loc) .outputMode(“追加”).start (target_data_loc)

它開始給我錯誤請提供訂閱ID與“cloudFiles.subscriptionId”

現在我給解決這些問題在使用readstream如下提到的所有這些信息

cloudFilesConf = {

“cloudFiles。subscriptionId”: subscriptionId,

“cloudFiles。clientId”: spn_client_id,

“cloudFiles。connectionString”: QueueSASKey,

“cloudFiles。clientSecret”: spn_secret_name,

“cloudFiles。tenantId”: spn_tenant_id,

“cloudFiles。resourceGroup”: ResourceGroup_name,

“cloudFiles。schemaLocation”: schema_loc,

#“cloudFiles。useNotifications”:“真正的”

}

但是當我試圖運行現在給我”選項()有一個意想不到的關鍵字參數的cloudFiles。subscriptionId”這個錯誤,所以不知道問題在哪裏

請建議

1接受解決方案

接受的解決方案

mk1987c
新的貢獻者三世

謝謝你我發現這個問題,現在已經解決了謝謝

在原帖子查看解決方案

4回複4

jose_gonzalez
主持人
主持人

你好,

我想與大家分享以下文檔,可以幫你解決這個問題。https://docs.www.eheci.com/ingestion/auto-loader/file-notification-mode.html required-permissions-f……你需要設置正確的權限並定義所有的設置能夠消耗數據。

mk1987c
新的貢獻者三世

謝謝你我發現這個問題,現在已經解決了謝謝

Abhradwip
新的貢獻者二世

請讓我們知道這個問題是怎麼解決的

mk1987c
新的貢獻者三世

嗨Abhradwip,問題得到解決。

歡迎來到磚社區:讓學習、網絡和一起慶祝

加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。

點擊在這裏注冊今天,加入!

參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。

Baidu
map