當我運行我的命令使用.option readstream (“cloudFiles。useNotifications”、“真正的”)it start reading the files from Azure blob (please note that i did not provide the configuration like subscription id , clint id , connect string and all while reading )
df = (
spark.readStream.format (“cloudFiles”)
.option (“cloudFiles。格式”、“csv”)
.option (“cloudFiles。useNotifications”、“真正的”)
.option(“標題”,真的)
.load (source_data_loc)
)
現在我開始寫的時候用下麵的代碼
df.writeStream.format(“δ”)。選項(“checkpointLocation checkpoints_loc) .outputMode(“追加”).start (target_data_loc)
它開始給我錯誤請提供訂閱ID與“cloudFiles.subscriptionId”
現在我給解決這些問題在使用readstream如下提到的所有這些信息
cloudFilesConf = {
“cloudFiles。subscriptionId”: subscriptionId,
“cloudFiles。clientId”: spn_client_id,
“cloudFiles。connectionString”: QueueSASKey,
“cloudFiles。clientSecret”: spn_secret_name,
“cloudFiles。tenantId”: spn_tenant_id,
“cloudFiles。resourceGroup”: ResourceGroup_name,
“cloudFiles。schemaLocation”: schema_loc,
#“cloudFiles。useNotifications”:“真正的”
}
但是當我試圖運行現在給我”選項()有一個意想不到的關鍵字參數的cloudFiles。subscriptionId”這個錯誤,所以不知道問題在哪裏
請建議
你好,
我想與大家分享以下文檔,可以幫你解決這個問題。https://docs.www.eheci.com/ingestion/auto-loader/file-notification-mode.html required-permissions-f……你需要設置正確的權限並定義所有的設置能夠消耗數據。