取消
顯示的結果
而不是尋找
你的意思是:

觸發器。在Pyspark AvailableOnce嗎?

轉基因生物
新的貢獻者三世

有一個新的觸發器。AvailableOnce選項在運行時10.1,我們需要處理一個大文件夾中一點點地使用自動裝卸機。但我不明白如何從pyspark接觸。這是可以從scala隻還是在pyspark ?謝謝。

1接受解決方案

接受的解決方案

轉基因生物
新的貢獻者三世

確認這是目前隻能在Scala中(2021年11月),pyspark支持即將到來的未來版本中。

在原帖子查看解決方案

4回複4

轉基因生物
新的貢獻者三世

確認這是目前隻能在Scala中(2021年11月),pyspark支持即將到來的未來版本中。

匿名
不適用

@Mark墨菲,謝謝你提供的信息。

pottsork
新的貢獻者二世

在這個問題上的任何更新嗎?我可以看到一個可以使用.trigger 10.3 (availableNow = True)我DBR (Azure磚)....不幸的是我不能讓它與自動裝卸機工作。這是支持嗎?

另外,找不到任何答案當瀏覽通過發行說明。

drewster
新的貢獻者三世

我明白了使用cloudFiles(自動裝卸機)來源除了我自動裝卸機不訂閱ADLSgen2存儲。隻是用cloudFiles像一個正常的來源。

歡迎來到磚社區:讓學習、網絡和一起慶祝

加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。

點擊在這裏注冊今天,加入!

參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。

Baidu
map