當得到新的文件觸發工作
預覽
文件到達觸發公共預覽。
您可以使用文件到達觸發觸發運行你的磚工作到達一個新文件外部位置如Amazon S3和Azure存儲。您可以使用此功能,當預定的工作可能是低效的,因為新數據到達的時間表。
文件到達觸發每分鍾檢查新文件,且不產生任何額外費用以外的其他雲提供商相關費用清單文件的存儲位置。
請注意
文件到達觸發工作隻有外部位置10000文件。位置與多個文件不能被監控新文件到達。
需求
以下是需要使用文件到達觸發:
工作區必須統一目錄啟用。
你必須使用一個外部位置添加到目錄metastore統一。看到管理外部位置和存儲憑證。
你必須有
讀
外部位置和權限可以管理
在工作權限。關於工作權限的更多信息,請參閱工作訪問控製。
添加一個文件到達觸發
添加一個文件到達觸發工作:
在側邊欄中,單擊工作流。
在的名字列在工作選項卡中,單擊工作名稱。
在工作細節右邊的麵板,點擊添加觸發器。
在觸發類型中,選擇文件的到來。
在存儲位置,輸入外部位置或一個子目錄的URL的外部位置監控。
(可選)配置高級選項:
最小間隔時間觸發在幾秒鍾內:最低時間等待觸發運行之前運行完成之後。文件到達這一時期引發等待時間到期後隻運行。使用這個設置來控製創建的頻率運行。
後等待最後一秒的變化:時間等引發運行後文件的到來。在這段時間重置計時器到達另一個文件。這個設置可以使用批量文件到達時,整個批處理所有文件已經到達後需要處理。
驗證配置,單擊測試連接。
點擊保存。
接收通知到達觸發失敗的文件
通知如果一個文件的到來引發無法評估,配置電子郵件或係統目的地通知工作失敗。看到添加電子郵件和係統工作的通知事件。