三角洲住表屬性引用
本文提供了一個參考三角洲生活表JSON設置規範和表屬性數據磚。為更多的細節在使用這些不同屬性和配置,看到下麵的文章:
三角洲生活表管道配置
字段 |
|---|
id 類型: 這個管道全局惟一標識符。係統標識符分配的,不能更改。 |
的名字 類型: 一個用戶友好的名稱。這個名字可以用來識別管道工作在UI中。 |
存儲 類型: 位置DBFS和雲存儲在輸出數據和元數據所需的管道執行存儲。表和元數據存儲在子目錄的位置。 當 的 |
配置 類型: 一個可選的設置添加到列表的火花配置集群運行的管道。這些設置由三角洲生活讀表運行時和用於管道通過火花配置查詢。 元素必須被格式化 |
庫 類型: 筆記本的數組包含管道代碼和所需的工件。 |
集群 類型: 數組的規範集群運行管道。 如果不指定這個值,管道會自動選擇一個默認集群配置管道。 |
發展 類型: 一個標誌指示是否運行的管道 默認值是 |
通知 類型: 一個可選的一係列規範郵件通知當管道更新完成後,失敗的事情錯誤,失敗與non-retryable錯誤,或流失敗。 |
連續 類型: 一個標誌指示是否運行管道不斷。 默認值是 |
目標 類型: 的名稱數據庫持久化管道輸出數據。配置 |
通道 類型: 版本的三角洲住表運行時使用。支持的值是:
的 |
版 類型 三角洲生活表產品版本運行管道。此設置允許你選擇最好的產品版本基於管道的需求:
的 |
光子 類型: 一個標誌指示是否使用光子運行時管道運行。光子是磚高性能火花的引擎。光子使管道比non-Photon管道宣傳以不同的速度。 的 |
pipelines.maxFlowRetryAttempts 類型: 的最大數量嚐試失敗重試前流管道更新發生的事情失敗時。 默認值是2。默認情況下,當事情發生故障,三角洲生活表運行時嚐試運行流三次包括最初的嚐試。 |
pipelines.numUpdateRetryAttempts 類型: 嚐試重試的最大數量更新之前沒有更新發生的事情失敗時。運行一個完整的更新重試。 默認值是5。這個參數隻適用於在生產模式下運行觸發更新。沒有重試時管道在開發模式下運行。 |
三角洲生活表屬性表
除了表屬性的支持三角洲湖,你可以設置下表屬性。
表屬性 |
|---|
pipelines.autoOptimize.managed 默認值: 啟用或禁用自動將這個表的優化。 |
pipelines.autoOptimize.zOrderCols 默認值:無 一個可選的字符串包含一個以逗號分隔的z值這個表的列名。例如, |
pipelines.reset.allowed 默認值: 控製是否允許一個完全刷新表。 |
美國疾病控製與預防中心表屬性
下麵的表屬性被添加到控製墓碑管理的行為刪除事件當使用疾病預防控製中心:
表屬性 |
|---|
pipelines.cdc.tombstoneGCThresholdInSeconds 默認值:5分鍾 將這個值設置為匹配的最高預期無序的數據之間的時間間隔。 |
pipelines.cdc.tombstoneGCFrequencyInSeconds 默認值:60秒 控製頻率墓碑是清理檢查。 |
管道觸發間隔
您可以指定一個管道觸發間隔為整個三角洲住表管道或聲明的數據集的一部分。看到管道觸發間隔。
pipelines.trigger.interval |
|---|
默認是基於流型:
值是一個數字加上時間單位。以下是有效時間單位:
您可以使用單數或複數單位在定義值,例如:
|