使用生成的列湖三角洲

學習如何使用生成的列

下麵的例子顯示了如何創建一個表生成的列:

創建表默認的。people10m(idINT,firstName字符串,middleName字符串,姓字符串,性別字符串,生日時間戳,dateOfBirth日期生成的總是作為(投(生日作為日期)),ssn字符串,工資INT)

DeltaTable。創建(火花)\。的表(“default.people10m”)\。addColumn(“id”,“INT”)\。addColumn(“firstName”,“字符串”)\。addColumn(“middleName”,“字符串”)\。addColumn(“姓”,“字符串”,評論=“姓”)\。addColumn(“性別”,“字符串”)\。addColumn(“生日”,“時間戳”)\。addColumn(“dateOfBirth”,DateType(),generatedAlwaysAs=“鑄(生日日期)”)\。addColumn(“ssn”,“字符串”)\。addColumn(“工資”,“INT”)\。執行()

DeltaTable。創建(火花)。的表(“default.people10m”)。addColumn(“id”,“INT”)。addColumn(“firstName”,“字符串”)。addColumn(“middleName”,“字符串”)。addColumn(DeltaTable。columnBuilder(“姓”)。數據類型(“字符串”)。評論(“姓”)。構建())。addColumn(“姓”,“字符串”,評論=“姓”)。addColumn(“性別”,“字符串”)。addColumn(“生日”,“時間戳”)。addColumn(DeltaTable。columnBuilder(“dateOfBirth”)。數據類型(DateType)。generatedAlwaysAs(“鑄(dateOfBirth日期)”)。構建())。addColumn(“ssn”,“字符串”)。addColumn(“工資”,“INT”)。執行()

生成的列存儲當作正常的列。也就是說,他們占據存儲。

以下限製適用於生成的列:

• 一代表達式可以使用任何火花的SQL函數始終返回相同的結果給出相同的參數值時,除了以下類型的功能:

  • 用戶自定義函數。

  • 聚合函數。

  • 窗口函數。

  • 函數返回多個行。

• 磚運行時的9.1及以上,合並當你設定操作支持生成列spark.databricks.delta.schema.autoMerge.enabled為true。

與光子磚運行時8.4及以上的支持,三角洲湖可以生成分區時過濾器為一個查詢分區列被定義為一個以下表達式:

• 鑄造(坳作為日期)和類型的上校是時間戳。

• (col)和類型的上校是時間戳。

• 兩個分區列定義的年(col),月(col)和類型的上校是時間戳。

• 三個分區列定義年(col),月(col),天(col)和類型的上校是時間戳。

• 四個分區列定義的年(col),月(col),天(col),小時(col)和類型的上校是時間戳。

• SUBSTRING(坳,pos機,蘭)和類型的上校是字符串

• DATE_FORMAT(坳,格式)和類型的上校是時間戳。

  • 你隻能使用日期的格式使用以下模式:yyyy-MM和yyyy-MM-dd-HH。

  • 在磚運行時10.4 LTS以上,您還可以使用以下模式:yyyy-MM-dd。

如果一個分區列被定義為一個前麵的表達式,使用底層的基礎和查詢過濾器數據列的表達式,一代三角洲湖看著基列之間的關係,生成的列,並填充分區過濾器生成基於分區列如果可能的話。例如,得到下表:

創建表事件(eventId長整型數字,數據字符串,eventType字符串,eventTime時間戳,eventDate日期生成的總是作為(投(eventTime作為日期)))分區通過(eventType,eventDate)

如果你然後運行下麵的查詢:

選擇*從事件在哪裏eventTime> =“2020-10-01”就是< =“2020-10-01 12:00:00”

三角洲湖自動生成一個分區過濾器,這樣前麵的查詢隻讀取的數據分區日期= 2020-10-01即使沒有指定分區過濾器。

另外一個例子,得到下表:

創建表事件(eventId長整型數字,數據字符串,eventType字符串,eventTime時間戳,一年INT生成的總是作為(一年(eventTime)),月INT生成的總是作為(月(eventTime)),一天INT生成的總是作為(一天(eventTime)))分區通過(eventType,一年,月,一天)

如果你然後運行下麵的查詢:

選擇*從事件在哪裏eventTime> =“2020-10-01”就是< =“2020-10-01 12:00:00”

三角洲湖自動生成一個分區過濾器,這樣前麵的查詢隻讀取的數據分區年= 2020 /月= 10 /天= 1即使沒有指定分區過濾器。

您可以使用一個解釋條款和檢查提供的計劃是否三角洲湖自動生成任何分區過濾器。

使用標識列在三角洲湖

三角洲湖的身份列生成的列分配惟一的值的類型為每個記錄插入到表中。您可以指定一個初始值和步長,可以包括積極的和消極的價值觀。標識列隻支持長整型數字如果指定值類型和操作失敗超過支持的範圍長整型數字。

值指定的身份列是獨特和增量的方向指定的步驟,在指定的步驟大小的倍數,但不保證是連續的。

用戶可以選擇指定標識列的值在insert操作,但這可以通過使用禁用總是在標識列關鍵字聲明。

表無法分區的一個標識列,你不能標識列上執行更新操作。

你不能將標識列添加到現有表。與標識列創建一個表,看看創建表(使用)。

學習與數據同步的身份列值,明白了ALTER TABLE。