Databricks SQL發布說明

本文列出了Databricks SQL的新特性和改進，以及已知的問題和常見問題。

發布過程

Databricks不斷更新Databricks SQL web應用程序用戶界麵，所有用戶在短時間內得到相同的更新。

此外，Databricks通常定期發布新的SQL倉庫計算版本。兩個渠道總是可用的:預覽和當前。

請注意

版本正在上演。您的Databricks帳戶可能不會更新到新的SQL倉庫版本或Databricks SQL功能，直到首次發布日期後一周或更長時間。

渠道

通道允許您選擇是否使用當前的SQL倉庫的計算版本或預覽的版本。預覽版本可以讓您在它成為Databricks SQL標準之前試用功能。利用預覽版本來測試您的生產查詢和儀表板，以應對即將發生的更改。

通常，預覽版本在發布到預覽通道大約兩周後被提升到當前通道。一些特性，例如安全特性、維護更新和錯誤修複，可以直接發布到當前通道。不時地，Databricks可能會以不同的時間表向當前頻道推廣預覽版本。每個新版本將在以下部分公布。

要了解如何將現有SQL倉庫切換到預覽通道，請參見使用預覽通道．

當前的

2022.30版本:2022年9月14日- 10月10日

  • 描述和顯示SQL udf現在在其輸出中顯示Unity Catalog名稱。

  • 在Unity Catalog中創建的對象具有信息模式支持。

  • 使用Unity Catalog的表的信息約束。

  • 可用於所有工作負載的Unity目錄。

  • 每個可用區域支持一個單一亞Metastore。

    • 一個Metastore最多可以有1000個目錄。

    • 一個Catalog最多可以有10,000個模式。

    • 一個模式最多可以有10,000個表。

  • SQL udf現在在Unity目錄中公開預覽。指創建函數(SQL)參閱有關如何創建和使用SQL udf的信息。

  • Unity目錄中的外部位置的SQL語法:

    • 創建|下降|改變|描述顯示外部位置是完全支持。

    • GRANT / REVOKE /顯示特定主體的權限外部位置完全支持

    • 示例語法:

      創建外部位置<your_location_name>URL' < your_location_path >”與（憑證<your_credential_name>）;

關於完整的Unity Catalog發布說明，請參見Unity Catalog發布說明．

預覽

2022.35版本:2022年9月14日- 10月10日

  • 合並成現在在有效的時候使用動態文件和分區修剪來提高性能

  • 使用動態文件修剪改進了Delta中的衝突檢測

  • 轉換來δ自動推斷Parquet表的分區模式

  • 表模式現在支持列的默認值

  • 無服務器:您現在可以使用28個新的內置H3表達式進行地理空間處理。見H3地理空間函數。

  • 新的聚合函數any_value

  • 創建特權現在可以授予統一目錄的metastores

  • 優化了未分區表的寫操作

  • SQL:改變分享現在支持開始版本

Web應用程序用戶界麵更新

章節中描述的SQL Warehouse計算版本與本節中列出的特性無關渠道發行說明的部分。

2022年9月29日,

改進:

  • 您現在可以向這些資產的所有者請求訪問Databricks SQL查詢、警報和儀表板。

  • 現在可以在query history頁麵上通過查詢持續時間和語句類型進行篩選。

    • 要使用查詢持續時間過濾器，請輸入一個時間量並選擇一個時間單位。曆史結果返回運行時間超過指定時間的查詢。

    • 要使用語句類型篩選器，請從下拉列表中選擇語句類型。曆史結果返回包含該語句的查詢。

解決辦法:

  • 修正了在自定義警報模板中不是所有支持的HTML標記都能工作的問題。所有標簽都有文檔說明。

  • 修正了可視化通知祝酒。例如，雙擊以縮小以前沒有顯示的可視化。

  • 修正了在圖表上交換坐標軸不反映在圖表名稱中的問題。

2022年9月22日

改進:

  • 當多個計數器小部件顯示在儀表板上時，相同大小的計數器小部件將具有相同的字體大小。

  • 更新了組合圖表，當使用雙軸時，隻能在同一軸上使用相同的圖表類型(例如，線形，柱形)。係列別名也應用於軸。

  • 增加了代理鍵和的自動完成支持列表操作。

解決辦法:

  • 修正了文本參數不被接受的問題零作為一個有效值。

2022年9月15日

解決辦法:

  • 修正了從。查看查詢曆史的問題SQL倉庫列表頁麵不工作。

2022年9月8日

改進:

  • 在DSE/SQL主頁中引入新的“開源集成”卡，顯示諸如Delta Live Tables和dbt core等開源集成選項。

解決辦法:

  • 修正了可視化選項卡阻止參數下拉菜單的問題。

2022年9月1日

改進:

  • 引入一個新的簡化的UI來添加參數和過濾器。選擇並選擇添加過濾器或參數。

  • SQL令牌的括號，例如' OVER() '，現在將自動完成。

修複:

  • 修正了全屏查看儀表板忽略調色板的問題。

  • 修正了一個快速輸入然後使用運行快捷方式運行以前的查詢文本，而不是新鍵入的查詢文本。

  • 修正了使用鍵盤命令，ctrl+輸入要運行查詢將提交重複的查詢。

2022年8月25日,

解決辦法:

  • 修正了查詢參數更改時儀表板過濾器不更新的問題。

2022年8月18日

  • 對於Databricks SQL, Unity目錄(公共預覽)是可在預覽通道。有關更多信息，請參見什麼是Unity Catalog?．

  • 文檔:警報API文檔已經發布。

  • 可視化:用戶現在可以為日期過濾器設置默認值。每當在查詢或儀表板上刷新過濾器時，都會應用默認值。

  • 修複:

    • 修正了如果儀表板仍在重新加載時，應用更改無法工作的問題。

    • 修正了查詢不返回結果時列太窄的問題。

2022年8月11日,

改進:

  • 當用戶刷新失敗時，可以收到郵件。要啟用這種通知，請以SQL Admin的身份登錄並導航到SQL Admin Console。下失敗的郵件，選擇希望接收失敗通知的對象類型(查詢、儀表板或警報)。每小時發送一次失敗報告。

  • 可視化

    • 為可視化和儀表板引入新的、現代的調色板。要將儀表板更改為新的顏色調色板，到您的儀表板，單擊<按鈕>編輯 -> <按鈕>顏色 -> <按鈕>導入並選擇磚顏色．SQL管理員還可以通過進入 -> -> -> 並選擇新的調色板來設置工作區的默認選項。

修複:

  • 修正了之前選擇來應用過濾器的問題，如果查詢已經在執行。

2022年8月4日

改進:

  • 在克隆儀表板時，現在可以選擇是否也應該克隆查詢。

  • 選項卡內容在瀏覽器選項卡之間同步。查詢的狀態現在將在所有瀏覽器選項卡上同步。這意味著，如果您在瀏覽器選項卡1中處理query1，然後切換到瀏覽器選項卡2，那麼您將看到query1處於原始瀏覽器選項卡時的狀態。

解決辦法:

  • 餅圖中空字符串的標簽現在反映該字符串是空的，而不是值的索引。

2022年7月28日,

  • 警報

    • 自定義警報電子郵件模板已更新，以禁止可能構成安全風險的某些HTML標記。例如，button不是一個被允許的HTML標記。因此，如果用戶有一個<按鈕>點擊這裏在他們的自定義警報體，而不是看到點擊這裏在他們的電子郵件中，他們會看到。看到警報查看允許的HTML標記和屬性列表。

    • 用戶現在可以添加電子郵件作為警報目的地，而不需要管理員權限。收件人必須是同一工作區中的其他用戶。

  • 下載:用戶現在可以從CSV和TSV格式的Databricks SQL中下載最多1GB的結果數據，而以前的數據行為64,000行。

  • 可視化

    • 您現在可以直接在儀表板上編輯可視化。在編輯模式下，單擊烤肉菜單並選擇可視化編輯開始編輯可視化。

    • 在下載與利用聚合的可視化關聯的結果時，下載的結果也會被聚合。下載的選項是從底部的烤肉串移動到與該選項卡相關的烤肉串。下載的結果來自創建可視化的查詢的最近執行。

  • SQL Editor:當瀏覽器內表顯示的數據被限製為64,000行時，結果表現在會顯示一條消息。TSV和CSV下載的數據仍將高達約1GB。

  • 查詢過濾器:

    • 查詢過濾器已更新為動態工作在客戶端或服務器端，以優化性能。以前的查詢過濾器(現在是遺留的)隻操作客戶端。類仍然可以使用遺留過濾器：：語法,如果需要的話。

    • 更新後的過濾器更簡單:用戶單擊a+添加過濾器按鈕並從下拉菜單中選擇一列。以前，用戶必須直接修改查詢文本。

    • 相關值被高亮顯示，以便更容易地看到篩選器中的哪個選擇將返回給定其他篩選器選擇的結果。

  • 查詢曆史:查詢曆史中的查詢詳細信息現在顯示查詢源，這是執行查詢的來源。

2022年7月21日

  • 關於共享的通知:用戶現在將通過電子郵件收到指示板、查詢或警報共享的通知。

  • 通過新的嵌入式編輯器工具包增強了SQL編輯器體驗

    • 實時語法錯誤高亮顯示(例如，關鍵字錯誤、表不存在以及修複錯誤的建議)

    • 在上下文幫助中:懸停(例如，完整的表名、詳細的功能麵板)和內聯執行錯誤消息(例如，在執行後突出顯示錯誤行)

    • 建議的智能排序(如參數自動補全、排序公式、低噪聲匹配)

2022年7月14日

  • 方法上傳TSV文件創建表格UI除了CSV文件。

  • Databricks SQL現在提供了在與用戶共享儀表板、查詢或警報時通過電子郵件通知用戶的選項。

  • 可視化表現在可以選擇在結果旁邊顯示行號。

  • 當您為Chloropleth可視化選擇一個地理區域時，您現在會得到接受值的內聯提示。

2022年6月23日

  • SQL端點名稱更改:Databricks將名稱從SQL端點更改為SQL倉庫，因為它不僅僅是運行SQL命令的API入口點。SQL倉庫是滿足所有數據倉庫需求的計算資源，是Lakehouse平台不可分割的一部分。Beplay体育安卓版本計算資源是在雲中提供處理能力的基礎設施資源。

  • 對於Choropleth可視化，在可視化編輯器中的關鍵列和目標字段選擇被重命名為地理列和地理類型。這種為可理解性而進行的重命名不會對新的或現有的Choropleths引入任何行為更改。

  • 限製1000個查詢選項已從SQL查詢編輯器中的複選框移到運行按鈕中的複選框。

  • 查詢曆史表中的緩存查詢現在用Cache標記。

  • 手動刷新儀表板使用儀表板的倉庫(如果可用)，而不是每個查詢的倉庫。

  • 刷新警報總是使用警報的倉庫，而不管運行為查看者/所有者設置如何。

2022年6月9日

  • 當您將鼠標懸停在端點選擇器上時，完整的端點名稱將顯示為工具提示。

  • 當您在SQL Editor模式瀏覽器中進行篩選時，搜索詞現在會在搜索結果中突出顯示。

  • SQL編輯器中的“關閉全部”對話框現在顯示未保存查詢的列表。

  • 要在SQL編輯器中重新打開最後一個關閉的選項卡，使用這個新的鍵盤快捷方式:< Cmd >+<轉>+<選項>+T

  • 現在可以向組合圖表添加數據標簽。

  • 可視化聚合操作的列表現在包括方差和標準差。

2022年5月26日,

創作的改進:

  • 您現在可以在創建可視化時繞過聚合。當查詢已經包含聚合時，這尤其有用。例如，如果您的查詢是選擇AVG (price_per_sqft),isStudio,位置集團通過的位置,isStudio，圖表編輯器以前要求顯式指定另一層聚合。

  • 當您編寫儀表板時，您現在能夠:

    • 複製文本框小部件

    • 展開編輯文本框麵板的大小

  • 當您編寫可視化時，錯誤列的默認聚合是標準偏差。

修複:

  • 隻有當儀表板處於編輯模式時，可視化的編輯操作才可用。編輯操作不再作為視圖模式操作可用。

  • 當您創建一個新的查詢時，它將在焦點選項卡右側的選項卡中打開，而不是在列表的末尾。

  • 開放查詢模式顯示了哪個查詢已經打開，並提供了將焦點切換到該查詢選項卡的選項。

  • 桑基和日暴圖表不再把0當作空值。

2022年5月19日,

  • 修複問題:當您在SQL編輯器中打開特定的可視化選項卡並將鏈接共享給另一個用戶時，該用戶在單擊共享鏈接時將在SQL編輯器中擁有相同的焦點。

  • 改進:

    • Microsoft Teams現在是一個受支持的警報目的地。

    • Date Range、Date and Time Range和Date and Time Range(帶秒)參數現在支持指定一周的開始日期的選項，默認為Sunday。

2022年5月12日

  • 可視化現在直接在UI中支持時間分類。您現在可以通過更改下拉列表值，而不是添加和修改，輕鬆地在年度、月度、每日或每小時的數據箱之間切換date_trunc ()函數在查詢文本本身中。

  • 儀表板現在默認具有顏色一致性。如果在多個圖表中有相同的係列，那麼在所有圖表中係列的顏色總是相同的——不需要任何手動配置。

2022年5月3日

  • 當與用戶或組共享儀表板時，我們現在還提供了共享可視化和參數使用的所有上遊查詢的能力。

    • 當您沒有共享一個或多個上遊查詢的權限時，您將收到一條警告消息，提示並不是所有查詢都可以共享。

    • 共享儀表板時授予的權限不會覆蓋、否定或擴展上遊查詢上的現有權限。例如，如果一個用戶或組在共享儀表板上具有“可以作為所有者運行”的權限，但在上遊查詢上隻具有“作為查看者運行”的權限，則該上遊查詢上的有效權限將是“作為查看者運行”。

2022年4月27日

  • 當按需導出為PDF並生成預定訂閱電子郵件時，您的儀表板布局現在仍然保留。

2022年3月17日

  • 圖表包括一個新的組合可視化選項。這允許您創建包含柱狀和直線的圖表。

2022年3月10日

  • Unity目錄(預覽)允許你管理治理和訪問你的數據級別的帳戶。你可以集中管理metastore和數據權限，你可以分配一個metastore到你的賬戶中的多個工作空間。你可以使用Databricks SQL data Explorer或SQL編輯器管理和交互Unity Catalog數據和對象，你可以在儀表板和可視化中使用Unity Catalog數據。看到什麼是Unity Catalog?．

請注意

Unity Catalog要求SQL端點使用2022.11版本，在預覽版中通道．

  • Delta共享(預覽)允許您與組織外部的收件人共享隻讀數據。Databricks SQL支持查詢Delta共享數據，並在可視化和儀表板中使用它。

    Delta Sharing受適用條款的約束，帳戶管理員必須接受這些條款才能啟用該功能。

    看到使用Delta Sharing共享數據．

  • 每次手動或按計劃刷新儀表板時，都會刷新儀表板和上遊中的所有查詢，包括參數使用的查詢。當單個可視化被刷新時，所有上遊查詢，包括參數使用的查詢，都會被刷新。

2022年3月3日

  • 隊列可視化已經更新，以便隊列從最小值和最大值插入，而不是0和100。現在，在可用數據的實際範圍內區分人群要容易得多。以前，如果所有的數字都很接近，它們就使用相同的顏色。現在，接近的數字更有可能使用不同的顏色，因為隊列是從最大值到最小值範圍劃分的，以形成每個序列。

  • 更容易看到指示板訂閱計劃是活動的還是暫停的。當你點擊訂閱，如果指示板訂閱計劃暫停，則消息此計劃已暫停出現了。當儀表板訂閱計劃暫停時，您可以從儀表板訂閱或取消訂閱，但不會發送預定的快照，也不會更新儀表板的可視化。

  • 當你的觀點查詢曆史，您現在可以按持續時間對列表進行排序。默認情況下，查詢按開始時間排序。

2022年2月24日

  • 在數據資源管理器中，您現在可以查看用戶或組對表、視圖、模式或目錄的權限。單擊該對象，然後單擊權限並使用新的過濾盒。

2022年2月17日

  • 可視化變得更聰明了!當查詢產生一個或兩個列時，將自動選擇推薦的可視化類型。

  • 現在可以創建柱狀圖可視化可視化每個值在數據集中出現的頻率，並了解數據集中的值是集中在少量範圍內還是分布更廣。

  • 在這兩個查詢曆史而且查詢資料，您現在可以將查詢字符串和失敗查詢的錯誤消息展開到全寬。這使得分析查詢計劃和排除失敗查詢的故障變得更加容易。

  • 在欄、線、區域、餅和熱圖可視化中，您現在可以直接在可視化配置UI中執行聚合，而不需要修改查詢本身。在利用這些新功能時，將對整個數據集執行聚合，而不是局限於前64,000行。當編輯在此版本之前創建的可視化時，您將看到這樣一條消息這可視化使用一個老配置。新可視化支持聚合數據直接在的編輯器。如果您想利用新的功能，您必須重新創建可視化。看到在可視化中啟用聚合．

2022年2月10日

  • 你現在可以為儀表板設置自定義調色板．該儀表板中顯示的所有可視化都將使用指定的麵板。設置自定義調色板不會影響可視化在其他儀表板或SQL編輯器中的顯示方式。

    您可以為一個調色板指定十六進製值，或者從另一個調色板導入顏色，無論是由Databricks提供的還是由工作區管理員創建的。

    當調色板應用於指示板時，該指示板中顯示的所有可視化都會默認使用所選的調色板，即使您在創建可視化時配置了自定義顏色。要覆蓋此行為，請參見為可視化自定義顏色．

  • 工作空間管理員現在可以了創建一個自定義調色板使用SQL管理控製台。創建自定義調色板之後，可以在新的和現有的儀表板中使用它。若要為儀表板使用自定義調色板或對其進行自定義，可以編輯儀表板設置。

  • 當從SQL向儀表板添加使用參數的可視化時垂直的省略菜單中，可視化現在默認使用儀表板級參數。方法添加小部件時的行為與此相匹配添加可視化按鈕。

  • 當您查看查詢曆史並通過參數組合篩選列表時，現在將顯示匹配查詢的數量。

  • 在可視化中，修正了y軸範圍無法調整到特定值的問題。

2022年2月3日

  • 默認情況下，現在為所有用戶啟用了選項卡SQL編輯器。有關更多信息或禁用選項卡編輯器，請參見編輯多個查詢．

2022年1月27日

  • 對於如何查看、共享和導入查詢的概要文件，已經進行了改進。看到查詢資料．

  • Details可視化現在允許您像Table可視化一樣重命名列。

  • 現在可以通過中鍵單擊SQL編輯器中的選項卡來關閉它。

  • 下麵的鍵盤快捷鍵已添加到選項卡SQL編輯器中:

    • 關閉所有選項卡:Cmd + Shift + +選項(macOS) /Ctrl + Shift + +選項(窗口)

    • 關閉其他選項卡:Cmd +選項+ Shift + W(macOS) /Ctrl + Shift + W +選項(窗口)

    這些鍵盤快捷鍵提供了一種替代選項卡上的右鍵來訪問相同的操作。要查看所有鍵盤快捷鍵，請單擊鍵盤圖標選項卡SQL編輯器中的鍵盤圖標。

2022年1月20日

  • 表中整數和浮點數據類型的默認格式已更新為不包含逗號。這意味著默認情況下，值如10002343將不再有逗號。若要將這些類型格式化為用逗號顯示，請單擊可視化編輯，展開列的區域，並修改格式以包含逗號。

  • 為了更好地與瀏覽器呈現限製保持一致，可視化現在最多顯示10,000個數據點。例如，一個散點圖將顯示最多10,000個點。如果數據點數量已被限製，則顯示警告信息。

2022年1月13日

  • 我們修正了一個問題保存按鈕有時會被禁用。的保存按鈕是現在總是啟用，並包括星號(＊)當檢測到未保存的更改時。

2021年12月15日

  • Databricks SQL是通用的。這標誌著為您提供第一個統一數據、AI和BI工作負載的Lakehouse平台的重要裏程碑。Beplay体育安卓版本使用GA，您可以期待Databricks為關鍵任務工作負載提供最高級別的穩定性、支持和企業就緒性。讀了GA公告的博客要學習更多的知識。

  • 警報現在獨立於查詢調度。當您創建一個新的警報並創建一個查詢時，係統會提示您也為警報創建一個時間表。如果您有一個現有的警報，我們已經從原始查詢複製了時間表。此更改還允許您為兩者設置警報作為所有者運行而且作為觀眾運行查詢。作為所有者運行查詢使用查詢所有者的憑證在指定的警報調度上運行。作為觀眾運行使用警報創建者的憑證在指定的警報調度上運行查詢。看到警報而且安排一次查詢．

  • 的參數中重新排序SQL編輯器而在指示板．

  • 對創建熱圖可視化的文檔進行了擴展。看到熱圖可視化．

2021年12月9日

  • 當您創建表可視化，您現在可以將列的字體顏色設置為靜態值或基於列字段值的值範圍。將文字值與閾值進行比較。例如，將值超過的結果著色500000，創建閾值>500000,而不是>500000年．看到有條件格式化列顏色．

  • 現在，選項卡SQL編輯器模式瀏覽器中的圖標允許您區分表和視圖。

2021年12月1日

  • 現在可以在工作區級別應用SQL配置參數。這些參數自動應用於工作區中所有現有的和新的SQL端點。看到SQL配置參數．

2021年11月18日

  • 現在可以使用側欄快捷方式打開SQL編輯器。要打開SQL編輯器，單擊SQL編輯器．

  • 如果您擁有創建數據科學與工程集群的權限，您現在可以通過單擊創建SQL端點創建，然後單擊SQL端點．

  • 管理員現在可以通過UI將查詢、儀表板或警報的所有權轉移給不同的用戶。看到的:

2021年11月4日

  • 在一個地圖(Chloropleth)可視化可視化，圖例中顏色的最大漸變步數從11增加到20。默認是5梯度步驟包括最小的顏色而且馬克斯的顏色．

  • 的選項卡式SQL編輯器現在支持批量選項卡管理。如果右鍵單擊一個選項卡，您將看到to選項接近別人，關閉了，接近正確,關閉所有．注意，如果右鍵單擊第一個或最後一個選項卡，則不會看到關閉了或接近正確．

2021年的10月28日

  • 當您在Data Explorer中查看表時，您有兩個選項來簡化與表的交互:

    • 點擊創建>查詢創建一個選擇所有列並返回前1000行的查詢。看到創建一個基本查詢．

    • 點擊創建>快速儀表盤打開一個配置頁麵，您可以在其中選擇感興趣的列，並創建一個儀表板，並支持使用這些列提供一些基本信息的查詢，並展示儀表板級別的參數和其他功能。看到創建一個快速儀表盤．

2021年10月19日

  • 新的快捷鍵現在可以在標簽編輯器：

    • 打開新標簽頁:

      • 窗口:Cmd + Alt + T

      • 麥克:Cmd +選項+ T

    • 關閉當前的選項卡

      • 窗口:Cmd + Alt + W

      • 麥克:Cmd +選項+ W

    • 打開查詢對話框

      • 窗口:Cmd + Alt + O

      • 麥克:Cmd +選項+ O

2021年9月23日

  • 您現在可以通過克隆現有的指示板來創建新的指示板，隻要您擁有可以運行，可以編輯而且可以管理儀表板和所有上遊查詢的權限。看到克隆一個儀表板．

  • 你現在可以使用集團通過在一個有多個y軸列的可視化中。看到分組．

  • 你現在可以使用{{@@yPercent}}格式化非規格化堆疊柱狀圖中的數據標簽。看到疊加．

  • 如果您使用SAML身份驗證，並且您的SAML憑據將在幾分鍾內過期，那麼現在會主動提示您在執行查詢或刷新儀表板之前再次登錄。這有助於防止由於在查詢執行期間憑據過期而造成的中斷。

2021年9月20日

2021年9月16日

  • 在查詢結果中,長整型數字當大於9007199254740991時，結果現在被序列化為字符串。這解決了一個問題長整型數字可以在查詢結果中截斷結果。其他整數結果仍然被序列化為數字。軸標簽和工具提示上的數字格式不適用於長整型數字序列化為字符串的結果。有關Databricks SQL中數據類型的更多信息，請參見BIGINT類型(Databricks SQL)．

2021年9月7日

Databricks將在一周的時間內推出這些變化。在9月7日之前，您的工作區可能不會為這些更改啟用。

  • Databricks SQL現在在公共預覽中，並在新的工作區中為所有用戶啟用。

    請注意

    如果您的工作區在公共預覽期間為Databricks SQL啟用了，也就是說，在從2021年9月7日開始的那一周之前，用戶將保留在該日期之前分配的權限，除非您更改它。換句話說，如果用戶在公共預覽期間沒有訪問Databricks SQL的權限，那麼現在他們將無法訪問，除非管理員將權限授予他們。

  • 管理員可以管理哪些用戶可以訪問Databricks SQL磚SQL訪問權利(databricks-sql-access在API中)到用戶或組。默認情況下，新用戶具有此權限。

    管理員可以限製用戶或組隻能訪問Databricks SQL，並通過刪除Databricks的工作空間的訪問權利(workspace-access在API中)從用戶或組。默認情況下，新用戶具有此權限。

    重要的

    要登錄和訪問數據庫，用戶必須具有磚SQL訪問或工作空間的訪問權利(或兩者)。

    有關更多信息，請參見管理用戶和組．

  • 一個小典型的SQL端點被稱為起動器的端點在所有工作空間上預先配置，因此您可以立即開始創建儀表板、可視化和查詢。要處理更複雜的工作負載，可以很容易地增加其大小(以減少延遲)或底層集群的數量(以處理更多並發用戶)。為了管理成本，啟動端點配置為在空閑120分鍾後終止。

  • 如果Serverless計算(私有預覽)為您的工作區啟用，您可以啟用Serverless SQL端點，一個無服務器SQL端點稱為Serverless起動器的端點自動創建，您可以將它用於儀表板、可視化和查詢。無服務器SQL端點比經典SQL端點啟動更快，並在空閑10分鍾後自動終止。

  • 為了幫助您快速上手和運行，為管理員和用戶提供了新的指導新手體驗。在默認情況下，開機麵板是可見的，您總是可以在側邊欄中看到還有多少開機任務。點擊任務離開重新打開開機麵板。

  • 您可以通過隻讀目錄中的兩個豐富數據集快速開始使用Databricks SQL樣品，該軟件可從所有工作區使用。在了解Databricks SQL之後，您可以使用這些數據庫來創建查詢、可視化和儀表板。不需要配置，所有用戶都可以訪問這些數據庫。

    • 的nyctaxi數據庫中包含出租車行程數據旅行表格

    • 的tpch數據庫包含以下表格中的零售收入和供應鏈數據:

      • 客戶

      • lineitem

      • 國家

      • 訂單

      • 部分

      • partsupp

      • 地區

      • 供應商

    點擊運行第一個查詢的新查詢nyctaxi數據庫。

  • 要了解如何在Databricks SQL中可視化數據而不需要配置，可以從儀表板樣例庫．的數據集為這些儀表板提供了動力樣品目錄。

    要查看儀表板示例庫，請單擊導入示例指示板在入職麵板。

  • 方法創建和刪除本機SQL函數創建函數而且刪除函數命令。

2021年9月2日

  • 用戶提供的可以編輯儀表板上的權限現在可以管理儀表板的刷新計劃和訂閱列表。在此之前,可以管理許可是必需的。有關更多信息，請參見自動刷新儀表板．

  • 現在可以暫時暫停計劃導出到儀表板訂閱者，而無需修改計劃。以前，您必須刪除所有訂閱者，禁用調度，然後重新創建。有關更多信息，請參見暫時暫停預定的儀表板更新．

  • 默認情況下，可視化不再根據返回的結果數量動態調整大小，而是無論結果數量如何都保持相同的高度。若要返回到前麵的行為並配置可視化以動態調整大小，請啟用動態調整麵板高度在儀表板中的可視化設置中。有關更多信息，請參見表．

  • 如果在同一個帳戶中可以訪問多個工作空間，則可以在Databricks SQL中切換工作空間。點擊賬戶的圖標在Databricks工作區的左下角，然後選擇一個工作區以切換到它。

2021年8月30日

  • 無服務器SQL端點為SQL查詢提供即時計算、最小管理和成本優化。

    到目前為止，SQL端點的計算都發生在AWS帳戶的數據平麵中。的初始版本Serverless計算增加了Serverless SQL端點到Databricks SQL，將這些計算資源移動到共享服務中的Databricks雲帳戶。

    您可以使用Databricks SQL查詢中的無服務器SQL倉庫，就像您使用您自己的AWS帳戶中的SQL端點一樣典型的SQL端點．但是，與經典SQL端點相比，無服務器SQL倉庫的啟動延遲通常較低，更容易管理，並且在成本方麵進行了優化。

    在創建無服務器SQL倉庫之前，必須有一個管理員為您的工作區啟用無服務器SQL端點選項．啟用之後，默認情況下新的SQL端點是無服務器的，但是您可以根據自己的喜好繼續創建無服務器的或經典的SQL端點。

    有關無服務器計算體係結構以及與經典數據平麵的比較的詳細信息，請參見Serverless計算．有關配置無服務器SQL倉庫(包括如何將經典SQL端點轉換為無服務器SQL)的詳細信息，請參見啟用無服務器SQL倉庫．

    有關受支持的無服務器SQL倉庫區域的列表，請參見支持Databricks雲和區域．

    重要的

    無服務器計算受帳戶所有者或帳戶管理員必須接受的適用條款的約束，以便啟用該特性。

2021年8月12日

  • 您現在可以向與Databricks帳戶沒有關聯的電子郵件地址發送預定的儀表板更新。查看儀表板時，單擊計劃查看或更新訂閱的電子郵件地址列表。如果電子郵件地址沒有與Databricks帳戶關聯，則必須將其配置為警報目的地。有關更多信息，請參見自動刷新儀表板．

  • 管理員現在可以在執行另一個用戶的查詢時終止該查詢。有關更多信息，請參見終止正在執行的查詢．

2021年8月5日

  • 改進的解釋結果格式

    • 解釋結果更容易閱讀

    • 格式化為無換行的等間距格式

2021年7月29日

2021年7月8日

  • 儀表板中的可視化小部件現在具有標題和描述，因此您可以根據儀表板本身定製多個儀表板中使用的可視化的標題和描述。

  • 側欄已經更新，以提高能見度和導航:

    • 倉庫現在SQL端點而且曆史重命名為查詢曆史．

    • 帳戶設置(以前稱為用戶)已遷往SQL帳戶圖標賬戶．當您選擇賬戶你可以更改數據庫工作空間和注銷。

    • 用戶設置已移動到用戶設置圖標設置被分成用戶設置而且SQL管理控製台．SQL管理控製台僅對管理員可見。

    • 幫助圖標變為幫助圖標幫助．

2021年7月01日

  • 新的Data Explorer允許您輕鬆地瀏覽和管理數據庫和表上的權限。用戶可以查看模式詳細信息，預覽示例數據，並查看表詳細信息和屬性。管理員可以查看和更改數據對象所有者，數據對象所有者可以授予和撤銷權限。有關詳細信息,請參見使用數據管理器發現和管理數據．

  • 水平圖中的y軸已更新，以反映與表格中相同的順序。如果您以前選擇了反向排序，則可以使用相反的順序在y軸選項卡上切換以反轉新的順序。

2021年6月23日

  • 現在支持臨時視圖。

2021年6月17日

  • 光子， Databricks的新向量化執行引擎，現在默認為新創建的SQL端點(UI和REST API)開啟。光子透明加速

    • 寫入Parquet和Delta表。

    • 許多SQL查詢。看到限製．

  • 輕鬆管理用戶和組創建集團，下降集團，改變集團，顯示組,顯示用戶命令。有關詳細信息,請參見安全聲明而且顯示報表．

  • 查詢編輯器模式瀏覽器在超過100個表的數據庫上更快速。在這樣的數據庫上，模式瀏覽器不會自動加載所有列;表列表仍然像往常一樣顯示，但列隻在單擊表時加載。此更改影響查詢編輯器中的查詢自動完成，因為它依賴此信息來顯示建議。在展開表並加載其列之前，這些建議是不可用的。

2021年6月3日,

2021年5月26日,

  • SQL Analytics被重命名為Databricks SQL。這一變化對客戶的影響如下:

    • 更新了web界麵中的引用。

    • 的權利授予訪問Databricks SQL重命名:

      • 用戶界麵：磚SQL訪問(以前SQL分析訪問）

      • SCIM API：databricks-sql-access(以前sql-analytics-access）

      具有以前授權的用戶、組和服務主體已遷移到新的授權。

    • 標記為審計日誌事件有關Databricks SQL的更改:

      • Databricks SQL事件的前綴現在是databrickssql．

      • changeSqlAnalyticsAcl現在是changeDatabricksSqlAcl．

  • 儀表盤更新

    • 儀表板導出文件名已更新為儀表板名稱+時間戳，而不是UUID。

    • 出口記錄上限由22k提高至64k。

    • 儀表板作者現在能夠定期導出和發送電子郵件儀表板快照。儀表板快照是從默認的儀表板狀態獲取的，這意味著與可視化的任何交互都不會出現在快照中。

      • 如果您是一個儀表板的所有者，您可以創建一個刷新計劃並訂閱其他用戶，他們將在每次刷新儀表板時獲得該儀表板的電子郵件快照。

      • 如果您擁有儀表板的查看權限，則可以訂閱現有的刷新計劃。

      看到儀表板快照訂閱．

  • 謂詞下推表達式(StartsWith，EndsWith，包含，(等於()),數據類型)在AWS Glue Catalog中被禁用，因為它們不受支持。

2021年5月20日

  • 您現在可以使用來自AWS KMS的自己的密鑰來加密Databricks的SQL查詢和存儲在Databricks中的查詢曆史。如果您已經為一個工作區配置了自己的密鑰，以為托管服務(筆記本和秘密)加密數據，那麼不需要進一步的操作。同樣的客戶管理密鑰現在也加密Databricks的SQL查詢和查詢曆史。看到被管理服務的客戶管理鍵．此更改隻影響存儲在靜止狀態的新數據。Databricks在今天之前存儲的SQL查詢和查詢曆史不保證使用此密鑰加密。

    Databricks SQL查詢結果存儲在工作區設置期間提供的根S3 bucket中，它們不使用托管服務密鑰進行加密。但是，您可以使用自己的密鑰對它們進行加密。看到工作空間存儲的客戶管理鍵．

    可以使用企業定價方案．

  • 的過去的執行TAB現在顯示相對時間。

2021年5月13日

  • Databricks SQL不再嚐試猜測列的類型。以前，一列用的格式xxxx-yy-dd被自動當作日期處理，即使它是一個識別代碼。現在，這一列不再被自動視為日期。如果需要，必須在查詢中指定。此更改可能導致依賴於先前行為的一些可視化不再工作。在這個版本中，您可以進行更改用戶設置圖標>設置>向後兼容性選項返回到以前的行為。在未來的版本中，我們將刪除該功能。

  • 查詢編輯器現在有一個查詢進度指示器。狀態更改現在可以在不斷更新的進度條中看到。

    進度條

2021年5月6日

  • 現在可以以PDF格式下載儀表板的內容。看到下載PDF．

  • 管理員用戶現在擁有對所有查詢和儀表板的視圖訪問權。在這個視圖中，管理員可以查看和刪除任何查詢或儀表板。但是，如果查詢或儀表板不與管理員共享，則管理員無法編輯查詢或儀表板。看到查詢管理視圖而且儀表板管理視圖．

  • 增加端點並發性的能力多集群負載平衡現已適用於所有帳戶。您可以創建在指定的最小和最大集群計數之間自動伸縮的端點。過載的端點將按比例向上擴展，負載不足的端點將按比例向下擴展。

2021年4月29日

2021年4月22日

  • 修正了由於內部錯誤導致無法訪問端點並被刪除的問題。

2021年4月16日

Databricks SQL與Apache Spark SQL語義保持兼容性。此版本更新了語義以匹配Apache Spark 3.1的語義。之前Databricks SQL是與Apache Spark 3.0語義一致的。

  • 統計聚合函數，包括性病，stddev，stddev_samp，方差，var_samp，偏態，峰度，covar_samp,相關係數,還零而不是翻倍。南當DivideByZero在表達式求值期間發生，例如，當stddev_samp應用於單個元素集。在此版本之前，它將返回翻倍。南．

  • grouping_id ()返回長值。在此版本之前，該函數返回int值。

  • 查詢計劃解釋結果現在已被格式化。

  • from_unixtime，unix_timestamp，to_unix_timestamp，to_timestamp,to_date如果指定的日期時間模式無效，將失敗。在這次發布之前，他們返回了零．

  • Parquet、ORC、Avro和JSON數據源拋出異常org.apache.spark.sql.AnalysisException: "如果在頂層列和嵌套結構中檢測到重複的名稱，則在read中發現數據模式中重複的列。"

  • 方法包裝結構和映射{}括號轉換為字符串。例如,顯示()行動和投表達式使用這樣的括號。在此版本發布之前，的dbrackets were used for the same purpose.

  • 結構、數組和映射的NULL元素在轉換為字符串時被轉換為“NULL”。在此版本發布之前，零元素被轉換為空字符串。

  • 十進製類型列的和溢出返回null。在此版本之前，在這種情況下，decimal類型列的和可能返回null或不正確的結果，甚至在運行時失敗(取決於實際的查詢計劃執行)。

  • IllegalArgumentException為不完全的間隔字麵量返回，例如，時間間隔' 1 '，時間間隔' 1一天2》，無效。在此版本之前，這些字麵量的結果是null。

  • 如果時間戳在前麵，則從Parquet文件和向Parquet文件加載和保存時間戳將失敗1900-01-0100:00:00Z，並加載(保存)為INT96類型。在此版本之前，這些操作不會失敗，但可能會導致輸入時間戳的移動，因為要從儒略曆/到陽曆/從陽曆/到陽曆。

  • 的schema_of_json而且schema_of_csv函數以字段名加引號的SQL格式返回模式。在此版本之前，該函數返回一個不帶引號的目錄字符串，並且是小寫的。

  • 字符，字符,VARCHAR在表模式中支持類型。表掃描和插入遵循char/varchar語義。如果char/varchar在表模式以外的地方使用，則會拋出異常(CAST是像前麵一樣簡單地將char/varchar作為字符串處理的異常)。

  • Hive外部編目中的表會拋出以下異常:

    • 改變表格．．添加分區拋出PartitionsAlreadyExistException如果新分區已經存在。

    • 改變表格．．下降分區拋出NoSuchPartitionsException對於不存在的分區。

2021年4月13日

  • 使用SQL端點排隊改進了查詢吞吐量。提交到SQL端點的查詢現在會在該端點已被運行的查詢飽和時排隊。這不會用請求重載端點，從而提高了查詢吞吐量。，可以查看改進後的性能端點監控屏幕．

2021年4月1日

  • 在查詢曆史中快速查找查詢在編譯、執行和獲取結果上花費的時間。看到查詢資料．以前，這些信息隻能通過單擊查詢並打開Execution Details選項卡獲得。

  • SQL端點不再超出最大指定集群的規模。分配給SQL端點的所有集群都在24小時後被回收，這可以創建一個有一個額外集群的簡短窗口。

2021年3月18日

  • 查詢編輯器中的自動完成功能現在支持Databricks SQL語法，並且支持上下文和別名。看到構造一個查詢．

  • 在服務器上的會話超時後，JDBC和ODBC請求不再因無效會話錯誤而失敗。BI客戶機現在能夠在會話超時發生時無縫恢複。

2021年3月11日,

  • 在新啟用Databricks SQL的工作空間中的管理員和用戶將不再自動訪問Databricks SQL。要啟用Databricks SQL，管理員必須:

    1. 去管理控製台．

    2. 單擊用戶選項卡。

    3. 在其帳戶的行中，單擊磚SQL訪問複選框。

    4. 點擊確認．

    5. 重複步驟3和步驟4授予用戶對Databricks SQL的訪問權限，或按照授予Databricks SQL的組訪問權限授予組的訪問權限。

  • 通過選擇，輕鬆創建查詢、儀表板和警報創建圖標創建>[查詢| Dashboard | Alert]在側邊欄的頂部。

  • 查詢編輯器現在保存草稿，並且可以恢複到已保存的查詢。看到恢複到已保存的查詢．

  • 您不能再創建外部數據源。

  • SQL端點的可靠性監控圖表得到了改進。圖表不再間歇性地顯示虛假的錯誤消息。

2021年3月04日

  • 查詢和儀表板API文檔現在可用。看到查詢、儀表板和警報API 2.0．

  • 現在總是執行預定的儀表板刷新。刷新是在web應用程序中執行的，因此您不再需要在瀏覽器中保持儀表板是打開的。看到自動刷新儀表板．

  • 方法創建的新SQL端點SQL API倉庫現在已啟用自動停止，默認超時時間為兩個小時。

  • 在線用戶現在可以連接到SQL端點。參見新的在線Tableau快速入門．

  • SQL端點不再因為單個可用分區中的AWS資源不足而啟動失敗。

2021年2月26日

Azure Databricks的新的Power BI連接器於2020年9月在公開預覽中發布，現在是GA。它提供了:

  • 簡單的連接配置:新的Power BI Databricks連接器集成到Power BI中，隻需單擊幾下，就可以使用一個簡單的對話框對其進行配置。

  • 更快的導入和優化的元數據調用，這要感謝新的Databricks ODBC驅動程序，它帶來了顯著的性能改進。

  • 通過Power BI尊重Databricks訪問Databricks數據訪問控製表．

有關更多信息，請參見連接電源BI．

2021年2月25日,

  • 在SQL端點上設置權限現在更快了。這是在創建新SQL端點之後的一個步驟，並且在編輯現有端點時很容易訪問。看到創建SQL倉庫而且SQL倉庫訪問控製．

  • 要重用可視化設置，現在可以複製可視化。看到克隆一個可視化．

  • 查詢結果現在存儲在您的帳戶，而不是Databricks帳戶。

  • 要通過列出對象上定義的所有權限來防止信息泄漏，請運行顯示獎助金(用戶> <)<對象>你必須是:

    • Databricks SQL管理員或數據庫的所有者<對象>．

    • 中指定的用戶(用戶> <)．

2021年1月07日

  • 減少在閑置的端點，新的SQL端點現在啟用了自動停止，默認超時時間為兩個小時。到達超時後，端點將停止。您可以隨時編輯超時時間或禁用“自動停止”。

  • 除了文本類型查詢參數時，不再在查詢參數中添加引號。如果你用過下拉列表，查詢基於下拉列表,或任何日期鍵入查詢參數時，必須添加引號，以便查詢能夠正常工作。例如，如果您的查詢是選擇{{d}}，現在這個查詢必須是選擇”{{d}}’．

2020年11月18日

Databricks很高興推出Databricks SQL的公共預覽版，這是一個運行特別查詢和為存儲在數據湖中的數據創建儀表板的直觀環境。Databricks SQL使您的組織能夠操作多雲lakehouse架構這為數據倉庫提供了數據湖經濟的性能。磚SQL:

  • 集成了您目前使用的BI工具，如Tableau和Microsoft Power BI，以查詢您的數據湖中最完整和最新的數據。

  • 使用sql本地接口對現有的BI工具進行了補充，該接口允許數據分析師和數據科學家直接在Databricks中查詢數據湖數據。

  • 使您能夠通過豐富的可視化和拖放儀表板共享查詢見解，並對重要數據更改自動發出警報。

  • 使用什麼是Databricks SQL倉庫?為您的數據湖帶來可靠性、質量、規模、安全性和性能，使您可以使用最新和完整的數據運行傳統的分析工作負載。

  • 介紹了使用簡化數據訪問管理的特權。為了在數據庫中使用對象，除了執行操作所需的任何權限外，還必須授予該數據庫上的USAGE權限。的使用可以將特權授予數據庫或編目。對於已經使用表訪問控製的工作區，則使用特權自動授予根目錄上的用戶組目錄．看到數據訪問控製獲取詳細信息。

看到磚SQL向導獲取詳細信息。請與您的Databricks代表聯係以請求訪問。

固定的問題

  • SQL編輯器。在查詢選項卡之間切換時，SQL編輯器現在將保持所選文本和滾動位置。

  • SQL編輯器。如果您在SQL編輯器中單擊查詢上的“運行”，然後導航到另一個頁麵並在查詢仍在執行時返回，編輯器將顯示正確的查詢狀態。如果查詢在另一個頁麵上完成，則返回到SQL Editor頁麵時可以看到查詢結果。

  • 現在可以使用MySQL 8.0作為外部轉移體。

  • 描述細節Delta表上的命令不再失敗java.lang.ClassCastException:java.sql.Timestamp不能是投來java.time.Instant。

  • 閱讀拚花文件INT96時間戳不再失效。

  • 當用戶有可以運行如果查詢是由另一個用戶創建的，查詢曆史記錄將查詢的運行者顯示為該用戶。

  • 在呈現圖表時，空值現在被忽略，這提高了圖表的可用性。例如，以前，當空值出現時，柱狀圖中的柱狀圖看起來非常小。現在，坐標軸僅基於非空值設置。

已知的問題

  • 在多集群負載平衡SQL端點中，從Delta Lake以外的數據源讀取數據可能不一致。

  • 在Databricks SQL中訪問的Delta表將其模式和表屬性上傳到配置的metastore。如果你使用的是外部轉移體，你將能夠在轉移體中看到三角洲湖的信息。Delta Lake盡可能保持這些信息的更新。你也可以使用描述<表>命令以確保信息在你的轉移中被更新。

  • Databricks SQL不支持像“GMT+8”這樣的區域偏移量作為會話時區。解決方法是使用基於區域的時區https://en.wikipedia.org/wiki/List_of_tz_database_time_zones)，比如“Etc/GMT+8”。看到設置時區有關設置時區的詳細信息。

常見問題(FAQ)

Databricks SQL工作負載如何收費?

Databricks SQL工作負載根據SQL計算SKU．

SQL端點在哪裏運行?

像磚集群,典型的SQL端點在您的AWS帳戶中創建和管理。典型的SQL端點在您的帳戶中自動管理sql優化的集群，並根據最終用戶的需求進行擴展。

Serverless SQL端點(公共預覽版)則使用Databricks雲帳戶中的計算資源。無服務器SQL倉庫簡化了SQL端點的配置和使用，並加快了啟動時間。無服務器選項隻有在已經可用的情況下才可用為工作區啟用．有關更多信息，請參見Serverless計算．

我是否可以使用數據科學與工程工作區SQL筆記本中的SQL端點?

不。您可以使用Databricks SQL中的SQL端點查詢，BI工具和其他JDBC和ODBC客戶端．

我被授予使用雲提供商證書訪問數據的權限。為什麼我不能在Databricks SQL中訪問此數據?

在Databricks SQL中，對數據的所有訪問都受到數據訪問控製，管理員或數據所有者必須首先授予適當的權限特權．