2022年8月

這些功能和Databricks平台的改進於2022年8月發布Beplay体育安卓版本。

請注意

發布是階段性的。您的Databricks帳戶可能要在初始發布日期後一周或更長時間才能更新。

帳戶用戶可以訪問帳戶控製台

2022年8月1日至31日

帳戶用戶可以訪問數據庫賬戶控製台查看其工作空間的列表。帳戶用戶隻能查看被授予訪問權限的工作空間。看到管理您的Databricks帳戶

用戶帳戶

工作區中的用戶作為帳戶用戶自動同步到您的帳戶。看到Databricks如何在工作空間和帳戶之間同步身份?

數據庫ODBC驅動2.6.26

2022年8月29日

我們已經發布了Databricks的ODBC驅動程序2.6.26版本(下載).此版本更新了查詢支持。您現在可以在API請求時異步取消對HTTP連接的查詢。

本版本還解決了以下問題:

  • 在Spotfire中使用自定義查詢時,連接器變得無響應。

Databricks JDBC驅動程序2.6.29

2022年8月29日

我們已經發布了Databricks JDBC驅動程序的2.6.29版本(下載).本版本主要解決以下問題:

  • 當使用啟用了Cloud Fetch的HTTP代理時,連接器不會返回大數據集結果。

  • Databricks許可證文本中的小文本問題。缺少文檔鏈接。

  • JAR文件名不正確。它應該是DatabricksJDBC41.jar而不是SparkJDBC41.jar。它應該是DatabricksJDBC42.jar,而不是SparkJDBC42.jar。

Databricks特性存儲客戶端現在可以在PyPI上使用

2022年8月26日

Feature Store客戶端現在可以在PyPI上使用。客戶端要求Databricks Runtime 9.1 LTS及以上版本,可通過以下方式安裝:

%皮普安裝databricks-feature-store

客戶端已經打包了Databricks Runtime for Machine Learning 9.1 LTS及以上版本。

客戶端不能在Databricks之外運行;但是,您可以在本地安裝它,以幫助單元測試和額外的IDE支持(例如,自動完成)。有關更多信息,請參見Databricks特性存儲Python客戶端

Unity Catalog是GA

2022年8月25日

Unity目錄通常是可用的。有關詳細的功能聲明和限製,請參見Unity Catalog GA發布說明

Delta共享是GA

2022年8月25日

從Databricks Runtime 11.1開始,Delta Sharing現在已經普遍可用。詳細信息請參見使用Delta Sharing安全地共享數據

  • databicks -to- databricks Delta Sharing完全管理,無需交換令牌。

  • 使用易於使用的UI創建和管理提供者、收件人和共享。

  • 使用SQL和REST api創建和管理提供程序、接收程序和共享,並提供完全的CLI和terrraform支持。

  • 查詢對數據的更改,或與“更改數據提要”共享增量版本。

  • 使用IP訪問列表和區域限製限製接收方訪問下載憑據文件或查詢數據。

  • 默認啟用在同一個Databricks帳戶內使用Delta Sharing共享數據。

  • 通過將Delta Sharing的管理委托給非管理員來執行職責分離。

Databricks運行時11.2 (Beta版)

2022年8月23日

Databricks運行時11.2、11.2 Photon和11.2 ML現在作為Beta版本可用。

參見完整的發行說明Databricks運行時11.2而且Databricks運行時11.2機器學習

減少了連續管道的Delta Live Tables UI中的消息量

2022年8月22日至29日:3.79版本

在這個版本中,Delta live tables連續管道中活動表的狀態轉換僅在表進入運行狀態之前顯示在UI中。與成功重新計算表相關的任何轉換都不會顯示在UI中,但是可以在METRICS級別的Delta Live tables事件日誌中使用。任何到失敗狀態的轉換仍然顯示在UI中。以前,所有狀態轉換都顯示在活動表的UI中。此更改減少了UI中顯示的管道事件的數量,並使查找管道的重要消息變得更容易。要了解有關在Delta Live Tables UI中查看管道事件的詳細信息,請參見創建、運行和管理Delta Live Tables管道.有關查詢事件日誌的詳細信息,請參見使用Delta Live Tables事件日誌監視管道

為您的Delta Live Tables管道進行更輕鬆的集群配置

2022年8月22日至29日:3.79版本

現在,當您創建管道時,可以直接在Delta Live Tables UI中選擇集群模式,自動縮放或固定大小。以前,配置自動伸縮集群需要更改管道的JSON設置。有關創建管道和新的集群模式設置,請參閱創建管道

在Databricks工作流中編排dbt任務(公開預覽)

2022年8月22日至29日:3.79版本

您可以使用新的dbt任務在Databricks作業中作為任務運行dbt核心項目,允許您在數據處理工作流中包含dbt轉換。例如,您的工作流可以使用Auto Loader攝取數據,使用dbt轉換數據,並使用notebook任務分析數據。有關dbt任務的詳細信息(包括示例),請參見在Databricks作業中使用dbt.有關創建、運行和調度包含dbt任務的工作流的詳細信息,請參見創建、運行和管理Databricks作業

用戶可以是多個Databricks帳戶的成員

2022年8月25日

一個用戶現在可以是多個Databricks帳戶的成員。以前,一個用戶隻能是一個Databricks帳戶的成員。一個用戶隻能是一個Databricks帳戶的帳戶所有者。要了解Databricks身份管理模型的更多信息,請參見管理用戶、服務主體和組

身份聯邦是GA

2022年8月25日

身份聯合允許將帳戶級用戶、服務主體和組分配到身份聯合工作區,從而簡化了Databricks管理。現在,您可以在帳戶控製台中一次性配置和管理所有用戶、服務主體和組,而不必在每個工作區中分別重複配置。要了解關於身份聯邦的更多信息,請參見管理員如何將用戶分配到工作區?.要開始,請看管理員如何在工作空間上啟用身份聯合?

夥伴連接支持連接到Stardog

2022年8月24日

您現在可以使用Partner Connect輕鬆地在Stardog和Databricks工作區之間創建連接。Stardog提供了一個知識圖譜平台,可以跨數據孤島回答複雜的查詢。Beplay体育安卓版本

Databricks功能商店集成無服務器實時推斷

2022年8月22日至29日:3.79版本

Databricks特征庫現在支持自動特征查找無服務器實時推理.詳細信息請參見在Databricks上使用MLflow模型自動查找特征

對Databricks Feature Store自動特性查找的額外數據類型支持

2022年8月22日至29日:3.79版本

Databricks功能商店現在支持BooleanType用於自動特征查找。看到在Databricks上使用MLflow模型自動查找特征

自帶密鑰:加密Git憑證

2022年8月23日至29日

您可以為Databricks Repos的Git憑據使用加密密鑰。

看到自帶密鑰:加密Git憑證

集群UI預覽和訪問模式取代安全模式

2022年8月19日

創建集群UI在預覽。看到創建集群

Unity目錄限製(公開預覽)

2022年8月16日

  • Scala、R和使用機器學習運行時的工作負載僅在使用單用戶訪問模式的集群上受支持。這些語言中的工作負載不支持使用動態視圖實現行級或列級安全性。

  • 當使用Unity Catalog作為克隆的源或目標時,不支持淺克隆。

  • bucket不支持Unity Catalog表。試圖在Unity Catalog中創建bucket表的命令將拋出異常。

  • 覆蓋模式的DataFrame寫入操作到統一目錄隻支持Delta表,不支持其他文件格式。用戶必須具有創建父模式上的特權,並且必須是現有對象的所有者。

  • 流媒體目前有以下限製:

    • 使用共享訪問模式的集群不支持。對於流工作負載,必須使用單用戶訪問模式。

    • 目前還不支持異步檢查點。

    • 在所有目的或作業集群上持續超過30天的流查詢將拋出異常。對於長時間運行的流查詢,配置自動作業重試。

  • 目前不支持從Delta Live tables管道引用Unity Catalog表。

  • 以前在工作空間中創建的組不能在Unity Catalog GRANT語句中使用。這是為了確保跨工作空間的組的一致視圖。要在GRANT語句中使用組,請在帳戶控製台中創建組,並更新用於主體或組管理的任何自動化(例如SCIM、Okta和AAD連接器以及Terraform),以引用帳戶端點而不是工作區端點。

Unity Catalog在以下地區可用:

  • us-west-2

  • us-east-1

  • us-east-2

  • ca-central-1

  • 一來就

  • eu-west-2

  • eu-central-1

  • ap-south-1

  • ap-southeast-2

  • ap-southeast-1

  • ap-northeast-2

  • ap-northeast-1

要在其他地區使用Unity目錄,請與您的帳戶代表聯係。

公共預覽中的無服務器實時推斷

2022年8月16日

無服務器實時推理使用MLflow處理您的機器學習模型,並將它們公開為REST API端點。這個功能使用Serverless計算,這意味著端點和相關的計算資源在Databricks雲帳戶中管理和運行。所產生的使用和存儲費用目前是免費的,但當收費開始時,Databricks將提供通知。

工作空間管理員必須啟用無服務器實時推斷在您的工作空間中使用此功能。

有關更多信息,請參見使用無服務器實時推斷的模型服務.要參加無服務器實時推斷公開預覽,請與Databricks代表聯係。

無服務器SQL倉庫改進

2022年8月15日

改進無服務器SQL倉庫:

  • 工作節點是私有的,這意味著它們沒有公共IP地址。

  • 無服務器SQL倉庫在Databricks控製平麵和無服務器數據平麵之間使用專用網絡進行通信,這兩個平麵都在Databricks AWS帳戶中。

  • 當讀取或寫入與工作區位於同一AWS區域的Amazon S3桶時,無服務器SQL倉庫現在使用AWS網關端點直接訪問S3。當無服務器SQL倉庫讀取和寫入AWS帳戶中的工作區根S3桶以及同一區域中的其他S3數據源時,這將適用。

在創建無服務器SQL倉庫之前,必須有一個管理員為工作區啟用它們.有關更多體係結構信息,請參見Serverless計算

在Databricks帳戶之間共享VPC端點

2022年8月15日

如果您有多個工作區共享同一個客戶管理的VPC,您可以選擇共享AWS VPC端點和Databricks VPC端點注冊。從今天開始,您現在可以在多個Databricks帳戶之間共享AWS VPC端點,隻要您打算使用它們的工作空間使用相同的客戶管理的VPC即可。你必須注冊AWS VPC端點在每個Databricks帳戶。看到啟用AWS PrivateLink

改進的工作區搜索現在是GA

2022年8月9日

您現在可以搜索筆記本,圖書館,文件夾,文件和回購的名稱。您還可以搜索筆記本中的內容並查看匹配內容的預覽。可以根據類型對搜索結果進行篩選。看到搜索工作區資產

在創建Delta Live Tables數據集時使用生成的列

2022年8月8日至15日:3.78版

您現在可以使用生成的列當您在Delta Live tables管道中定義表時。Delta Live表支持生成的列Python而且SQL接口。

使用基於摩納哥的編輯器改進筆記本編輯(實驗性)

2022年8月8日至15日

一個新的基於摩納哥的代碼編輯器可用於Python筆記本。要啟用它,請選中該選項打開新的筆記本編輯器編輯器設置頁上的用戶設置頁麵。

新的編輯器包括參數類型提示、懸停時的對象檢查、代碼折疊、多光標支持、列(框)選擇以及筆記本修訂曆史中的並排差異。

您可以與提供反饋鏈接。

合規控製FedRAMP Moderate、PCI-DSS和HIPAA (GA)

2022年8月4日

的遵從性控製FedRAMP溫和pci dss,HIPAA現在普遍可用。它們都需要使用遵從性安全配置文件

使用遵從性安全配置文件(GA)添加安全控製

2022年8月4日

遵從性安全配置文件現在普遍可用。如果Databricks工作空間啟用該配置文件,則該工作空間具有額外的監視、用於節點間加密的強製實例類型、經過加固的計算映像和其他特性。

遵從性安全配置文件包括幫助滿足某些遵從性標準中的某些安全需求的控件。啟用遵從性安全配置文件,才能使用Databricks處理受以下遵從性標準管製的數據:FedRAMP溫和pci dss,HIPAA

但是,您可以為其增強的安全特性啟用遵從性安全配置文件,而不需要遵從任何遵從性標準。

使用增強型安全監視(GA)添加圖像加固和監視代理

2022年8月4日

增強安全監控提供了一個增強的磁盤映像(一個cis加固的Ubuntu Advantage AMI)和額外的安全監視代理,生成您可以查看的日誌。

Databricks Runtime 10.3係列支持結束

2022年8月2日

對Databricks Runtime 10.3和Databricks Runtime 10.3 for Machine Learning的支持已於8月2日結束。看到Databricks運行時支持生命周期

Delta Live Tables現在隻支持在管道更新中刷新選定的表

2022年8月2日至24日

現在可以僅對Delta Live tables管道中的選定表啟動更新。該特性允許您啟動隻刷新選定表的管道更新,從而加速了管道的測試和錯誤的解決。若要了解如何僅開始更新選定的表,請參見為選定的表啟動管道更新.要了解有關Delta Live Tables更新的詳細信息,請參見管道的更新

作業執行現在等待集群庫完成安裝

2022年8月1日

當集群啟動時,Databricks作業將等待集群庫完成安裝後再執行。以前,作業運行隻在將庫指定為作業的依賴庫時才會等待它們安裝到通用集群上。有關為作業配置依賴庫的詳細信息,請參見依賴庫