2022年8月
這些功能和Databricks平台的改進於2022年8月發布Beplay体育安卓版本。
請注意
發布是階段性的。您的Databricks帳戶可能要在初始發布日期後一周或更長時間才能更新。
帳戶用戶可以訪問帳戶控製台
2022年8月1日至31日
帳戶用戶可以訪問數據庫賬戶控製台查看其工作空間的列表。帳戶用戶隻能查看被授予訪問權限的工作空間。看到管理您的Databricks帳戶.
工作區中的用戶作為帳戶用戶自動同步到您的帳戶。看到Databricks如何在工作空間和帳戶之間同步身份?.
數據庫ODBC驅動2.6.26
2022年8月29日
我們已經發布了Databricks的ODBC驅動程序2.6.26版本(下載).此版本更新了查詢支持。您現在可以在API請求時異步取消對HTTP連接的查詢。
本版本還解決了以下問題:
在Spotfire中使用自定義查詢時,連接器變得無響應。
Databricks JDBC驅動程序2.6.29
2022年8月29日
我們已經發布了Databricks JDBC驅動程序的2.6.29版本(下載).本版本主要解決以下問題:
當使用啟用了Cloud Fetch的HTTP代理時,連接器不會返回大數據集結果。
Databricks許可證文本中的小文本問題。缺少文檔鏈接。
JAR文件名不正確。它應該是DatabricksJDBC41.jar而不是SparkJDBC41.jar。它應該是DatabricksJDBC42.jar,而不是SparkJDBC42.jar。
Databricks特性存儲客戶端現在可以在PyPI上使用
2022年8月26日
Feature Store客戶端現在可以在PyPI上使用。客戶端要求Databricks Runtime 9.1 LTS及以上版本,可通過以下方式安裝:
%皮普安裝databricks-feature-store
客戶端已經打包了Databricks Runtime for Machine Learning 9.1 LTS及以上版本。
客戶端不能在Databricks之外運行;但是,您可以在本地安裝它,以幫助單元測試和額外的IDE支持(例如,自動完成)。有關更多信息,請參見Databricks特性存儲Python客戶端
Delta共享是GA
2022年8月25日
從Databricks Runtime 11.1開始,Delta Sharing現在已經普遍可用。詳細信息請參見使用Delta Sharing安全地共享數據.
databicks -to- databricks Delta Sharing完全管理,無需交換令牌。
使用易於使用的UI創建和管理提供者、收件人和共享。
使用SQL和REST api創建和管理提供程序、接收程序和共享,並提供完全的CLI和terrraform支持。
查詢對數據的更改,或與“更改數據提要”共享增量版本。
使用IP訪問列表和區域限製限製接收方訪問下載憑據文件或查詢數據。
默認啟用在同一個Databricks帳戶內使用Delta Sharing共享數據。
通過將Delta Sharing的管理委托給非管理員來執行職責分離。
Databricks運行時11.2 (Beta版)
2022年8月23日
Databricks運行時11.2、11.2 Photon和11.2 ML現在作為Beta版本可用。
參見完整的發行說明Databricks運行時11.2而且Databricks運行時11.2機器學習.
減少了連續管道的Delta Live Tables UI中的消息量
2022年8月22日至29日:3.79版本
在這個版本中,Delta live tables連續管道中活動表的狀態轉換僅在表進入運行狀態之前顯示在UI中。與成功重新計算表相關的任何轉換都不會顯示在UI中,但是可以在METRICS級別的Delta Live tables事件日誌中使用。任何到失敗狀態的轉換仍然顯示在UI中。以前,所有狀態轉換都顯示在活動表的UI中。此更改減少了UI中顯示的管道事件的數量,並使查找管道的重要消息變得更容易。要了解有關在Delta Live Tables UI中查看管道事件的詳細信息,請參見創建、運行和管理Delta Live Tables管道.有關查詢事件日誌的詳細信息,請參見使用Delta Live Tables事件日誌監視管道.
為您的Delta Live Tables管道進行更輕鬆的集群配置
2022年8月22日至29日:3.79版本
現在,當您創建管道時,可以直接在Delta Live Tables UI中選擇集群模式,自動縮放或固定大小。以前,配置自動伸縮集群需要更改管道的JSON設置。有關創建管道和新的集群模式設置,請參閱創建管道.
在Databricks工作流中編排dbt任務(公開預覽)
2022年8月22日至29日:3.79版本
您可以使用新的dbt任務在Databricks作業中作為任務運行dbt核心項目,允許您在數據處理工作流中包含dbt轉換。例如,您的工作流可以使用Auto Loader攝取數據,使用dbt轉換數據,並使用notebook任務分析數據。有關dbt任務的詳細信息(包括示例),請參見在Databricks作業中使用dbt.有關創建、運行和調度包含dbt任務的工作流的詳細信息,請參見創建、運行和管理Databricks作業.
用戶可以是多個Databricks帳戶的成員
2022年8月25日
一個用戶現在可以是多個Databricks帳戶的成員。以前,一個用戶隻能是一個Databricks帳戶的成員。一個用戶隻能是一個Databricks帳戶的帳戶所有者。要了解Databricks身份管理模型的更多信息,請參見管理用戶、服務主體和組.
身份聯邦是GA
2022年8月25日
身份聯合允許將帳戶級用戶、服務主體和組分配到身份聯合工作區,從而簡化了Databricks管理。現在,您可以在帳戶控製台中一次性配置和管理所有用戶、服務主體和組,而不必在每個工作區中分別重複配置。要了解關於身份聯邦的更多信息,請參見管理員如何將用戶分配到工作區?.要開始,請看管理員如何在工作空間上啟用身份聯合?.
夥伴連接支持連接到Stardog
2022年8月24日
您現在可以使用Partner Connect輕鬆地在Stardog和Databricks工作區之間創建連接。Stardog提供了一個知識圖譜平台,可以跨數據孤島回答複雜的查詢。Beplay体育安卓版本
Databricks功能商店集成無服務器實時推斷
2022年8月22日至29日:3.79版本
Databricks特征庫現在支持自動特征查找無服務器實時推理.詳細信息請參見在Databricks上使用MLflow模型自動查找特征.
對Databricks Feature Store自動特性查找的額外數據類型支持
2022年8月22日至29日:3.79版本
Databricks功能商店現在支持BooleanType
用於自動特征查找。看到在Databricks上使用MLflow模型自動查找特征.
Unity目錄限製(公開預覽)
2022年8月16日
Scala、R和使用機器學習運行時的工作負載僅在使用單用戶訪問模式的集群上受支持。這些語言中的工作負載不支持使用動態視圖實現行級或列級安全性。
當使用Unity Catalog作為克隆的源或目標時,不支持淺克隆。
bucket不支持Unity Catalog表。試圖在Unity Catalog中創建bucket表的命令將拋出異常。
覆蓋模式的DataFrame寫入操作到統一目錄隻支持Delta表,不支持其他文件格式。用戶必須具有
創建
父模式上的特權,並且必須是現有對象的所有者。流媒體目前有以下限製:
使用共享訪問模式的集群不支持。對於流工作負載,必須使用單用戶訪問模式。
目前還不支持異步檢查點。
在所有目的或作業集群上持續超過30天的流查詢將拋出異常。對於長時間運行的流查詢,配置自動作業重試。
目前不支持從Delta Live tables管道引用Unity Catalog表。
以前在工作空間中創建的組不能在Unity Catalog GRANT語句中使用。這是為了確保跨工作空間的組的一致視圖。要在GRANT語句中使用組,請在帳戶控製台中創建組,並更新用於主體或組管理的任何自動化(例如SCIM、Okta和AAD連接器以及Terraform),以引用帳戶端點而不是工作區端點。
Unity Catalog在以下地區可用:
us-west-2
us-east-1
us-east-2
ca-central-1
一來就
eu-west-2
eu-central-1
ap-south-1
ap-southeast-2
ap-southeast-1
ap-northeast-2
ap-northeast-1
要在其他地區使用Unity目錄,請與您的帳戶代表聯係。
公共預覽中的無服務器實時推斷
2022年8月16日
無服務器實時推理使用MLflow處理您的機器學習模型,並將它們公開為REST API端點。這個功能使用Serverless計算,這意味著端點和相關的計算資源在Databricks雲帳戶中管理和運行。所產生的使用和存儲費用目前是免費的,但當收費開始時,Databricks將提供通知。
工作空間管理員必須啟用無服務器實時推斷在您的工作空間中使用此功能。
有關更多信息,請參見使用無服務器實時推斷的模型服務.要參加無服務器實時推斷公開預覽,請與Databricks代表聯係。
無服務器SQL倉庫改進
2022年8月15日
改進無服務器SQL倉庫:
工作節點是私有的,這意味著它們沒有公共IP地址。
無服務器SQL倉庫在Databricks控製平麵和無服務器數據平麵之間使用專用網絡進行通信,這兩個平麵都在Databricks AWS帳戶中。
當讀取或寫入與工作區位於同一AWS區域的Amazon S3桶時,無服務器SQL倉庫現在使用AWS網關端點直接訪問S3。當無服務器SQL倉庫讀取和寫入AWS帳戶中的工作區根S3桶以及同一區域中的其他S3數據源時,這將適用。
在創建無服務器SQL倉庫之前,必須有一個管理員為工作區啟用它們.有關更多體係結構信息,請參見Serverless計算.
AWS PrivateLink私有訪問級別任何
被棄用
2022年8月15日
提高啟用AWS PrivateLink功能的工作區, Databricks棄用了任何
私有訪問級別,不過濾哪些VPC端點可以使用PrivateLink連接到您的工作空間。從曆史上看,私有訪問級別默認為任何
.新的默認值是賬戶
,限製連接到在Databricks帳戶中注冊的VPC端點。屬性不能再創建新的私有訪問設置任何
私有訪問級別,也不更新一個將其更改為任何
.
類型的工作空間任何
私人訪問級別。
改進AWS PrivateLink連接性
2022年8月9日
AWS PrivateLink連接性有以下幾個改進:
您不再需要聯係Databricks在您的帳戶上啟用PrivateLink。
您可以使用賬戶控製台創建或更新具有PrivateLink連接的工作區。
AWS VPC端點自動和快速轉換到數據庫可用狀態。
對於一個新的VPC端點,您現在可以在創建過程中啟用私有DNS,而不是在創建之後額外的步驟。這簡化了在AWS控製台中啟用PrivateLink以及使用Terraform和其他自動化工具。
改進的工作區搜索現在是GA
2022年8月9日
您現在可以搜索筆記本,圖書館,文件夾,文件和回購的名稱。您還可以搜索筆記本中的內容並查看匹配內容的預覽。可以根據類型對搜索結果進行篩選。看到搜索工作區資產.
在創建Delta Live Tables數據集時使用生成的列
2022年8月8日至15日:3.78版
您現在可以使用生成的列當您在Delta Live tables管道中定義表時。Delta Live表支持生成的列Python而且SQL接口。
使用基於摩納哥的編輯器改進筆記本編輯(實驗性)
2022年8月8日至15日
一個新的基於摩納哥的代碼編輯器可用於Python筆記本。要啟用它,請選中該選項打開新的筆記本編輯器在編輯器設置頁上的用戶設置頁麵。
新的編輯器包括參數類型提示、懸停時的對象檢查、代碼折疊、多光標支持、列(框)選擇以及筆記本修訂曆史中的並排差異。
您可以與提供反饋鏈接。
使用遵從性安全配置文件(GA)添加安全控製
2022年8月4日
的遵從性安全配置文件現在普遍可用。如果Databricks工作空間啟用該配置文件,則該工作空間具有額外的監視、用於節點間加密的強製實例類型、經過加固的計算映像和其他特性。
遵從性安全配置文件包括幫助滿足某些遵從性標準中的某些安全需求的控件。啟用遵從性安全配置文件,才能使用Databricks處理受以下遵從性標準管製的數據:FedRAMP溫和,pci dss,HIPAA.
但是,您可以為其增強的安全特性啟用遵從性安全配置文件,而不需要遵從任何遵從性標準。
使用增強型安全監視(GA)添加圖像加固和監視代理
2022年8月4日
增強安全監控提供了一個增強的磁盤映像(一個cis加固的Ubuntu Advantage AMI)和額外的安全監視代理,生成您可以查看的日誌。
Databricks Runtime 10.3係列支持結束
2022年8月2日
對Databricks Runtime 10.3和Databricks Runtime 10.3 for Machine Learning的支持已於8月2日結束。看到Databricks運行時支持生命周期.
Delta Live Tables現在隻支持在管道更新中刷新選定的表
2022年8月2日至24日
現在可以僅對Delta Live tables管道中的選定表啟動更新。該特性允許您啟動隻刷新選定表的管道更新,從而加速了管道的測試和錯誤的解決。若要了解如何僅開始更新選定的表,請參見為選定的表啟動管道更新.要了解有關Delta Live Tables更新的詳細信息,請參見管道的更新.
作業執行現在等待集群庫完成安裝
2022年8月1日
當集群啟動時,Databricks作業將等待集群庫完成安裝後再執行。以前,作業運行隻在將庫指定為作業的依賴庫時才會等待它們安裝到通用集群上。有關為作業配置依賴庫的詳細信息,請參見依賴庫.