關於穀歌雲特性的數據

在其他雲上的數據庫中可用的某些功能在穀歌雲上的數據庫的此版本中不可用。本文列出了當前版本中可用的特性和不受支持的特性。有關基於日期的發布說明的詳細信息,請參見Databricks平Beplay体育安卓版本台發布說明

本版本的特性

下表列出了穀歌Cloud上Databricks Runtime的主要特性。

功能

描述和鏈接

磚運行時

Databricks運行時7.3 LTS及以上。Databricks運行時8.0機器學習及以上。看到Databricks運行時發布

Apache火花

僅限Spark 3

支持地區

看到數據雲和區域

磚的SQL

磚的SQL為SQL分析人員提供了一個直觀的環境,用於運行特別查詢和在存儲在數據湖中的數據上創建儀表板。

Unity目錄(私人預覽)

統一目錄提供跨Databricks工作區的集中式訪問控製、審計和數據發現功能。此版本不包括數據沿襲。

Delta共享(私人預覽)

三角洲分享是一個安全的數據共享平台,可以讓您與組織以外的用戶Beplay体育安卓版本共享Databricks中的數據。

優化三角洲湖

Delta Lake是一個開源存儲層,為數據湖帶來可靠性。Delta Lake提供ACID事務,可擴展的元數據處理,並統一流和批處理數據。Delta Lake運行在您現有的數據湖之上,並且完全兼容Apache Spark api。Databricks上的Delta Lake允許您根據工作負載模式配置Delta Lake。看到三角洲湖是什麼?

集群自動駕駛儀

集群自動伸縮選項。看到創建集群

集群政策

集群策略是管理員定義的、可重用的集群模板,這些模板在集群屬性上強製執行規則,從而確保用戶創建的集群符合這些規則。作為Databricks管理員,您現在可以創建集群策略並授予用戶策略權限。通過這樣做,您可以更好地控製所創建的資源,為用戶提供他們工作所需的靈活性,並大大簡化集群創建體驗。看到管理集群策略

Delta Live Tables(公開預覽)

Delta Live Tables是一個用於構建可靠、可維護和可擴展的數據處理管道的框架。看到Delta Live Tables簡介

高性能集群

支持高並發集群、高內存實例類型(N2係列)以及某些實例類型上的本地ssd。看到創建集群

筆記本和協作

筆記本是一個基於web的文檔界麵,其中包含可運行的代碼、可視化和敘述文本。看到介紹Databricks筆記本

工作

作業是在Databricks集群中運行非交互式代碼的一種方式。您的工作可以由單個任務組成,也可以是具有複雜依賴關係的大型多任務工作流。看到創建、運行和管理Databricks作業

優化自動定量

自動添加和刪除工作節點以響應不斷變化的工作負載,以優化資源使用。看到具有本地ssd的集群實例類型

管理控製台

工作空間管理任務。看到數據庫管理指南

單節點集群

單節點集群是指由Spark驅動組成的集群,不包含Spark worker。單節點集群支持Spark作業和所有Spark數據源,包括三角洲湖.單節點集群有助於使用Spark加載和保存數據的單節點機器學習工作負載,以及輕量級探索性數據分析。

單點登錄(SSO)

Databricks工作區用戶使用其穀歌雲身份帳戶(或GSuite帳戶)進行身份驗證穀歌的OAuth 2.0實現,它符合OpenID連接規範,並通過了OpenID認證。Databricks向穀歌提供身份驗證請求中的openid配置文件作用域值。可選地,客戶可以將其穀歌beplay体育app下载地址雲身份帳戶(或GSuite帳戶)配置為與外部SAML 2.0身份提供者(IdP)聯合,以驗證用戶憑據。穀歌雲身份可以與Azure Active Directory, Okta, Ping和其他idp聯合。然而,Databricks隻直接與穀歌身份平台api交互。Beplay体育安卓版本看到單點登錄

基於角色的訪問控製

使用訪問控製列表(acl)來配置訪問工作區對象(文件夾、筆記本、實驗和模型)、集群、池、表和作業的權限。看到訪問控製

令牌管理

創建一個可用於驗證REST API請求的個人訪問令牌。工作區管理員還可以監視令牌,控製哪些非管理員用戶可以創建令牌,並設置新令牌的最大生存期。看到管理個人訪問令牌

穀歌GKE (Kubernetes Engine)數據平麵

在客戶帳戶中有一個穀歌雲VPC +子網,其中包含工作空間的工作者網絡環境。工作區中的所有Databricks Runtime集群都在私人區域穀歌GKE集群。GKE是一個托管Kubernetes服務。請參閱穀歌文檔GKE

與穀歌雲身份集成

Databricks工作區用戶使用其穀歌雲身份帳戶(或GSuite帳戶)進行身份驗證穀歌的OAuth 2.0實現,它符合OpenID連接規範,並通過了OpenID認證。Databricks向穀歌提供身份驗證請求中的openid配置文件作用域值。可選地,客戶可以將其穀歌beplay体育app下载地址雲身份帳戶(或GSuite帳戶)配置為與外部SAML 2.0身份提供者(IdP)聯合,以驗證用戶憑據。穀歌雲身份可以與Azure Active Directory, Okta, Ping和其他idp聯合。然而,Databricks隻直接與穀歌身份平台api交互。Beplay体育安卓版本看到單點登錄

BigQuery連接器

在Databricks中可以對穀歌BigQuery表進行讀寫。看到穀歌BigQuery

穀歌雲存儲連接器(DBFS和direct)

通過DBFS (Databricks File System)或直接連接數據庫中的穀歌GCS桶進行讀寫操作g:url。看到穀歌雲存儲.你可以使用GCS桶安裝本地文件係統api和shell命令

MLflow

MLflow是一個用於管理端到端機器學習生命周期Beplay体育安卓版本的開源平台。Managed MLflow on Databricks提供了跟蹤和保護機器學習模型訓練運行和運行機器學習項目的集成體驗。對托管MLflow的支持於2021年3月22日添加,需要Databricks Runtime 8.1及以上版本。對模型服務的支持於2022年1月10日添加。

用於Git集成的回購

將Databricks中的工作與遠程Git存儲庫同步。這使得實現開發最佳實踐更加容易。Databricks支持與GitHub, Bitbucket和GitLab的集成。看到Git與Databricks Repos的集成

磚連接

將您最喜歡的IDE (IntelliJ、Eclipse、PyCharm、RStudio、Visual Studio)、筆記本服務器(如Zeppelin)和其他自定義應用程序連接到Databricks集群。看到磚連接

與BI工具集成

與Power BI、Tableau、TIBCO、lookker和SQL Workbench集成。看到磚的集成

支持gpu集群

使用gpu集群。看到GPU-enabled集群

Customer-managed VPC

將Databricks工作空間部署到您創建和管理的VPC中。看到Customer-managed VPC

Databricks CLI(實驗性)

Databricks命令行界麵提供了從命令行方便地訪問許多Databricks api。CLI是實驗性的。一些命令和選項尚未在穀歌Cloud上的Databricks上進行測試。

本版本中未包含的重要功能

一般:

  • 三角洲湖的某些特征

  • 某些托管MLflow特性

  • 某些合作夥伴集成

賬戶:

  • 可計費的使用日誌發送到GCS桶

工作區:

  • Customer-managed鍵

筆記本電腦:

集群:

  • 存儲自動定量

  • 憑據透傳

  • 集裝箱服務(自備集裝箱)

  • 集群日誌傳遞

  • 驅動程序和工作節點的不同池

集成:

  • R Studio服務器

已知的問題

  • 具有尚未使用的實例類型的集群可能啟動緩慢。這更有可能發生在剛剛準備好的工作空間上。

  • 對於工作負載標識,Databricks僅支持來自用於部署Databricks工作區的同一項目的服務帳戶。

  • 在穀歌雲組織級別,如果您使用穀歌組織策略按域限製身份,請在提供Databricks工作空間之前通知您的Databricks帳戶團隊。

  • Databricks支持每個工作區最多256個正在運行的集群。

  • 您的GCP集群事件日誌頁麵可能包含“試圖將集群大小調整到' '工作者的目標”消息。這是預期的行為。當請求的worker數量達到50%後,集群被標記為“正在運行”。繼續添加更多的工作人員,直到集群達到所請求的數量。臨時擁有少於目標數量的工作人員通常不會阻止notebook或Apache Spark命令的運行。

  • 刪除工作空間時,Databricks創建的兩個GCS桶如果不為空,可能不會自動刪除。刪除工作區後,您可以在項目的穀歌雲控製台中手動刪除這些對象。進入如下頁麵,進行替換<項目id >您的穀歌雲平台項目ID:Beplay体育安卓版本https://console.cloud.google.com/storage/browser?project= <項目id >

  • Maven庫僅在Databricks Runtime 7.3 LTS(沒有其他7. LTS)上受支持。x版本)和Databricks Runtime 8.1及以上版本。

  • 在個別情況下,單節點集群可能啟動失敗,返回意想不到的狀態集群錯誤。如果你遇到這個問題,聯絡支持

  • 不能創建新的GPU集群在筆記本上安排一項工作.隻有當已有GPU集群存在時,才能在其上運行作業從集群頁麵創建