2020年6月

這些功能和Databricks平台的改進已於2020年6月發Beplay体育安卓版本布。

請注意

發布是階段性的。您的Databricks帳戶最多在初始發布日期後一周才能更新。

發送到您自己的S3桶的計費使用日誌(公共預覽)

2020年6月30日

Databricks帳戶所有者現在可以配置以CSV文件格式向AWS S3存儲桶每日發送計費使用日誌,在該存儲桶中,您可以將數據用於使用分析。Databricks每月為您帳戶中的每個工作空間提供單獨的CSV文件。這個CSV文件包括關於在Databricks Units (DBUs)中按集群ID、計費SKU、集群創建者、集群標記等劃分的工作區集群使用情況的詳細數據。有關每個CSV文件列的說明,請參見下載使用作為CSV文件

此文件已從“使用概述”頁簽在Databricks帳戶控製台中,隻有Databricks帳戶所有者才能訪問。向S3存儲桶交付允許您向需要它的用戶提供訪問權,並以編程方式向分析工具提供數據,這樣您就可以查看使用趨勢、執行退款並確定成本優化機會。

有關更多信息,請參見交付和訪問計費使用日誌

Databricks Connect現在支持Databricks Runtime 6.6

2020年6月26日

磚連接現在支持Databricks運行時6.6。

Databricks運行時7.0 ML GA

2020年6月22日

Databricks Runtime 7.0 ML構建在Databricks Runtime 7.0之上,包括以下新特性:

  • 筆記本範圍的Python庫和由conda和pip命令管理的自定義環境。

  • 主要Python包的更新,包括tensorflow, tensorboard, pytorch, xgboost, sparkdl和hyperopt。

  • 新增Python包lightgbm, nltk, petstorm和plotly。

  • RStudio服務器開放源碼v1.2。

有關更多信息,請參閱完整版Databricks Runtime 7.0 ML(不支持)發行說明。

Databricks Runtime 7.0 GA,由Apache Spark 3.0提供支持

2020年6月18日

Databricks Runtime 7.0由Apache Spark 3.0提供支持Scala 2.12

Spark 3.0帶來了許多額外的功能和改進,包括:

  • 自適應查詢執行,一個靈活的框架,在Spark SQL中進行自適應執行,並支持在運行時改變約簡器的數量。

  • 重新設計的帶有類型提示的熊貓udf。

  • 結構化流媒體web UI。

  • 更好地兼容ANSI SQL標準。

  • 加入提示。

Databricks Runtime 7.0新增:

  • 改進的自動加載程序用於在ETL期間對到達雲blob存儲的新數據文件進行增量處理。

  • 改進的COPY INTO命令用冪等重試將數據加載到Delta Lake。

  • 許多改進,庫的添加和升級,以及錯誤修複。

有關更多信息,請參閱完整版Databricks Runtime 7.0(不支持)發行說明。

Databricks運行時7.0基因組學GA

2020年6月18日

Databricks Runtime 7.0 for Genomics構建在Databricks Runtime 7.0之上,包括以下庫更改:

  • ADAM庫已經從0.30.0版本更新到0.32.0版本。

  • Hail庫沒有包含在Databricks Runtime 7.0 for Genomics中,因為沒有基於Apache Spark 3.0的版本。

有關更多信息,請參閱完整版Databricks Runtime 7.0 for Genomics(不支持)發行說明。

MLflow模型依賴於階段的訪問控製

2020年6月16日至23日:3.22版本

現在可以將依賴於階段的訪問控製分配給用戶或組,允許他們進行管理MLflow模型MLflow模型注冊表在階段或生產階段。我們引入了兩種新的權限級別,能否管理暫存版本而且能夠管理生產版本.具有這些權限的用戶可以在該級別允許的階段之間執行轉換。

詳細信息請參見模型權限

筆記本現在支持禁用自動滾動

2020年6月16日至23日:3.22版本

當你運行筆記本單元格使用shift + enter,默認的筆記本行為是自動滾動到下一個單元格,如果單元格不可見。您現在可以禁用自動滾動用戶設置圖標>用戶設置>編輯器設置.如果禁用自動滾動,則打開shift + enter焦點移動到下一個單元格,但筆記本不會滾動到那個單元格。

現在可以在UI中跳過實例概要文件驗證

2020年6月16日至23日:3.22版本

添加實例配置文件對話框現在有一個複選框,允許您跳過驗證。如果驗證失敗,您可以選擇此複選框跳過驗證並強製添加實例概要文件。

帳戶ID顯示在帳戶控製台

2020年6月16日至23日,3.22版

您的Databricks帳戶ID現在顯示在“使用概述”頁簽在帳戶控製台中。

對Internet Explorer 11的支持將於8月15日結束

2020年6月9日

為了跟上行業趨勢,並確保為我們的客戶提供穩定和一致的用戶體驗,Databricks將於2020年8月15日終止對Internet Explorer 11的支持。beplay体育app下载地址

Databricks Runtime 6.2係列支持結束

2020年6月3日

對Databricks Runtime 6.2、Databricks Runtime 6.2 for Machine Learning和Databricks Runtime 6.2 for Genomics的支持已於6月3日結束。看到Databricks運行時支持生命周期

使用集群策略簡化和控製集群創建(公開預覽)

2020年6月2日至9日:3.21版

請注意

Databricks將分兩個版本發布這個公開預覽版。它可能直到下一個版本才被部署到您的工作空間。如有任何問題,請聯係Databricks代表。

集群策略是管理員定義的、可重用的集群模板,這些模板在集群屬性上強製執行規則,從而確保用戶創建的集群符合這些規則。作為Databricks管理員,您現在可以創建集群策略並授予用戶策略權限。通過這樣做,您可以更好地控製所創建的資源,為用戶提供他們工作所需的靈活性,並大大簡化集群創建體驗。

詳細信息請參見管理集群策略

SCIM Me端點現在返回符合SCIM的響應

2020年6月2日至9日:3.21版

SCIM Me端點現在返回與/用戶/ {id}端點,包括組、授權和角色等信息。

看到工作空間的SCIM API 2.0 (Me)

G4係列gpu加速EC2實例現在可用於機器學習應用程序部署(Beta版)

2020年6月2日至9日:3.21版

G4實例為在生產中部署機器學習模型進行了優化。要在當前發布的Databricks Runtime for Machine Learning(截至2020年6月2日)的這些實例類型上使用TensorRT,必須手動安裝libnvinfer使用初始化腳本。我們預測未來GPU-enabled版本Databricks Runtime ML將包含此包。

在Databricks帳戶中部署多個工作區(公共預覽)

2020年6月1日

新的Multi-workspace API(於2020年9月1日重命名為Account API)在Databricks工作空間之上引入了一個管理和管理層(帳戶層),為帳戶所有者提供了一個單一窗格來為您的組織創建、配置和管理多個工作空間。使用API為組織中需要使用Databricks的每個團隊創建一個或多個工作空間,或者為每個開發、登台和生產環境創建一個工作空間。Databricks在幾分鍾內提供了一個隨時可用的工作空間。工作空間彼此完全隔離。您可以選擇將工作空間部署在同一個底層AWS帳戶中,也可以部署在不同的AWS帳戶中,具體取決於您的操作計劃。多工作空間API(帳戶API)可在accounts.cloud.www.eheci.com端點。

有關更多信息,請參見使用Account API創建一個工作空間

請與Databricks代表聯係以請求訪問此公開預覽。

在自己的VPC中部署Databricks工作空間(公開預覽)

2020年6月1日

默認情況下,集群創建在單個AWS VPC(虛擬私有雲)中,由Databricks在您的AWS帳戶中創建和配置。現在您可以選擇在您自己的VPC中創建Databricks工作空間,該特性稱為customer-managed VPC,它可以讓您對基礎設施進行更多的控製,並幫助您遵守組織可能需要的特定雲安全和治理標準。創建工作區時,隻需提供VPC ID、安全組ID和子網ID多工作空間API(帳戶API)

有關更多信息,請參見Customer-managed VPC

此功能僅在Databricks平台E2版本Beplay体育安卓版本而不是在現有的企業平台上。Beplay体育安卓版本請與Databricks代表聯係以請求訪問。

安全的集群連接,在vpc上沒有開放端口,在Databricks工作者上沒有公共IP地址(公共預覽)

2020年6月1日

隨著的發布Databricks平台E2版本Beplay体育安卓版本, Databricks為Databricks控製平麵(SaaS)和數據平麵(您自己的AWS VPC)之間的連接提供了一種新的網絡架構。使用這種新的體係結構,您不再需要在集群虛擬機上開放入站端口:在您的客戶管理的vpc中啟動的集群虛擬機現在啟動到Databricks控製平麵的出站TLS 1.2連接。這種架構不僅符合常見的InfoSec需求,而且消除了VPC對等的需要,並在如何將環境連接到Databricks控製平麵方麵為您提供了更大的靈活性。

有關更多信息,請參見安全的集群連接

請與Databricks代表聯係以請求訪問此公開預覽。

使用IP訪問列表限製對Databricks的訪問(公開預覽)

2020年6月1日

現在可以配置Databricks工作區,使用戶隻能通過具有安全邊界的現有企業網絡連接到該服務。Databricks管理員可以使用IP訪問列表API定義一組已批準的IP地址,包括允許和阻止列表。對web應用程序和REST api的所有傳入訪問都要求用戶從授權的IP地址連接,從而保證不能從咖啡店或機場等公共網絡訪問工作空間,除非用戶使用VPN。

並非所有Databricks訂閱都提供此功能。有關帳戶訪問的任何問題,請與Databricks代表聯係。

有關更多信息,請參見工作空間的IP訪問列表

加密本地附加磁盤(公開預覽)

2020年6月1日

用於運行集群的某些實例類型可能具有本地連接的磁盤。數據庫可以在這些本地連接的磁盤上存儲隨機數據或臨時數據。為了確保對所有存儲類型的所有靜止數據進行加密,包括臨時存儲在集群本地磁盤上的隨機數據,現在可以使用Clusters API啟用本地磁盤加密。看到本地磁盤加密