2020年6月
這些功能和Databricks平台的改進已於2020年6月發Beplay体育安卓版本布。
請注意
發布是階段性的。您的Databricks帳戶最多在初始發布日期後一周才能更新。
發送到您自己的S3桶的計費使用日誌(公共預覽)
2020年6月30日
Databricks帳戶所有者現在可以配置以CSV文件格式向AWS S3存儲桶每日發送計費使用日誌,在該存儲桶中,您可以將數據用於使用分析。Databricks每月為您帳戶中的每個工作空間提供單獨的CSV文件。這個CSV文件包括關於在Databricks Units (DBUs)中按集群ID、計費SKU、集群創建者、集群標記等劃分的工作區集群使用情況的詳細數據。有關每個CSV文件列的說明,請參見下載使用作為CSV文件.
此文件已從“使用概述”頁簽在Databricks帳戶控製台中,隻有Databricks帳戶所有者才能訪問。向S3存儲桶交付允許您向需要它的用戶提供訪問權,並以編程方式向分析工具提供數據,這樣您就可以查看使用趨勢、執行退款並確定成本優化機會。
有關更多信息,請參見交付和訪問計費使用日誌.
Databricks運行時7.0 ML GA
2020年6月22日
Databricks Runtime 7.0 ML構建在Databricks Runtime 7.0之上,包括以下新特性:
筆記本範圍的Python庫和由conda和pip命令管理的自定義環境。
主要Python包的更新,包括tensorflow, tensorboard, pytorch, xgboost, sparkdl和hyperopt。
新增Python包lightgbm, nltk, petstorm和plotly。
RStudio服務器開放源碼v1.2。
有關更多信息,請參閱完整版Databricks Runtime 7.0 ML(不支持)發行說明。
Databricks Runtime 7.0 GA,由Apache Spark 3.0提供支持
2020年6月18日
Databricks Runtime 7.0由Apache Spark 3.0提供支持Scala 2.12.
Spark 3.0帶來了許多額外的功能和改進,包括:
自適應查詢執行,一個靈活的框架,在Spark SQL中進行自適應執行,並支持在運行時改變約簡器的數量。
重新設計的帶有類型提示的熊貓udf。
結構化流媒體web UI。
更好地兼容ANSI SQL標準。
加入提示。
Databricks Runtime 7.0新增:
改進的自動加載程序用於在ETL期間對到達雲blob存儲的新數據文件進行增量處理。
改進的COPY INTO命令用冪等重試將數據加載到Delta Lake。
許多改進,庫的添加和升級,以及錯誤修複。
有關更多信息,請參閱完整版Databricks Runtime 7.0(不支持)發行說明。
Databricks運行時7.0基因組學GA
2020年6月18日
Databricks Runtime 7.0 for Genomics構建在Databricks Runtime 7.0之上,包括以下庫更改:
ADAM庫已經從0.30.0版本更新到0.32.0版本。
Hail庫沒有包含在Databricks Runtime 7.0 for Genomics中,因為沒有基於Apache Spark 3.0的版本。
有關更多信息,請參閱完整版Databricks Runtime 7.0 for Genomics(不支持)發行說明。
MLflow模型依賴於階段的訪問控製
2020年6月16日至23日:3.22版本
現在可以將依賴於階段的訪問控製分配給用戶或組,允許他們進行管理MLflow模型在MLflow模型注冊表在階段或生產階段。我們引入了兩種新的權限級別,能否管理暫存版本而且能夠管理生產版本.具有這些權限的用戶可以在該級別允許的階段之間執行轉換。
詳細信息請參見模型權限.
筆記本現在支持禁用自動滾動
2020年6月16日至23日:3.22版本
當你運行筆記本單元格使用shift + enter,默認的筆記本行為是自動滾動到下一個單元格,如果單元格不可見。您現在可以禁用自動滾動>用戶設置>編輯器設置.如果禁用自動滾動,則打開shift + enter焦點移動到下一個單元格,但筆記本不會滾動到那個單元格。
現在可以在UI中跳過實例概要文件驗證
2020年6月16日至23日:3.22版本
的添加實例配置文件對話框現在有一個複選框,允許您跳過驗證。如果驗證失敗,您可以選擇此複選框跳過驗證並強製添加實例概要文件。
對Internet Explorer 11的支持將於8月15日結束
2020年6月9日
為了跟上行業趨勢,並確保為我們的客戶提供穩定和一致的用戶體驗,Databricks將於2020年8月15日終止對Internet Explorer 11的支持。beplay体育app下载地址
Databricks Runtime 6.2係列支持結束
2020年6月3日
對Databricks Runtime 6.2、Databricks Runtime 6.2 for Machine Learning和Databricks Runtime 6.2 for Genomics的支持已於6月3日結束。看到Databricks運行時支持生命周期.
使用集群策略簡化和控製集群創建(公開預覽)
2020年6月2日至9日:3.21版
請注意
Databricks將分兩個版本發布這個公開預覽版。它可能直到下一個版本才被部署到您的工作空間。如有任何問題,請聯係Databricks代表。
集群策略是管理員定義的、可重用的集群模板,這些模板在集群屬性上強製執行規則,從而確保用戶創建的集群符合這些規則。作為Databricks管理員,您現在可以創建集群策略並授予用戶策略權限。通過這樣做,您可以更好地控製所創建的資源,為用戶提供他們工作所需的靈活性,並大大簡化集群創建體驗。
詳細信息請參見管理集群策略.
G4係列gpu加速EC2實例現在可用於機器學習應用程序部署(Beta版)
2020年6月2日至9日:3.21版
G4實例為在生產中部署機器學習模型進行了優化。要在當前發布的Databricks Runtime for Machine Learning(截至2020年6月2日)的這些實例類型上使用TensorRT,必須手動安裝libnvinfer
使用初始化腳本。我們預測未來GPU-enabled版本Databricks Runtime ML將包含此包。
在Databricks帳戶中部署多個工作區(公共預覽)
2020年6月1日
新的Multi-workspace API(於2020年9月1日重命名為Account API)在Databricks工作空間之上引入了一個管理和管理層(帳戶層),為帳戶所有者提供了一個單一窗格來為您的組織創建、配置和管理多個工作空間。使用API為組織中需要使用Databricks的每個團隊創建一個或多個工作空間,或者為每個開發、登台和生產環境創建一個工作空間。Databricks在幾分鍾內提供了一個隨時可用的工作空間。工作空間彼此完全隔離。您可以選擇將工作空間部署在同一個底層AWS帳戶中,也可以部署在不同的AWS帳戶中,具體取決於您的操作計劃。多工作空間API(帳戶API)可在accounts.cloud.www.eheci.com
端點。
有關更多信息,請參見使用Account API創建一個工作空間.
請與Databricks代表聯係以請求訪問此公開預覽。
在自己的VPC中部署Databricks工作空間(公開預覽)
2020年6月1日
默認情況下,集群創建在單個AWS VPC(虛擬私有雲)中,由Databricks在您的AWS帳戶中創建和配置。現在您可以選擇在您自己的VPC中創建Databricks工作空間,該特性稱為customer-managed VPC,它可以讓您對基礎設施進行更多的控製,並幫助您遵守組織可能需要的特定雲安全和治理標準。創建工作區時,隻需提供VPC ID、安全組ID和子網ID多工作空間API(帳戶API).
有關更多信息,請參見Customer-managed VPC.
此功能僅在Databricks平台E2版本Beplay体育安卓版本而不是在現有的企業平台上。Beplay体育安卓版本請與Databricks代表聯係以請求訪問。
安全的集群連接,在vpc上沒有開放端口,在Databricks工作者上沒有公共IP地址(公共預覽)
2020年6月1日
隨著的發布Databricks平台E2版本Beplay体育安卓版本, Databricks為Databricks控製平麵(SaaS)和數據平麵(您自己的AWS VPC)之間的連接提供了一種新的網絡架構。使用這種新的體係結構,您不再需要在集群虛擬機上開放入站端口:在您的客戶管理的vpc中啟動的集群虛擬機現在啟動到Databricks控製平麵的出站TLS 1.2連接。這種架構不僅符合常見的InfoSec需求,而且消除了VPC對等的需要,並在如何將環境連接到Databricks控製平麵方麵為您提供了更大的靈活性。
有關更多信息,請參見安全的集群連接.
請與Databricks代表聯係以請求訪問此公開預覽。
使用IP訪問列表限製對Databricks的訪問(公開預覽)
2020年6月1日
現在可以配置Databricks工作區,使用戶隻能通過具有安全邊界的現有企業網絡連接到該服務。Databricks管理員可以使用IP訪問列表API定義一組已批準的IP地址,包括允許和阻止列表。對web應用程序和REST api的所有傳入訪問都要求用戶從授權的IP地址連接,從而保證不能從咖啡店或機場等公共網絡訪問工作空間,除非用戶使用VPN。
並非所有Databricks訂閱都提供此功能。有關帳戶訪問的任何問題,請與Databricks代表聯係。
有關更多信息,請參見工作空間的IP訪問列表.
加密本地附加磁盤(公開預覽)
2020年6月1日
用於運行集群的某些實例類型可能具有本地連接的磁盤。數據庫可以在這些本地連接的磁盤上存儲隨機數據或臨時數據。為了確保對所有存儲類型的所有靜止數據進行加密,包括臨時存儲在集群本地磁盤上的隨機數據,現在可以使用Clusters API啟用本地磁盤加密。看到本地磁盤加密.