磚運行時的維護更新

這個頁麵列表維護更新發出了磚的運行時版本。維護更新添加到現有的集群中,重新啟動集群。

請注意

本文包含引用白名單,磚不使用的一個術語。從軟件中刪除這個詞時,我們就將它從這篇文章。

磚的運行時版本

原來的版本說明,遵循下麵的鏈接副標題。

磚11.2運行時

看到磚11.2運行時。

  • 2022年10月5日

    • 用戶可以設置spark.conf.set (“spark.databricks.io.listKeysWithPrefix.azure。啟用”、“真實”)重新啟用本地ADLS Gen2汽車加載程序清單。本機清單之前關閉由於性能問題,但可能導致存儲成本的增加客戶。beplay体育app下载地址這種變化是推出了DBR 10.4和9.1在前麵的維護更新。

    • (火花- 40315)[SQL]支持url編碼/解碼內置函數和整理url-related功能

    • (火花- 40156)[SQL]url_decode ()應該返回一個錯誤類

    • (火花- 40169)不疊加鋪過濾器沒有參考數據模式

    • (火花- 40460)在選擇[SS]解決流指標_metadata

    • (火花- 40468)[SQL]修複列在CSV修剪腐敗的記錄被選中

    • (火花- 40055)[SQL] listCatalogs也應該回報spark_catalog即使defaultSessionCatalog spark_catalog實現

    • 操作係統安全更新。

  • 2022年9月22日

磚11.1運行時

看到磚11.1運行時。

  • 2022年10月5日

    • 用戶可以設置spark.conf.set (“spark.databricks.io.listKeysWithPrefix.azure。啟用”、“真實”)重新啟用本地ADLS Gen2汽車加載程序清單。本機清單之前關閉由於性能問題,但可能導致存儲成本的增加客戶。beplay体育app下载地址這種變化是推出了DBR 10.4和9.1在前麵的維護更新。

    • (火花- 40169)不疊加鋪過濾器沒有參考數據模式

    • (火花- 40460)在選擇[SS]解決流指標_metadata

    • (火花- 40468)[SQL]修複列在CSV修剪腐敗的記錄被選中

    • (火花- 40055)[SQL] listCatalogs也應該回報spark_catalog即使defaultSessionCatalog spark_catalog實現

    • 操作係統安全更新。

  • 2022年9月22日

  • 2022年9月6日

    • 我們更新了許可模型在表訪問控製表(acl),因此隻有修改權限需要改變表的模式或表和ALTER Table屬性。以前,這些操作需要用戶自己的桌子上。所有權仍然需要授予權限表,改變它的所有者,改變其位置,或重命名它。這種變化使表acl的權限模型更符合統一目錄。

    • (火花- 40235)(核心)使用可中斷鎖而不是同步Executor.updateDependencies ()

    • (火花- 40212)[SQL] SparkSQL castPartValue不妥善處理字節,短,或浮動

    • (火花- 40218)[SQL]分組應該保存分組列集

    • (火花- 39976)[SQL] ArrayIntersect應該在左表達式正確處理null

    • (火花- 40053)[心][SQL][測試]添加假設動態取消案例需要Python運行時環境

    • (火花- 35542)(核心)(ML)解決辦法:Bucketizer創建多個列的參數splitsArray inputCols outputCols不能加載後保存

    • (火花- 40079)(核心)添加輸入為空inputCols驗證輸入的情況

  • 2022年8月24日

    • 股票、提供者和接受者現在支持SQL命令改變所有者,評論,重命名

    • (火花- 39983)(核心)[SQL]不緩存非係列化廣播在司機的關係

    • (火花- 39912)(火花- 39828)[SQL]完善CatalogImpl

    • (火花- 39775)(核心)(AVRO)禁用驗證解析AVRO模式時的默認值

    • (火花- 39806)固定問題查詢訪問元數據在分區表結構崩潰

    • (火花- 39867)全球限製不應繼承OrderPreservingUnaryNode [SQL]

    • (火花- 39962)(PYTHON] [SQL]應用投影當組屬性是空的

    • (火花- 39839)[SQL]處理特殊情況的空變長十進製與非零offsetAndSize UnsafeRow結構完整性檢查

    • (火花- 39713)[SQL] ANSI模式:添加使用try_element_at INVALID_ARRAY_INDEX錯誤的建議

    • (火花- 39847)在RocksDBLoader.loadLibrary [SS]解決競態條件()如果調用者線程中斷

    • (火花- 39731)[SQL]在CSV和JSON數據源解決問題時,在“名稱”格式解析日期更正時間解析器的政策

    • 操作係統安全更新。

  • 2022年8月10日,

    • δ表與表的訪問控製,通過DML語句,如自動模式演化插入和合並現在是對所有用戶可用嗎修改權限表等。此外,執行模式演化所需權限複製成現在降低了從老板來修改與其他命令的一致性。這些變化使表ACL的安全模型更符合統一目錄的安全模型以及其他操作如取代一個表。

磚11.0運行時

看到磚11.0運行時。

  • 2022年10月5日

    • 用戶可以設置spark.conf.set (“spark.databricks.io.listKeysWithPrefix.azure。啟用”、“真實”)重新啟用本地ADLS Gen2汽車加載程序清單。本機清單之前關閉由於性能問題,但可能導致存儲成本的增加客戶。beplay体育app下载地址這種變化是推出了DBR 10.4和9.1在前麵的維護更新。

    • (火花- 40169)不疊加鋪過濾器沒有參考數據模式

    • (火花- 40460)在選擇[SS]解決流指標_metadata

    • (火花- 40468)[SQL]修複列在CSV修剪腐敗的記錄被選中

    • 操作係統安全更新。

  • 2022年9月22日

  • 2022年9月6日

    • (火花- 40235)(核心)使用可中斷鎖而不是同步Executor.updateDependencies ()

    • (火花- 40212)[SQL] SparkSQL castPartValue不妥善處理字節,短,或浮動

    • (火花- 40218)[SQL]分組應該保存分組列集

    • (火花- 39976)[SQL] ArrayIntersect應該在左表達式正確處理null

    • (火花- 40053)[心][SQL][測試]添加假設動態取消案例需要Python運行時環境

    • (火花- 35542)(核心)(ML)解決辦法:Bucketizer創建多個列的參數splitsArray inputCols outputCols不能加載後保存

    • (火花- 40079)(核心)添加輸入為空inputCols驗證輸入的情況

  • 2022年8月24日

    • (火花- 39983)(核心)[SQL]不緩存非係列化廣播在司機的關係

    • (火花- 39775)(核心)(AVRO)禁用驗證解析AVRO模式時的默認值

    • (火花- 39806)固定問題查詢訪問元數據在分區表結構崩潰

    • (火花- 39867)全球限製不應繼承OrderPreservingUnaryNode [SQL]

    • (火花- 39962)(PYTHON] [SQL]應用投影當組屬性是空的

    • 操作係統安全更新。

  • 2022年8月9日

    • (火花- 39713)[SQL] ANSI模式:添加使用try_element_at INVALID_ARRAY_INDEX錯誤的建議

    • (火花- 39847)在RocksDBLoader.loadLibrary解決競態條件()如果調用者線程中斷

    • (火花- 39731)[SQL]在CSV和JSON數據源解決問題時,在“名稱”格式解析日期更正時間解析器的政策

    • (火花- 39889)提高除0的錯誤消息

    • (火花- 39795)[SQL]新的SQL函數:try_to_timestamp

    • (火花- 39749)總是使用簡單的字符串表示在鑄造十進製ANSI模式下字符串

    • (火花- 39625)[SQL]添加Dataset.to (StructType)

    • (火花- 39787)[SQL]使用錯誤類to_timestamp解析錯誤的功能

    • 操作係統安全更新。

  • 2022年7月27日,

    • (火花- 39689)支持2-charslineSep在CSV數據源

    • (火花- 39104)[SQL] InMemoryRelation # isCachedColumnBuffersLoaded應該是線程安全的

    • (火花- 39702)(核心)減少內存開銷TransportCipher共享byteRawChannel EncryptedMessage使用美元

    • (火花- 39575)[AVRO]添加ByteBuffer #後倒帶ByteBuffer # AvroDeserializer

    • (火花- 39497)[SQL]提高失蹤的分析異常映射鍵列

    • (火花- 39441)[SQL]加速DeduplicateRelations

    • (火花- 39476)[SQL]禁用打開時優化鑄從長/雙浮動或整數浮動

    • (火花- 39434)[SQL]數組索引時提供運行時錯誤查詢上下文邊界

    • (火花- 39570)[SQL]內聯表應該允許表達式與別名

    • 操作係統安全更新。

  • 2022年7月13日

    • 使三角洲合並操作結果一致的來源是不確定的。

    • 固定的問題cloud_files_state TVF當運行在non-DBFS路徑。

    • 禁用自動加載器使用本地雲api對Azure目錄清單。

    • (火花- 38796)[SQL]更新to_number和try_to_number功能允許公關與正數

    • (火花- 39272)[SQL]增加查詢上下文的初始位置1

    • (火花- 39419)[SQL]修複ArraySort比較器返回null時拋出異常

    • 操作係統安全更新。

  • 2022年7月5日

    • 改進的一係列錯誤類的錯誤消息。

    • (火花- 39451)[SQL]支持鑄造間隔積分ANSI模式

    • (火花- 39361)不要使用Log4J2擴展throwable轉換模式的默認日誌配置

    • (火花- 39354)[SQL]確保顯示表或視圖不發現即使有dataTypeMismatchError有關過濾器在同一時間

    • (火花- 38675)(核心)解決種族在BlockInfoManager解鎖

    • (火花- 39392)[SQL]提煉ANSI try_ *函數錯誤消息提示

    • (火花- 39214)[SQL][3.3]改善錯誤有關

    • (火花- 37939)[SQL]使用錯誤類解析錯誤的屬性

    • (火花- 39085)[SQL]的錯誤消息INCONSISTENT_BEHAVIOR_CROSS_VERSION對error-classes.json

    • (火花- 39376)[SQL]隱藏重複的明星擴張子查詢中的列別名從自然/使用加入

    • (火花- 39283)(核心)解決僵局TaskMemoryManager和UnsafeExternalSorter.SpillableIterator之間

    • (火花- 39285)[SQL]引發閱讀文件時不應檢查字段名稱

    • 操作係統安全更新。

磚10.5運行時

看到磚10.5運行時。

  • 2022年10月5日

    • 用戶可以設置spark.conf.set (“spark.databricks.io.listKeysWithPrefix.azure。啟用”、“真實”)重新啟用本地ADLS Gen2汽車加載程序清單。本機清單之前關閉由於性能問題,但可能導致存儲成本的增加客戶。beplay体育app下载地址這種變化是推出了DBR 10.4和9.1在前麵的維護更新。

    • reload4j已經升級到1.2.19修複漏洞。

    • (火花- 40460)在選擇[SS]解決流指標_metadata

    • (火花- 40468)[SQL]修複列在CSV修剪腐敗的記錄被選中

    • 操作係統安全更新。

  • 2022年9月22日

    • (火花- 40315)[SQL] ArrayBasedMapData為文字添加hashCode ()

    • (火花- 40213)[SQL]支持ASCII值轉換latin - 1個字符

    • (火花- 40380)[SQL]修正常數合並InvokeLike避免non-serializable文字嵌入到計劃中

    • (火花- 38404)[SQL]時提高CTE決議一個嵌套CTE外部CTE的引用

    • (火花- 40089)[SQL]修複排序十進製類型

    • (火花- 39887)[SQL] RemoveRedundantAliases應該保持獨特的別名,使投影的輸出節點

    • 操作係統安全更新。

  • 2022年9月6日

    • (火花- 40235)(核心)使用可中斷鎖而不是同步Executor.updateDependencies ()

    • (火花- 39976)[SQL] ArrayIntersect應該在左表達式正確處理null

    • (火花- 40053)[心][SQL][測試]添加假設動態取消案例需要Python運行時環境

    • (火花- 35542)(核心)(ML)解決辦法:Bucketizer創建多個列的參數splitsArray inputCols outputCols不能加載後保存

    • (火花- 40079)(核心)添加輸入為空inputCols驗證輸入的情況

  • 2022年8月24日

    • (火花- 39983)(核心)[SQL]不緩存非係列化廣播在司機的關係

    • (火花- 39775)(核心)(AVRO)禁用驗證解析AVRO模式時的默認值

    • (火花- 39806)固定問題查詢訪問元數據在分區表結構崩潰

    • (火花- 39962)(PYTHON] [SQL]應用投影當組屬性是空的

    • (火花- 37643)[SQL]當charVarcharAsString是真的,char數據類型謂詞查詢應該跳過rpadding規則

    • 操作係統安全更新。

  • 2022年8月9日

    • (火花- 39847)在RocksDBLoader.loadLibrary解決競態條件()如果調用者線程中斷

    • (火花- 39731)[SQL]在CSV和JSON數據源解決問題時,在“名稱”格式解析日期更正時間解析器的政策

    • 操作係統安全更新。

  • 2022年7月27日,

    • (火花- 39625)[SQL]添加Dataset.as (StructType)

    • (火花- 39689)支持2-charslineSep在CSV數據源

    • (火花- 39104)[SQL] InMemoryRelation # isCachedColumnBuffersLoaded應該是線程安全的

    • (火花- 39570)[SQL]內聯表應該允許表達式與別名

    • (火花- 39702)(核心)減少內存開銷TransportCipher共享byteRawChannel EncryptedMessage使用美元

    • (火花- 39575)[AVRO]添加ByteBuffer #後倒帶ByteBuffer # AvroDeserializer

    • (火花- 39476)[SQL]禁用打開時優化鑄從長/雙浮動或整數浮動

    • 操作係統安全更新。

  • 2022年7月13日

    • 使三角洲合並操作結果一致的來源是不確定的。

    • (火花- 39355)[SQL]構建UnresolvedAttribute單柱使用引用

    • (火花- 39548)[SQL] CreateView命令窗口查詢子句打錯了窗口定義沒有發現問題

    • (火花- 39419)[SQL]修複ArraySort比較器返回null時拋出異常

    • 禁用自動加載器使用本地雲api對Azure目錄清單。

    • 操作係統安全更新。

  • 2022年7月5日

    • (火花- 39376)[SQL]隱藏重複的明星擴張子查詢中的列別名從自然/使用加入

    • 操作係統安全更新。

  • 2022年6月15日

    • (火花- 39283)(核心)解決僵局TaskMemoryManager和UnsafeExternalSorter.SpillableIterator之間

    • (火花- 39285)[SQL]引發閱讀文件時不應檢查字段名稱

    • (火花- 34096)[SQL]提高性能對於nth_value忽略null /抵消窗口

    • (火花- 36718)[SQL]跟蹤解決isExtractOnly檢查CollapseProject

  • 2022年6月2日

    • (火花- 39166)[SQL]提供運行時錯誤查詢上下文WSCG時二進製算術

    • (火花- 39093)[SQL]避免codegen編譯錯誤當year-month間隔或白天間隔除以一個積分

    • (火花- 38990)[SQL]避免NullPointerException評估date_trunc / trunc格式時作為參考

    • 操作係統安全更新。

  • 2022年5月18日

    • 修複一個潛在的本機內存泄漏的自動加載程序。

    • (火花- 38868)[SQL]不傳播異常過濾器謂詞時優化外部連接

    • (火花- 38796)[SQL]實現to_number和try_to_number SQL函數根據一項新的規範

    • (火花- 38918)[SQL]嵌套列修剪應該過濾掉屬性不屬於當前的關係

    • (火花- 38929)[SQL]在ANSI改善鑄造失敗的錯誤消息

    • (火花- 38926)[SQL]輸出錯誤消息在SQL風格的類型

    • (火花- 39084)[PYSPARK]修複df.rdd.isEmpty()通過使用TaskContext停止迭代器任務完成

    • (火花- 32268)[SQL]添加ColumnPruning injectBloomFilter

    • (火花- 38908)[SQL]提供運行時錯誤的查詢上下文鑄件從字符串到數量/日期/時間戳/布爾

    • (火花- 39046)[SQL]如果TreeNode上下文返回一個空字符串。起源是錯誤的設置

    • (火花- 38974)[SQL]過濾器中與給定的數據庫名稱注冊函數列表功能

    • (火花- 38762)[SQL]提供查詢的上下文在十進製溢出錯誤

    • (火花- 38931)[SS]創建dfs根目錄為RocksDBFileManager未知數量的鑰匙1日檢查站

    • (火花- 38992)(核心)避免使用bash ShellBasedGroupsMappingProvider - c

    • (火花- 38716)[SQL]提供查詢上下文映射鍵不存在錯誤

    • (火花- 38889)[SQL]編譯布爾列過濾器使用該數據源的一些類型

    • (火花- 38698)[SQL]提供運行時錯誤的查詢上下文/ Pmod分裂/ Div /提醒

    • (火花- 38823)[SQL]使NewInstancenon-foldable修複聚合緩衝腐敗問題

    • (火花- 38809)[SS]實現選項跳過null值對稱散列stream-stream連接的實現

    • (火花- 38676)[SQL]提供SQL查詢的上下文在加/減/乘的運行時錯誤消息

    • (火花- 38677)[PYSPARK] Python MonitorThread應該檢測死鎖阻塞I / O

    • 操作係統安全更新。

磚10.4運行時

看到磚運行時10.4 LTS。

  • 2022年10月5日

    • (火花- 40468)[SQL]修複列在CSV修剪腐敗的記錄被選中

    • 操作係統安全更新。

  • 2022年9月22日

    • 用戶可以設置spark.conf.set (“spark.databricks.io.listKeysWithPrefix.azure。啟用”、“真實”)重新啟用本地ADLS Gen2汽車加載程序清單。本機清單之前關閉由於性能問題,但可能導致存儲成本的增加客戶。beplay体育app下载地址

    • (火花- 40315)[SQL] ArrayBasedMapData為文字添加hashCode ()

    • (火花- 40213)[SQL]支持ASCII值轉換latin - 1個字符

    • (火花- 40380)[SQL]修正常數合並InvokeLike避免non-serializable文字嵌入到計劃中

    • (火花- 38404)[SQL]時提高CTE決議一個嵌套CTE外部CTE的引用

    • (火花- 40089)[SQL]修複排序十進製類型

    • (火花- 39887)[SQL] RemoveRedundantAliases應該保持獨特的別名,使投影的輸出節點

  • 2022年9月6日

    • (火花- 40235)(核心)使用可中斷鎖而不是同步Executor.updateDependencies ()

    • (火花- 40218)[SQL]分組應該保存分組列集

    • (火花- 39976)[SQL] ArrayIntersect應該在左表達式正確處理null

    • (火花- 40053)[心][SQL][測試]添加假設動態取消案例需要Python運行時環境

    • (火花- 35542)(核心)(ML)解決辦法:Bucketizer創建多個列的參數splitsArray inputCols outputCols不能加載後保存

    • (火花- 40079)(核心)添加輸入為空inputCols驗證輸入的情況

  • 2022年8月24日

    • (火花- 39983)(核心)[SQL]不緩存非係列化廣播在司機的關係

    • (火花- 39775)(核心)(AVRO)禁用驗證解析AVRO模式時的默認值

    • (火花- 39962)(PYTHON] [SQL]應用投影當組屬性是空的

    • (火花- 37643)[SQL]當charVarcharAsString是真的,char數據類型謂詞查詢應該跳過rpadding規則

    • 操作係統安全更新。

  • 2022年8月9日

    • (火花- 39847)在RocksDBLoader.loadLibrary解決競態條件()如果調用者線程中斷

    • (火花- 39731)[SQL]在CSV和JSON數據源解決問題時,在“名稱”格式解析日期更正時間解析器的政策

    • 操作係統安全更新。

  • 2022年7月27日,

    • (火花- 39625)[SQL]添加Dataset.as (StructType)

    • (火花- 39689)支持2-charslineSep在CSV數據源

    • (火花- 39104)[SQL] InMemoryRelation # isCachedColumnBuffersLoaded應該是線程安全的

    • (火花- 39570)[SQL]內聯表應該允許表達式與別名

    • (火花- 39702)(核心)減少內存開銷TransportCipher共享byteRawChannel EncryptedMessage使用美元

    • (火花- 39575)[AVRO]添加ByteBuffer #後倒帶ByteBuffer # AvroDeserializer

    • (火花- 39476)[SQL]禁用打開時優化鑄從長/雙浮動或整數浮動

    • (火花- 38868)[SQL]不傳播異常過濾器謂詞時優化外部連接

    • 操作係統安全更新。

  • 2022年7月20日

    • 使三角洲合並操作結果一致的來源是不確定的。

    • (火花- 39355)[SQL]構建UnresolvedAttribute單柱使用引用

    • (火花- 39548)[SQL] CreateView命令窗口查詢子句打錯了窗口定義沒有發現問題

    • (火花- 39419)[SQL]修複ArraySort比較器返回null時拋出異常

    • 禁用自動加載器使用本地雲api對Azure目錄清單。

    • 操作係統安全更新。

  • 2022年7月5日

    • (火花- 39376)[SQL]隱藏重複的明星擴張子查詢中的列別名從自然/使用加入

    • 操作係統安全更新。

  • 2022年6月15日

    • (火花- 39283)(核心)解決僵局TaskMemoryManager和UnsafeExternalSorter.SpillableIterator之間

    • (火花- 39285)[SQL]引發閱讀文件時不應檢查字段名稱

    • (火花- 34096)[SQL]提高性能對於nth_value忽略null /抵消窗口

    • (火花- 36718)[SQL]跟蹤解決isExtractOnly檢查CollapseProject

  • 2022年6月2日

    • (火花- 39093)[SQL]避免codegen編譯錯誤當year-month間隔或白天間隔除以一個積分

    • (火花- 38990)[SQL]避免NullPointerException評估date_trunc / trunc格式時作為參考

    • 操作係統安全更新。

  • 2022年5月18日

    • 修複一個潛在的本機內存泄漏的自動加載程序。

    • (火花- 38918)[SQL]嵌套列修剪應該過濾掉屬性不屬於當前的關係

    • (火花- 37593)(核心)默認頁麵大小減少LONG_ARRAY_OFFSET如果G1GC和ON_HEAP使用

    • (火花- 39084)[PYSPARK]修複df.rdd.isEmpty()通過使用TaskContext停止迭代器任務完成

    • (火花- 32268)[SQL]添加ColumnPruning injectBloomFilter

    • (火花- 38974)[SQL]過濾器中與給定的數據庫名稱注冊函數列表功能

    • (火花- 38931)[SS]創建dfs根目錄為RocksDBFileManager未知數量的鑰匙1日檢查站

    • 操作係統安全更新。

  • 2022年4月19日

    • 從版本1.11.655 1.12.1899升級Java AWS SDK。

    • 固定一個問題與notebook-scoped庫不工作在批處理流媒體工作。

    • (火花- 38616)[SQL]跟蹤SQL查詢文本TreeNode催化劑

    • 操作係統安全更新。

  • 2022年4月6日

    • 下麵的火花與這個版本現在可以使用SQL函數:

      • timestampadd ()和返回():添加一個時間單位指定一個時間戳的表情。

      • timestampdiff ()和datediff ():計算兩個時間戳之間的時差在指定單元表達式。

    • 1.12.2 Parquet-MR已經升級

    • 改進支持廣泛的模式在鋪文件

    • (火花- 38631)(核心)使用java實現un-tarring Utils.unpack

    • (火花- 38509)(火花- 38481)擇優挑選3 timestmapadd / diff相關變化

    • (火花- 38523)[SQL]修複指的腐敗記錄列從CSV

    • (火花- 38237)[SQL] [SS]允許ClusteredDistribution需要完整的集群鍵

    • (火花- 38437)從數據源[SQL]寬大的序列化datetime

    • (火花- 38180)[SQL]允許安全up-cast等式謂詞表達式相關

    • (火花- 38155)[SQL]不允許不同的骨料在橫向與不支持的子查詢謂詞

    • 操作係統安全更新。

磚運行時的10.3(不支持)

看到磚運行時的10.3(不支持)。

  • 2022年7月27日,

    • (火花- 39689)支持2-charslineSep在CSV數據源

    • (火花- 39104)[SQL] InMemoryRelation # isCachedColumnBuffersLoaded應該是線程安全的

    • (火花- 39702)(核心)減少內存開銷TransportCipher共享byteRawChannel EncryptedMessage使用美元

    • 操作係統安全更新。

  • 2022年7月20日

    • 使三角洲合並操作結果一致的來源是不確定的。

    • (火花- 39476)[SQL]禁用打開時優化鑄從長/雙浮動或整數浮動

    • (火花- 39548)[SQL] CreateView命令窗口查詢子句打錯了窗口定義沒有發現問題

    • (火花- 39419)[SQL]修複ArraySort比較器返回null時拋出異常

    • 操作係統安全更新。

  • 2022年7月5日

    • (火花- 39376)[SQL]隱藏重複的明星擴張子查詢中的列別名從自然/使用加入

    • 操作係統安全更新。

  • 2022年6月15日

    • (火花- 39283)(核心)解決僵局TaskMemoryManager和UnsafeExternalSorter.SpillableIterator之間

    • (火花- 39285)[SQL]引發閱讀文件時不應檢查字段名稱

    • (火花- 34096)[SQL]提高性能對於nth_value忽略null /抵消窗口

    • (火花- 36718)[SQL]跟蹤解決isExtractOnly檢查CollapseProject

  • 2022年6月2日

    • (火花- 38990)[SQL]避免NullPointerException評估date_trunc / trunc格式時作為參考

    • 操作係統安全更新。

  • 2022年5月18日

    • 修複一個潛在的本機內存泄漏的自動加載程序。

    • (火花- 38918)[SQL]嵌套列修剪應該過濾掉屬性不屬於當前的關係

    • (火花- 37593)(核心)默認頁麵大小減少LONG_ARRAY_OFFSET如果G1GC和ON_HEAP使用

    • (火花- 39084)[PYSPARK]修複df.rdd.isEmpty()通過使用TaskContext停止迭代器任務完成

    • (火花- 32268)[SQL]添加ColumnPruning injectBloomFilter

    • (火花- 38974)[SQL]過濾器中與給定的數據庫名稱注冊函數列表功能

    • (火花- 38889)[SQL]編譯布爾列過濾器使用該數據源的一些類型

    • 操作係統安全更新。

  • 2022年5月4日

    • 從版本1.11.655 1.12.1899升級Java AWS SDK。

  • 2022年4月19日

    • (火花- 38616)[SQL]跟蹤SQL查詢文本TreeNode催化劑

    • 操作係統安全更新。

  • 2022年4月6日

    • (火花- 38631)(核心)使用java實現un-tarring Utils.unpack

    • 操作係統安全更新。

  • 2022年3月22日

    • 改變當前工作目錄的筆記本高並發性集群表訪問控製或憑據透傳啟用用戶的主目錄。以前,工作目錄/磚/驅動程序。

    • (火花- 38437)從數據源[SQL]寬大的序列化datetime

    • (火花- 38180)[SQL]允許安全up-cast等式謂詞表達式相關

    • (火花- 38155)[SQL]不允許不同的骨料在橫向與不支持的子查詢謂詞

    • (火花- 38325)[SQL] ANSI模式:在HashJoin.extractKeyExprAt避免潛在的運行時錯誤()

  • 2022年3月14日,

    • 改善在三角洲湖為空交易事務衝突檢測。

    • (火花- 38185)[SQL]解決數據不正確如果聚合函數是空的

    • (火花- 38318)[SQL]回歸時替換數據視圖

    • (火花- 38236)[SQL]絕對創建/修改表中指定的文件路徑被視為相對的

    • (火花- 35937)[SQL]從時間戳中提取日期字段應該在ANSI模式下工作

    • (火花- 34069)[SQL]殺死障礙任務應該尊重SPARK_JOB_INTERRUPT_ON_CANCEL

    • (火花- 37707)[SQL]允許存儲TimestampNTZ之間的分配和日期/時間戳

  • 2022年2月23日

磚運行時的10.2(不支持)

看到磚運行時的10.2(不支持)。

  • 2022年6月15日

    • (火花- 39283)(核心)解決僵局TaskMemoryManager和UnsafeExternalSorter.SpillableIterator之間

    • (火花- 39285)[SQL]引發閱讀文件時不應檢查字段名稱

    • (火花- 34096)[SQL]提高性能對於nth_value忽略null /抵消窗口

  • 2022年6月2日

    • (火花- 38918)[SQL]嵌套列修剪應該過濾掉屬性不屬於當前的關係

    • (火花- 38990)[SQL]避免NullPointerException評估date_trunc / trunc格式時作為參考

    • 操作係統安全更新。

  • 2022年5月18日

    • 修複一個潛在的本機內存泄漏的自動加載程序。

    • (火花- 39084)[PYSPARK]修複df.rdd.isEmpty()通過使用TaskContext停止迭代器任務完成

    • (火花- 38889)[SQL]編譯布爾列過濾器使用該數據源的一些類型

    • (火花- 38931)[SS]創建dfs根目錄為RocksDBFileManager未知數量的鑰匙1日檢查站

    • 操作係統安全更新。

  • 2022年5月4日

    • 從版本1.11.655 1.12.1899升級Java AWS SDK。

  • 2022年4月19日

    • 操作係統安全更新。

    • 各種各樣的bug修複。

  • 2022年4月6日

    • (火花- 38631)(核心)使用java實現un-tarring Utils.unpack

    • 操作係統安全更新。

  • 2022年3月22日

    • 改變當前工作目錄的筆記本高並發性集群表訪問控製或憑據透傳啟用用戶的主目錄。以前,工作目錄/磚/驅動程序。

    • (火花- 38437)從數據源[SQL]寬大的序列化datetime

    • (火花- 38180)[SQL]允許安全up-cast等式謂詞表達式相關

    • (火花- 38155)[SQL]不允許不同的骨料在橫向與不支持的子查詢謂詞

    • (火花- 38325)[SQL] ANSI模式:在HashJoin.extractKeyExprAt避免潛在的運行時錯誤()

  • 2022年3月14日,

    • 改善在三角洲湖為空交易事務衝突檢測。

    • (火花- 38185)[SQL]解決數據不正確如果聚合函數是空的

    • (火花- 38318)[SQL]回歸時替換數據視圖

    • (火花- 38236)[SQL]絕對創建/修改表中指定的文件路徑被視為相對的

    • (火花- 35937)[SQL]從時間戳中提取日期字段應該在ANSI模式下工作

    • (火花- 34069)[SQL]殺死障礙任務應該尊重SPARK_JOB_INTERRUPT_ON_CANCEL

    • (火花- 37707)[SQL]允許存儲TimestampNTZ之間的分配和日期/時間戳

  • 2022年2月23日

    • (火花- 37577)[SQL]修複ClassCastException: ArrayType不能為生成StructType修剪

  • 2022年2月8日

    • (火花- 27442)[SQL]刪除檢查字段名讀/寫數據時拚花。

    • 操作係統安全更新。

  • 2022年2月1日

    • 操作係統安全更新。

  • 2022年1月26日

    • 固定一臭蟲,其並發事務三角洲表上可以提交順序non-serializable在某些罕見的情況下。

    • 固定一臭蟲,其優化命令啟用ANSI SQL方言時可能會失敗。

  • 2022年1月19日

    • 介紹了支持內聯臨時憑證複製到加載源數據不需要SQL ANY_FILE權限

    • Bug修複和安全改進。

  • 2021年12月20日

    • 固定一個罕見的bug,鑲花的列索引過濾。

磚運行時的10.1(不支持)

看到磚運行時的10.1(不支持)。

  • 2022年6月15日

    • (火花- 39283)(核心)解決僵局TaskMemoryManager和UnsafeExternalSorter.SpillableIterator之間

    • (火花- 39285)[SQL]引發閱讀文件時不應檢查字段名稱

    • (火花- 34096)[SQL]提高性能對於nth_value忽略null /抵消窗口

  • 2022年6月2日

    • 操作係統安全更新。

  • 2022年5月18日

    • 修複一個潛在的本機內存泄漏的自動加載程序。

    • (火花- 39084)[PYSPARK]修複df.rdd.isEmpty()通過使用TaskContext停止迭代器任務完成

    • (火花- 38889)[SQL]編譯布爾列過濾器使用該數據源的一些類型

    • 操作係統安全更新。

  • 2022年4月19日

    • (火花- 37270)[SQL]修複可折疊推入CaseWhen分支如果elseValue是空的

    • 操作係統安全更新。

  • 2022年4月6日

    • (火花- 38631)(核心)使用java實現un-tarring Utils.unpack

    • 操作係統安全更新。

  • 2022年3月22日

    • (火花- 38437)從數據源[SQL]寬大的序列化datetime

    • (火花- 38180)[SQL]允許安全up-cast等式謂詞表達式相關

    • (火花- 38155)[SQL]不允許不同的骨料在橫向與不支持的子查詢謂詞

    • (火花- 38325)[SQL] ANSI模式:在HashJoin.extractKeyExprAt避免潛在的運行時錯誤()

  • 2022年3月14日,

    • 改善在三角洲湖為空交易事務衝突檢測。

    • (火花- 38185)[SQL]解決數據不正確如果聚合函數是空的

    • (火花- 38318)[SQL]回歸時替換數據視圖

    • (火花- 38236)[SQL]絕對創建/修改表中指定的文件路徑被視為相對的

    • (火花- 35937)[SQL]從時間戳中提取日期字段應該在ANSI模式下工作

    • (火花- 34069)[SQL]殺死障礙任務應該尊重SPARK_JOB_INTERRUPT_ON_CANCEL

    • (火花- 37707)[SQL]允許存儲TimestampNTZ之間的分配和日期/時間戳

  • 2022年2月23日

    • (火花- 37577)[SQL]修複ClassCastException: ArrayType不能為生成StructType修剪

  • 2022年2月8日

    • (火花- 27442)[SQL]刪除檢查字段名讀/寫數據時拚花。

    • 操作係統安全更新。

  • 2022年2月1日

    • 操作係統安全更新。

  • 2022年1月26日

    • 固定一臭蟲,其並發事務三角洲表上可以提交順序non-serializable在某些罕見的情況下。

    • 固定一臭蟲,其優化命令啟用ANSI SQL方言時可能會失敗。

  • 2022年1月19日

    • 介紹了支持內聯臨時憑證複製到加載源數據不需要SQL ANY_FILE權限

    • 固定一個內存不足的問題在一定條件下與查詢結果緩存。

    • 固定的問題使用數據庫當用戶當前目錄切換到非默認目錄。

    • Bug修複和安全改進。

    • 操作係統安全更新。

  • 2021年12月20日

    • 固定一個罕見的bug,鑲花的列索引過濾。

磚運行時的10.0(不支持)

看到磚運行時的10.0(不支持)。

  • 2022年4月19日

    • (火花- 37270)[SQL]修複可折疊推入CaseWhen分支如果elseValue是空的

    • 操作係統安全更新。

  • 2022年4月6日

    • (火花- 38631)(核心)使用java實現un-tarring Utils.unpack

    • 操作係統安全更新。

  • 2022年3月22日

    • (火花- 38437)從數據源[SQL]寬大的序列化datetime

    • (火花- 38180)[SQL]允許安全up-cast等式謂詞表達式相關

    • (火花- 38155)[SQL]不允許不同的骨料在橫向與不支持的子查詢謂詞

    • (火花- 38325)[SQL] ANSI模式:在HashJoin.extractKeyExprAt避免潛在的運行時錯誤()

  • 2022年3月14日,

    • 改善在三角洲湖為空交易事務衝突檢測。

    • (火花- 38185)[SQL]解決數據不正確如果聚合函數是空的

    • (火花- 38318)[SQL]回歸時替換數據視圖

    • (火花- 38236)[SQL]絕對創建/修改表中指定的文件路徑被視為相對的

    • (火花- 35937)[SQL]從時間戳中提取日期字段應該在ANSI模式下工作

    • (火花- 34069)[SQL]殺死障礙任務應該尊重SPARK_JOB_INTERRUPT_ON_CANCEL

    • (火花- 37707)[SQL]允許存儲TimestampNTZ之間的分配和日期/時間戳

  • 2022年2月23日

    • (火花- 37577)[SQL]修複ClassCastException: ArrayType不能為生成StructType修剪

  • 2022年2月8日

    • (火花- 27442)[SQL]刪除檢查字段名讀/寫數據時拚花。

    • (火花- 36905)[SQL]解決閱讀蜂巢的觀點不明確的列名

    • (火花- 37859)[SQL]修複問題,創建SQL表與火花JDBC 3.1與3.2不可讀的

    • 操作係統安全更新。

  • 2022年2月1日

    • 操作係統安全更新。

  • 2022年1月26日

    • 固定一臭蟲,其並發事務三角洲表上可以提交順序non-serializable在某些罕見的情況下。

    • 固定一臭蟲,其優化命令啟用ANSI SQL方言時可能會失敗。

  • 2022年1月19日

    • Bug修複和安全改進。

    • 操作係統安全更新。

  • 2021年12月20日

    • 固定一個罕見的bug,鑲花的列索引過濾。

  • 2021年11月9日

    • 引入額外的配置的旗幟,使細粒ANSI行為的控製。

  • 2021年11月4日

    • 固定一個錯誤可能導致結構化流流ArrayIndexOutOfBoundsException失敗

    • 固定一個競爭條件,可能會導致一個查詢失敗這樣一個IOExceptionjava.io.IOException:沒有文件係統為計劃或者可能會導致修改sparkContext.hadoopConfiguration在查詢不生效。

    • Apache火花連接器三角洲共享是0.2.0升級。

  • 2021年11月30日

    • 固定時間戳字符串解析一個時區的問題沒有一個冒號被認為是無效的。

    • 固定一個內存不足的問題在一定條件下與查詢結果緩存。

    • 固定的問題使用數據庫當用戶當前目錄切換到非默認目錄。

磚運行時9.1 LTS

看到磚運行時9.1 LTS。

  • 2022年10月5日

    • 各種各樣的bug修複。

    • 操作係統安全更新。

  • 2022年9月22日

    • 用戶可以設置spark.conf.set (“spark.databricks.io.listKeysWithPrefix.azure。啟用”、“真實”)重新啟用本地ADLS Gen2汽車加載程序清單。本機清單之前關閉由於性能問題,但可能導致存儲成本的增加客戶。beplay体育app下载地址

    • (火花- 40315)[SQL] ArrayBasedMapData為文字添加hashCode ()

    • (火花- 40089)[SQL]修複排序十進製類型

    • (火花- 39887)[SQL] RemoveRedundantAliases應該保持獨特的別名,使投影的輸出節點

  • 2022年9月6日

    • (火花- 40235)(核心)使用可中斷鎖而不是同步Executor.updateDependencies ()

    • (火花- 35542)(核心)(ML)解決辦法:Bucketizer創建多個列的參數splitsArray inputCols outputCols不能加載後保存

    • (火花- 40079)(核心)添加輸入為空inputCols驗證輸入的情況

  • 2022年8月24日

    • (火花- 39666)[SQL] UnsafeProjection使用。創建尊重spark.sql.codegen.factoryMode在ExpressionEncoder

    • (火花- 39962)(PYTHON] [SQL]應用投影當組屬性是空的

    • 操作係統安全更新。

  • 2022年8月9日

    • 操作係統安全更新。

  • 2022年7月27日,

    • 使三角洲合並操作結果一致的來源是不確定的。

    • (火花- 39689)支持2-charslineSep在CSV數據源

    • (火花- 39575)[AVRO]添加ByteBuffer #後倒帶ByteBuffer # AvroDeserializer

    • (火花- 37392)[SQL]推斷時修複性能缺陷產生的約束

    • 操作係統安全更新。

  • 2022年7月13日

    • (火花- 39419)[SQL]修複ArraySort比較器返回null時拋出異常

    • 禁用自動加載器使用本地雲api對Azure目錄清單。

    • 操作係統安全更新。

  • 2022年7月5日

    • 操作係統安全更新。

    • 各種各樣的bug修複。

  • 2022年6月15日

    • (火花- 39283)(核心)解決僵局TaskMemoryManager和UnsafeExternalSorter.SpillableIterator之間

  • 2022年6月2日

    • (火花- 34554)[SQL]在ColumnarMap實現copy()方法

    • 操作係統安全更新。

  • 2022年5月18日

    • 修複一個潛在的本機內存泄漏的自動加載程序。

    • 從1.11.655 1.11.678升級AWS SDK版本。

    • (火花- 38918)[SQL]嵌套列修剪應該過濾掉屬性不屬於當前的關係

    • (火花- 39084)[PYSPARK]修複df.rdd.isEmpty()通過使用TaskContext停止迭代器任務完成

    • 操作係統安全更新。

  • 2022年4月19日

    • 操作係統安全更新。

    • 各種各樣的bug修複。

  • 2022年4月6日

    • (火花- 38631)(核心)使用java實現un-tarring Utils.unpack

    • 操作係統安全更新。

  • 2022年3月22日

    • 改變當前工作目錄的筆記本高並發性集群表訪問控製或憑據透傳啟用用戶的主目錄。以前,工作目錄/磚/驅動程序。

    • (火花- 38437)從數據源[SQL]寬大的序列化datetime

    • (火花- 38180)[SQL]允許安全up-cast等式謂詞表達式相關

    • (火花- 38155)[SQL]不允許不同的骨料在橫向與不支持的子查詢謂詞

    • (火花- 27442)[SQL]刪除檢查字段名讀/寫數據時拚花

  • 2022年3月14日,

    • (火花- 38236)[SQL]絕對創建/修改表中指定的文件路徑被視為相對的

    • (火花- 34069)[SQL]殺死障礙任務應該尊重SPARK_JOB_INTERRUPT_ON_CANCEL

  • 2022年2月23日

  • 2022年2月8日

    • (火花- 27442)[SQL]刪除檢查字段名讀/寫數據時拚花。

    • 操作係統安全更新。

  • 2022年2月1日

    • 操作係統安全更新。

  • 2022年1月26日

    • 固定一臭蟲,其並發事務三角洲表上可以提交順序non-serializable在某些罕見的情況下。

    • 固定一臭蟲,其優化命令啟用ANSI SQL方言時可能會失敗。

  • 2022年1月19日

    • Bug修複和安全改進。

    • 操作係統安全更新。

  • 2021年11月4日

    • 固定一個錯誤可能導致結構化流流ArrayIndexOutOfBoundsException失敗

    • 固定一個競爭條件,可能會導致一個查詢失敗這樣一個IOExceptionjava.io.IOException:沒有文件係統為計劃或者可能會導致修改sparkContext.hadoopConfiguration在查詢不生效。

    • Apache火花連接器三角洲共享是0.2.0升級。

  • 2021年10月20日

    • BigQuery連接器從0.18.1 0.22.2升級。這增加了支持BigNumeric類型。

磚運行時的9.0(不支持)

看到磚運行時的9.0(不支持)。

  • 2022年2月8日

    • 操作係統安全更新。

  • 2022年2月1日

    • 操作係統安全更新。

  • 2022年1月26日

    • 固定一臭蟲,其優化命令啟用ANSI SQL方言時可能會失敗。

  • 2022年1月19日

    • Bug修複和安全改進。

    • 操作係統安全更新。

  • 2021年11月4日

    • 固定一個錯誤可能導致結構化流流ArrayIndexOutOfBoundsException失敗

    • 固定一個競爭條件,可能會導致一個查詢失敗這樣一個IOExceptionjava.io.IOException:沒有文件係統為計劃或者可能會導致修改sparkContext.hadoopConfiguration在查詢不生效。

    • Apache火花連接器三角洲共享是0.2.0升級。

  • 2021年9月22日

    • 固定一個錯誤引發數組與空字符串

  • 2021年9月15日

    • 固定一個競爭條件,可能會導致一個查詢失敗這樣一個IOExceptionjava.io.IOException:org.apache.spark.SparkException:失敗的來得到broadcast_x_piecey的broadcast_x。

  • 2021年9月8日

    • 添加支持模式名稱(databaseName.schemaName.tableName格式)的目標表名Azure突觸連接器。

    • 添加幾何和地理JDBC類型支持火花SQL。

    • (火花- 33527)[SQL]擴展解碼的功能是一致的與主流數據庫。

    • (火花- 36532)[心][3.1]固定的僵局CoarseGrainedExecutorBackend.onDisconnected為了避免executorsconnected為了防止執行人關閉掛。

  • 2021年8月25日,

    • SQL服務器驅動程序庫是9.2.1.jre8升級。

    • 雪花連接器是2.9.0升級。

    • 固定失效鏈接筆記本AutoML實驗頁麵上最好的試驗。

磚運行時的8.4(不支持)

看到磚運行時的8.4(不支持)。

  • 2022年1月19日

    • 操作係統安全更新。

  • 2021年11月4日

    • 固定一個錯誤可能導致結構化流流ArrayIndexOutOfBoundsException失敗

    • 固定一個競爭條件,可能會導致一個查詢失敗這樣一個IOExceptionjava.io.IOException:沒有文件係統為計劃或者可能會導致修改sparkContext.hadoopConfiguration在查詢不生效。

    • Apache火花連接器三角洲共享是0.2.0升級。

  • 2021年9月22日

    • 火花JDBC驅動程序是2.6.19.1030升級

    • (火花- 36734)1.5.1 [SQL]升級獸人

  • 2021年9月15日

    • 固定一個競爭條件,可能會導致一個查詢失敗這樣一個IOExceptionjava.io.IOException:org.apache.spark.SparkException:失敗的來得到broadcast_x_piecey的broadcast_x。

    • 操作係統安全更新。

  • 2021年9月8日

    • (火花- 36532)[心][3.1]固定的僵局CoarseGrainedExecutorBackend.onDisconnected為了避免executorsconnected為了防止執行人關閉掛。

  • 2021年8月25日,

    • SQL服務器驅動程序庫是9.2.1.jre8升級。

    • 雪花連接器是2.9.0升級。

    • 修複bug造成的憑據透傳新鋪預取優化,用戶的透傳憑證文件訪問期間可能不被發現。

  • 2021年8月11日,

    • 修複一個RocksDB不相容問題,防止舊磚8.4運行時。這對於自動加載器修複向前兼容性,複製成和有狀態的流媒體應用程序。

    • 修複一個缺陷與S3路徑自動加載器使用時自動加載程序沒有路徑選擇。

    • 修複一個缺陷,AWS STS配置端點亞馬遜運動運動源端點。

    • 修複一個缺陷在使用自動加載器與失配頭文件讀取CSV文件。如果列名稱不匹配,用null列會填寫。現在,如果提供了模式,它假定的模式是一樣的,隻保存列不匹配如果啟用了獲救的數據列。

    • 添加一個新選項externalDataSource到Azure突觸連接器刪除控製許可要求數據庫混合基的閱讀。

  • 2021年7月29日

    • (火花- 36034)(構建)變基datetime下推過濾器拚花

    • (火花- 36163)(構建)傳播正確的JDBC提供者和JDBC連接器添加屬性connectionProvider選項

磚運行時的8.3(不支持)

看到磚運行時的8.3(不支持)。

  • 2022年1月19日

    • 操作係統安全更新。

  • 2021年11月4日

    • 固定一個錯誤可能導致結構化流流ArrayIndexOutOfBoundsException失敗

    • 固定一個競爭條件,可能會導致一個查詢失敗這樣一個IOExceptionjava.io.IOException:沒有文件係統為計劃或者可能會導致修改sparkContext.hadoopConfiguration在查詢不生效。

  • 2021年9月22日

    • 火花JDBC驅動程序是2.6.19.1030升級

  • 2021年9月15日

    • 固定一個競爭條件,可能會導致一個查詢失敗這樣一個IOExceptionjava.io.IOException:org.apache.spark.SparkException:失敗的來得到broadcast_x_piecey的broadcast_x。

    • 操作係統安全更新。

  • 2021年9月8日

    • (火花- 35700)[SQL] [WARMFIX]讀char、varchar獸人表時創建並由外部係統。

    • (火花- 36532)[心][3.1]固定的僵局CoarseGrainedExecutorBackend.onDisconnected為了避免executorsconnected為了防止執行人關閉掛。

  • 2021年8月25日,

    • SQL服務器驅動程序庫是9.2.1.jre8升級。

    • 雪花連接器是2.9.0升級。

    • 修複bug造成的憑據透傳新鋪預取優化,用戶的透傳憑證文件訪問期間可能不被發現。

  • 2021年8月11日,

    • 修複一個缺陷,AWS STS配置端點亞馬遜運動運動源端點。

    • 修複一個缺陷在使用自動加載器與失配頭文件讀取CSV文件。如果列名稱不匹配,用null列會填寫。現在,如果提供了模式,它假定的模式是一樣的,隻保存列不匹配如果啟用了獲救的數據列。

  • 2021年7月29日

    • 升級數據磚雪花火花2.9.0-spark-3.1連接器

    • (火花- 36034)(構建)變基datetime下推過濾器拚花

    • (火花- 36163)(構建)傳播正確的JDBC提供者和JDBC連接器添加屬性connectionProvider選項

  • 2021年7月14日

    • 修正了在使用列名Azure突觸連接的點。

    • 介紹了database.schema.table格式突觸連接器。

    • 增加了提供的支持databaseName.schemaName.tableName格式表而不是隻作為目標schemaName.tableName或的表。

  • 2021年6月15日

    • 固定一個NoSuchElementException錯誤在三角洲湖優化寫道,編寫大量數據時可能發生和遇到執行人損失

    • 添加SQL創建集團,下降集團,改變集團,顯示組,顯示用戶命令。有關詳細信息,請參見安全聲明和顯示報表。

磚運行時的8.2(不支持)

看到磚運行時的8.2(不支持)。

  • 2021年9月22日

    • 操作係統安全更新。

  • 2021年9月15日

    • 固定一個競爭條件,可能會導致一個查詢失敗這樣一個IOExceptionjava.io.IOException:org.apache.spark.SparkException:失敗的來得到broadcast_x_piecey的broadcast_x。

  • 2021年9月8日

    • (火花- 35700)[SQL] [WARMFIX]讀char、varchar獸人表時創建並由外部係統。

    • (火花- 36532)[心][3.1]固定的僵局CoarseGrainedExecutorBackend.onDisconnected為了避免executorsconnected為了防止執行人關閉掛。

  • 2021年8月25日,

    • 雪花連接器是2.9.0升級。

  • 2021年8月11日,

    • 修複一個缺陷,AWS STS配置端點亞馬遜運動運動源端點。

    • (火花- 36034)[SQL]變基datetime鋪下推過濾器。

  • 2021年7月29日

    • 升級數據磚雪花火花2.9.0-spark-3.1連接器

    • (火花- 36163)(構建)傳播正確的JDBC提供者和JDBC連接器添加屬性connectionProvider選項

  • 2021年7月14日

    • 修正了在使用列名Azure突觸連接的點。

    • 介紹了database.schema.table格式突觸連接器。

    • 增加了提供的支持databaseName.schemaName.tableName格式表而不是隻作為目標schemaName.tableName或的表。

    • 固定防止用戶的故障時間旅行與三角洲表老版本可用。

  • 2021年6月15日

    • 修複一個NoSuchElementException錯誤在三角洲湖優化寫道,編寫大量數據時可能發生和遇到執行人損失

  • 2021年6月7日

    • 禁用列表謂詞下推(StartsWith, EndsWith,包含,不是(等於())和數據類型)AWS膠水不支持目錄,因為他們的膠水。

  • 2021年5月26日,

    • Python Python更新安全補丁修複安全漏洞(cve - 2021 - 3177)。

  • 2021年4月30日

    • 操作係統安全更新。

    • (火花- 35227)(構建)更新SparkSubmit spark-packages的解析器

    • (火花- 34245)(核心)確保主刪除執行人未能發送完成狀態

    • 固定一個伯父問題時自動加載程序結構化流進展指標報告。

磚運行時的8.1(不支持)

看到磚運行時的8.1(不支持)。

  • 2021年9月22日

    • 操作係統安全更新。

  • 2021年9月15日

    • 固定一個競爭條件,可能會導致一個查詢失敗這樣一個IOExceptionjava.io.IOException:org.apache.spark.SparkException:失敗的來得到broadcast_x_piecey的broadcast_x。

  • 2021年9月8日

    • (火花- 35700)[SQL] [WARMFIX]讀char、varchar獸人表時創建並由外部係統。

    • (火花- 36532)[心][3.1]固定的僵局CoarseGrainedExecutorBackend.onDisconnected為了避免executorsconnected為了防止執行人關閉掛。

  • 2021年8月25日,

    • 雪花連接器是2.9.0升級。

  • 2021年8月11日,

    • 修複一個缺陷,AWS STS配置端點亞馬遜運動運動源端點。

    • (火花- 36034)[SQL]變基datetime鋪下推過濾器。

  • 2021年7月29日

    • 升級數據磚雪花火花2.9.0-spark-3.1連接器

    • (火花- 36163)(構建)傳播正確的JDBC提供者和JDBC連接器添加屬性connectionProvider選項

  • 2021年7月14日

    • 修正了在使用列名Azure突觸連接的點。

    • 固定防止用戶的故障時間旅行與三角洲表老版本可用。

  • 2021年6月15日

    • 修複一個NoSuchElementException錯誤在三角洲湖優化寫道,編寫大量數據時可能發生和遇到執行人損失

  • 2021年6月7日

    • 禁用列表謂詞下推(StartsWith, EndsWith,包含,不是(等於())和數據類型)AWS膠水不支持目錄,因為他們的膠水。

  • 2021年5月26日,

    • Python Python更新安全補丁修複安全漏洞(cve - 2021 - 3177)。

  • 2021年4月30日

    • 操作係統安全更新。

    • (火花- 35227)(構建)更新SparkSubmit spark-packages的解析器

    • 固定一個伯父問題時自動加載程序結構化流進展指標報告。

  • 2021年4月27日

    • (火花- 34245)(核心)確保主刪除執行人未能發送完成狀態

    • (火花- 34856)[SQL] ANSI模式:允許鑄造複雜類型為字符串類型

    • (火花- 35014)修複PhysicalAggregation模式不重寫可折疊的表達式

    • (火花- 34769)[SQL] AnsiTypeCoercion: TypeCollection返回狹隘的轉換類型

    • (火花- 34614)[SQL] ANSI模式:將字符串解析錯誤布爾將拋出異常

    • (火花- 33794)[SQL] ANSI模式:修複NextDay拋出運行時表達式IllegalArgumentException當收到無效輸入

磚運行時的8.0(不支持)

看到磚運行時的8.0(不支持)。

  • 2021年9月15日

    • 固定一個競爭條件,可能會導致一個查詢失敗這樣一個IOExceptionjava.io.IOException:org.apache.spark.SparkException:失敗的來得到broadcast_x_piecey的broadcast_x。

  • 2021年8月25日,

    • 雪花連接器是2.9.0升級。

  • 2021年8月11日,

    • 修複一個缺陷,AWS STS配置端點亞馬遜運動運動源端點。

    • (火花- 36034)[SQL]變基datetime鋪下推過濾器。

  • 2021年7月29日

    • (火花- 36163)(構建)傳播正確的JDBC提供者和JDBC連接器添加屬性connectionProvider選項

  • 2021年7月14日

    • 修正了在使用列名Azure突觸連接的點。

    • 固定防止用戶的故障時間旅行與三角洲表老版本可用。

  • 2021年6月7日

    • 禁用列表謂詞下推(StartsWith, EndsWith,包含,不是(等於())和數據類型)AWS膠水不支持目錄,因為他們的膠水。

  • 2021年5月26日,

    • Python Python更新安全補丁修複安全漏洞(cve - 2021 - 3177)。

  • 2021年4月30日

    • 操作係統安全更新。

    • (火花- 35227)(構建)更新SparkSubmit spark-packages的解析器

    • (火花- 34245)(核心)確保主刪除執行人未能發送完成狀態

  • 2021年3月24日

    • (火花- 34681)[SQL]修複bug,完全外洗好的散列連接在構建左側不相等的條件

    • (火花- 34534)當使用FetchShuffleBlocks獲取塊修複blockIds秩序

    • (火花- 34613)[SQL]修複視圖不捕捉禁用提示配置

    • 磁盤緩存是默認啟用i3en實例。

  • 2021年3月9日

    • (火花- 34543)[SQL]尊重spark.sql.caseSensitive配置解決分區規範在v1集位置

    • (火花- 34392)[SQL]支持ZoneOffset + h: DateTimeUtils毫米。getZoneId

    • (UI)修複的href鏈接引發DAG可視化

    • (火花- 34436)[SQL]民進黨支持像任何/所有的表情

磚運行時的7.6(不支持)

看到磚運行時的7.6(不支持)。

  • 2021年8月11日,

    • 修複一個缺陷,AWS STS配置端點亞馬遜運動運動源端點。

    • (火花- 36034)[SQL]變基datetime鋪下推過濾器。

  • 2021年7月29日

    • (火花- 32998)(構建)添加能力覆蓋默認遠程回購隻與內部回購

  • 2021年7月14日

    • 固定防止用戶的故障時間旅行與三角洲表老版本可用。

  • 2021年5月26日,

    • Python Python更新安全補丁修複安全漏洞(cve - 2021 - 3177)。

  • 2021年4月30日

    • 操作係統安全更新。

    • (火花- 35227)(構建)更新SparkSubmit spark-packages的解析器

    • (火花- 34245)(核心)確保主刪除執行人未能發送完成狀態

  • 2021年3月24日

    • (火花- 34768)[SQL]尊重Univocity中的默認輸入緩衝區的大小

    • (火花- 34534)當使用FetchShuffleBlocks獲取塊修複blockIds秩序

    • 磁盤緩存是默認啟用i3en實例。

  • 2021年3月9日

    • (僅Azure)固定一個汽車加載程序錯誤會導致NullPointerException當使用磚7.6運行時的運行一個老自動加載程序流中創建數據磚7.2運行時

    • (UI)修複的href鏈接引發DAG可視化

    • 未知的葉節點在SizeInBytesOnlyStatsSparkPlanVisitor SparkPlan沒有正確處理

    • 恢複的輸出模式顯示數據庫

    • [Delta][8.0, 7.6]固定計算錯誤文件大小自動邏輯

    • 禁用過時檢查δ在磁盤高速緩存表文件

    • [SQL]使用正確的動態範圍時修剪建立關鍵連接提示

    • 禁用char類型支持非sql代碼路徑

    • 避免在DataFrameReader.schema肺水腫

    • 修複肺水腫時EventGridClient反應沒有實體

    • 修複一個讀關閉流錯誤在Azure自動加載程序

    • [SQL]不生成洗牌分區號建議啟用先進的時

  • 2021年2月24日

    • 升級引發BigQuery連接器v0.18,介紹各種bug修複和支持箭頭和Avro迭代器。

    • 固定一個正確性的問題,導致火花拚花時返回不正確的結果文件的小數精度和等級是不同的火花模式。

    • 固定閱讀失敗問題Microsoft SQL Server包含空間數據類型的表,通過添加幾何和地理JDBC類型支持火花SQL。

    • 引入了一個新的配置spark.databricks.hive.metastore.init.reloadFunctions.enabled。這個配置控製建在蜂巢的初始化。當設置為true時,磚重新加載的所有功能的所有數據庫用戶FunctionRegistry。在蜂巢Metastore這是默認行為。當設置為false,磚禁用這個過程的優化。

    • (火花- 34212)固定從鋪閱讀十進製數據文件有關的問題。

    • (火花- 34260)[SQL]修複UnresolvedException創建臨時視圖時兩次。

磚運行時的7.5(不支持)

看到磚運行時的7.5(不支持)。

  • 2021年5月26日,

    • Python Python更新安全補丁修複安全漏洞(cve - 2021 - 3177)。

  • 2021年4月30日

    • 操作係統安全更新。

    • (火花- 35227)(構建)更新SparkSubmit spark-packages的解析器

    • (火花- 34245)(核心)確保主刪除執行人未能發送完成狀態

  • 2021年3月24日

    • (火花- 34768)[SQL]尊重Univocity中的默認輸入緩衝區的大小

    • (火花- 34534)當使用FetchShuffleBlocks獲取塊修複blockIds秩序

    • 磁盤緩存是默認啟用i3en實例。

  • 2021年3月9日

    • (僅Azure)固定一個汽車加載程序錯誤會導致NullPointerException當使用磚7.5運行時的運行一個老自動加載程序流中創建數據磚7.2運行時。

    • (UI)修複的href鏈接引發DAG可視化

    • 未知的葉節點在SizeInBytesOnlyStatsSparkPlanVisitor SparkPlan沒有正確處理

    • 恢複的輸出模式顯示數據庫

    • 禁用過時檢查δ在磁盤高速緩存表文件

    • [SQL]使用正確的動態範圍時修剪建立關鍵連接提示

    • 禁用char類型支持非sql代碼路徑

    • 避免在DataFrameReader.schema肺水腫

    • 修複肺水腫時EventGridClient反應沒有實體

    • 修複一個讀關閉流錯誤在Azure自動加載程序

  • 2021年2月24日

    • 升級引發BigQuery連接器v0.18,介紹各種bug修複和支持箭頭和Avro迭代器。

    • 固定一個正確性的問題,導致火花拚花時返回不正確的結果文件的小數精度和等級是不同的火花模式。

    • 固定閱讀失敗問題Microsoft SQL Server包含空間數據類型的表,通過添加幾何和地理JDBC類型支持火花SQL。

    • 引入了一個新的配置spark.databricks.hive.metastore.init.reloadFunctions.enabled。這個配置控製建在蜂巢的初始化。當設置為true時,磚重新加載的所有功能的所有數據庫用戶FunctionRegistry。在蜂巢Metastore這是默認行為。當設置為false,磚禁用這個過程的優化。

    • (火花- 34212)固定從鋪閱讀十進製數據文件有關的問題。

    • (火花- 34260)[SQL]修複UnresolvedException創建臨時視圖時兩次。

  • 2021年2月4日,

    • 固定的回歸,防止增量執行查詢,設置一個全球限製等選擇*從表限製nrows。經曆的回歸是用戶運行查詢通過ODBC / JDBC啟用了箭頭序列化。

    • 介紹了寫時間檢查蜂巢客戶機來防止腐敗的蜂巢metastore三角洲的元數據表。

    • 固定一個回歸導致DBFS保險絲時無法啟動集群環境變量配置包含無效的bash語法。

  • 2021年1月20日

    • 固定的回歸2021年1月12日維護版本,可能會導致一個不正確的AnalysisException說自我連接的列是模棱兩可的。這種回歸發生當一個用戶加入DataFrame及其派生DataFrame(所謂的自)與下列條件:

      • 這兩個DataFrames有常見的列,但自己加入的輸出沒有共同的列。例如,df.join (df.select(美元“上校”作為“new_col”),氣孔導度)

      • 派生DataFrame排除了一些列通過選擇、groupBy或窗口。

      • 加入後的聯接條件或以下轉換Dataframe指的是刺激列。例如,df.join (df.drop (“a”),df (“”)= = =1)

  • 2021年1月12日

    • 升級存儲Azure SDK 2.3.8 2.3.9。

    • (火花- 33593)[SQL]與二進製向量讀者有不正確的數據分區的值

    • (火花- 33480)[SQL]更新char、varchar表的錯誤消息插入長度檢查

磚運行時7.3 LTS

看到磚運行時7.3 LTS。

  • 2022年10月5日

    • 各種各樣的bug修複。

    • 操作係統安全更新。

  • 2022年9月22日

  • 2022年9月6日

    • (火花- 35542)(核心)(ML)解決辦法:Bucketizer創建多個列的參數splitsArray inputCols outputCols不能加載後保存

    • (火花- 40079)(核心)添加輸入為空inputCols驗證輸入的情況

  • 2022年8月24日

    • (火花- 39962)(PYTHON] [SQL]應用投影當組屬性是空的

    • 操作係統安全更新。

  • 2022年8月9日

    • 操作係統安全更新。

  • 2022年7月27日,

    • 使三角洲合並操作結果一致的來源是不確定的。

    • 操作係統安全更新。

    • 各種各樣的bug修複。

  • 2022年7月13日

    • (火花- 32680)[SQL]不預處理V2 cta與未解決的查詢

    • 禁用自動加載器使用本地雲api對Azure目錄清單。

    • 操作係統安全更新。

  • 2022年7月5日

    • 操作係統安全更新。

    • 各種各樣的bug修複。

  • 2022年6月2日

    • (火花- 38918)[SQL]嵌套列修剪應該過濾掉屬性不屬於當前的關係

    • 操作係統安全更新。

  • 2022年5月18日

    • 從1.11.655 1.11.678升級AWS SDK版本。

    • 操作係統安全更新。

    • 各種各樣的bug修複。

  • 2022年4月19日

    • 操作係統安全更新。

    • 各種各樣的bug修複。

  • 2022年4月6日

    • 操作係統安全更新。

    • 各種各樣的bug修複。

  • 2022年3月14日,

    • 刪除從log4j jar 1.2.17脆弱類

    • 各種各樣的bug修複。

  • 2022年2月23日

  • 2022年2月8日

    • 升級Ubuntu 1.8.0.312 JDK。

    • 操作係統安全更新。

  • 2022年2月1日

    • 操作係統安全更新。

  • 2022年1月26日

    • 固定一臭蟲,其優化命令啟用ANSI SQL方言時可能會失敗。

  • 2022年1月19日

    • 從7.3毫升LTS Conda刪除默認通道

    • 操作係統安全更新。

  • 2021年12月7日

    • 操作係統安全更新。

  • 2021年11月4日

    • 固定一個錯誤可能導致結構化流流ArrayIndexOutOfBoundsException失敗

    • 固定一個競爭條件,可能會導致一個查詢失敗這樣一個IOExceptionjava.io.IOException:沒有文件係統為計劃或者可能會導致修改sparkContext.hadoopConfiguration在查詢不生效。

  • 2021年9月15日

    • 固定一個競爭條件,可能會導致一個查詢失敗這樣一個IOExceptionjava.io.IOException:org.apache.spark.SparkException:失敗的來得到broadcast_x_piecey的broadcast_x。

    • 操作係統安全更新。

  • 2021年9月8日

    • (火花- 35700)[SQL] [WARMFIX]讀char、varchar獸人表時創建並由外部係統。

    • (火花- 36532)[心][3.1]固定的僵局CoarseGrainedExecutorBackend.onDisconnected為了避免executorsconnected為了防止執行人關閉掛。

  • 2021年8月25日,

    • 雪花連接器是2.9.0升級。

  • 2021年7月29日

  • 2021年7月14日

    • 介紹了database.schema.table格式Azure突觸連接器。

    • 增加了提供的支持databaseName.schemaName.tableName格式表而不是隻作為目標schemaName.tableName或的表。

    • 固定防止用戶的故障時間旅行與三角洲表老版本可用。

  • 2021年6月15日

    • 修複一個NoSuchElementException錯誤在三角洲湖優化寫道,編寫大量數據時可能發生和遇到執行人損失

    • Python Python更新安全補丁修複安全漏洞(cve - 2021 - 3177)。

  • 2021年4月30日

    • 操作係統安全更新。

    • (火花- 35227)(構建)更新SparkSubmit spark-packages的解析器

    • (火花- 34245)(核心)確保主刪除執行人未能發送完成狀態

    • (火花- 35045)[SQL]添加一個內部選項控製在univocity輸入緩衝區

  • 2021年3月24日

    • (火花- 34768)[SQL]尊重Univocity中的默認輸入緩衝區的大小

    • (火花- 34534)當使用FetchShuffleBlocks獲取塊修複blockIds秩序

    • (火花- 33118)[SQL]創建臨時表失敗的位置

    • 磁盤緩存是默認啟用i3en實例。

  • 2021年3月9日

    • Azure的Azure Blob文件係統驅動程序更新數據存儲Gen2湖現在是默認啟用。它將多個穩定的改進。

    • 修複Windows上的路徑分隔符databricks-connectget-jar-dir

    • (UI)修複的href鏈接引發DAG可視化

    • [DBCONNECT]添加支持FlatMapCoGroupsInPandas磚7.3連接

    • 恢複的輸出模式顯示數據庫

    • [SQL]使用正確的動態範圍時修剪建立關鍵連接提示

    • 禁用過時檢查δ在磁盤高速緩存表文件

    • [SQL]不生成洗牌分區號建議橫穿時啟用

  • 2021年2月24日

    • 升級引發BigQuery連接器v0.18,介紹各種bug修複和支持箭頭和Avro迭代器。

    • 固定一個正確性的問題,導致火花拚花時返回不正確的結果文件的小數精度和等級是不同的火花模式。

    • 固定閱讀失敗問題Microsoft SQL Server包含空間數據類型的表,通過添加幾何和地理JDBC類型支持火花SQL。

    • 引入了一個新的配置spark.databricks.hive.metastore.init.reloadFunctions.enabled。這個配置控製建在蜂巢的初始化。當設置為true時,磚重新加載的所有功能的所有數據庫用戶FunctionRegistry。在蜂巢Metastore這是默認行為。當設置為false,磚禁用這個過程的優化。

    • (火花- 34212)固定從鋪閱讀十進製數據文件有關的問題。

    • (火花- 33579)(UI)修複執行人代理背後的空白頁。

    • (火花- 20044)火花界麵(UI)支持的背後前端反向代理使用路徑前綴。

    • (火花- 33277)[PYSPARK] [SQL]使用ContextAwareIterator任務結束後停止消費。

  • 2021年2月4日,

    • 固定的回歸,防止增量執行查詢,設置一個全球限製等選擇*從表限製nrows。經曆的回歸是用戶運行查詢通過ODBC / JDBC啟用了箭頭序列化。

    • 固定一個回歸導致DBFS保險絲時無法啟動集群環境變量配置包含無效的bash語法。

  • 2021年1月20日

    • 固定的回歸2021年1月12日維護版本,可能會導致一個不正確的AnalysisException說自我連接的列是模棱兩可的。這種回歸發生當一個用戶加入DataFrame及其派生DataFrame(所謂的自)與下列條件:

      • 這兩個DataFrames有常見的列,但自己加入的輸出沒有共同的列。例如,df.join (df.select(美元“上校”作為“new_col”),氣孔導度)

      • 派生DataFrame排除了一些列通過選擇、groupBy或窗口。

      • 加入後的聯接條件或以下轉換Dataframe指的是刺激列。例如,df.join (df.drop (“a”),df (“”)= = =1)

  • 2021年1月12日

    • 操作係統安全更新。

    • (火花- 33593)[SQL]與二進製向量讀者有不正確的數據分區的值

    • (火花- 33677)[SQL]如果模式包含任何escapeChar跳過LikeSimplification規則

    • (火花- 33592)(毫升)(PYTHON) Pyspark毫升驗證器參數estimatorParamMaps儲蓄和重載後可能會丟失

    • (火花- 33071)[火花- 33536][SQL]避免改變dataset_id LogicalPlan不打破DetectAmbiguousSelfJoin加入()

  • 2020年12月8日

    • (火花- 33587)(核心)殺死執行人在嵌套的致命錯誤

    • (火花- 27421)[SQL]修複過濾器類. lang int列和價值。當修剪分區列字符串

    • (火花- 33316)[SQL]支持用戶提供nullable Avro模式非空催化劑Avro寫作模式

    • 火花工作啟動使用磚連接可以無限期地掛了遺囑執行人TaskRunner美元。anonfun copySessionState美元在執行器堆棧跟蹤

    • 操作係統安全更新。

  • 2020年11月20日

  • 2020年的11月5日

    • 修複沛富和WASB鎖定有關UserGroupInformation.getCurrentUser ()。

    • 修複一個無限循環錯誤當Avro閱讀器讀取字節。

    • 添加支持使用特權。

    • 性能改進的權限檢查訪問控製表。

  • 2020年10月13日

    • 操作係統安全更新。

    • 你可以讀和寫DBFS使用FUSE掛載在/ DBFS /在高並發證書透傳啟用集群。普通坐騎但坐騎,需要支持透傳憑證還不支持。

    • (火花- 32999)[SQL]使用跑龍套。得到SimpleName to avoid hitting Malformed class name in TreeNode

    • (火花- 32585)[SQL]支持ScalaReflection scala枚舉

    • 固定在保險絲安裝包含文件名清單目錄無效的XML字符

    • 保險絲不再使用ListMultipartUploads山

  • 2020年9月29日,

    • (火花- 32718)[SQL]刪除不必要的關鍵詞為間隔單位

    • (火花- 32635)[SQL]修複可折疊的傳播

    • 添加一個新的配置spark.shuffle.io.decoder.consolidateThreshold。設置配置值Long.MAX_VALUE跳過的整合網狀的framebuffer,從而防止java.lang.IndexOutOfBoundsException在角落的情況下。

磚6.4運行時擴展支持(不支持)

看到磚運行時的6.4(不支持)和磚6.4運行時擴展支持(不支持)。

  • 2022年7月5日

    • 操作係統安全更新。

    • 各種各樣的bug修複。

  • 2022年6月2日

    • 操作係統安全更新。

  • 2022年5月18日

    • 操作係統安全更新。

  • 2022年4月19日

    • 操作係統安全更新。

    • 各種各樣的bug修複。

  • 2022年4月6日

    • 操作係統安全更新。

    • 各種各樣的bug修複。

  • 2022年3月14日,

    • 刪除從log4j jar 1.2.17脆弱類

    • 各種各樣的bug修複。

  • 2022年2月23日

    • 各種各樣的bug修複。

  • 2022年2月8日

    • 升級Ubuntu 1.8.0.312 JDK。

    • 操作係統安全更新。

  • 2022年2月1日

    • 操作係統安全更新。

  • 2022年1月26日

    • 固定一臭蟲,其優化命令啟用ANSI SQL方言時可能會失敗。

  • 2022年1月19日

    • 操作係統安全更新。

  • 2021年12月8日

    • 操作係統安全更新。

  • 2021年9月22日

    • 操作係統安全更新。

  • 2021年6月15日

  • 2021年6月7日

    • 添加一個新的配置spark.sql.maven.additionalRemoteRepositories,一個用逗號分隔的字符串遠程maven配置可選的額外的鏡子。默認值https://maven-central.storage-download.googleapis.com/maven2/。

  • 2021年4月30日

    • 操作係統安全更新。

    • (火花- 35227)(構建)更新SparkSubmit spark-packages的解析器

  • 2021年4月6日

    • 固定重試添加到S3客戶解決連接複位問題。

  • 2021年3月24日

    • 磁盤緩存是默認啟用i3en實例。

  • 2021年3月9日

    • 端口hadoop - 17215 Azure Blob文件係統驅動程序(支持條件覆蓋)。

    • 修複Windows上的路徑分隔符databricks-connectget-jar-dir

    • 增加了對蜂巢的支持metastore 2.3.5版本,2.3.6,2.3.7

    • 泄漏後箭頭“totalResultsCollected”報告錯誤

  • 2021年2月24日

    • 引入了一個新的配置spark.databricks.hive.metastore.init.reloadFunctions.enabled。這個配置控製建在蜂巢的初始化。當設置為true時,磚重新加載的所有功能的所有數據庫用戶FunctionRegistry。在蜂巢Metastore這是默認行為。當設置為false,磚禁用這個過程的優化。

  • 2021年2月4日,

    • 固定的回歸,防止增量執行查詢,設置一個全球限製等選擇*從表限製nrows。經曆的回歸是用戶運行查詢通過ODBC / JDBC啟用了箭頭序列化。

    • 固定一個回歸導致DBFS保險絲時無法啟動集群環境變量配置包含無效的bash語法。

  • 2021年1月12日

    • 操作係統安全更新。

  • 2020年12月8日

    • (火花- 27421)[SQL]修複過濾器類. lang int列和價值。當修剪分區列字符串

    • (火花- 33183)[SQL]修複優化規則EliminateSorts和添加一個物理規則刪除冗餘

    • (運行時6.4毫升GPU)我們之前安裝一個不正確的版本(NCCL 2.7.8-1 + cuda11.1)。這個版本糾正它2.4.8-1 + cuda10.0兼容CUDA 10.0。

    • 操作係統安全更新。

  • 2020年11月3日

    • 從1.8.0_252 1.8.0_265升級Java版本。

    • 修複沛富和WASB鎖定對UserGroupInformation.getCurrentUser ()

    • 修複一個無限循環錯誤Avro讀者閱讀時神奇的字節。

  • 2020年10月13日

    • 操作係統安全更新。

    • (火花- 32999)[SQL][2.4]使用跑龍套。得到SimpleName to avoid hitting Malformed class name in TreeNode

    • 固定在保險絲安裝包含文件名清單目錄無效的XML字符

    • 保險絲不再使用ListMultipartUploads山

  • 2020年9月24日

    • 修正了之前的限製標準集群上,透傳仍將限製用戶使用文件係統實現。現在用戶可以訪問本地文件係統沒有限製。

    • 操作係統安全更新。

  • 2020年9月8日

    • 創建一個新的參數Azure突觸分析,maxbinlength。這個參數是用來控製BinaryType列的列的長度,並翻譯成VARBINARY (maxbinlength)。它可以設置使用.option (“maxbinlength”,n),0 < n < = 8000。

    • 更新存儲Azure SDK 8.6.4和啟用TCP保持活著的連接由WASB司機

  • 2020年8月25日,

    • 固定在self-merge模糊屬性的決議

  • 2020年8月18日

    • (火花- 32431)[SQL]檢查重複的嵌套列從內置數據源讀取

    • 固定一個SQS連接器在使用Trigger.Once競態條件。

  • 2020年8月11日,

  • 2020年8月3日

    • 您現在可以使用集群passthrough-enabled LDA變換函數。

    • 操作係統安全更新。

  • 2020年7月7日

    • 從1.8.0_232 1.8.0_252升級Java版本。

  • 2020年4月21日

  • 2020年4月7日

    • 解決一個問題與熊貓udf不工作PyArrow 0.15.0以上,我們添加了一個環境變量(ARROW_PRE_0_15_IPC_FORMAT = 1),使PyArrow的支持版本。看到的指令(火花- 29367)。

  • 2020年3月10日

    • 優化自動定量現在默認情況下通用集群上使用保費計劃或以上。

    • 雪花連接器(spark-snowflake_2.11)包含在磚2.5.9運行時更新版本。snowflake-jdbc是3.12.0更新版本。

磚運行時5.5 LTS(不支持)

看到磚運行時5.5 LTS(不支持)和磚5.5運行時擴展支持(不支持)。

  • 2021年12月8日

    • 操作係統安全更新。

  • 2021年9月22日

    • 操作係統安全更新。

  • 2021年8月25日,

    • 下調了一些以前在5.5 ML升級python包擴展支持版本保持更好的平價5.5毫升LTS(現在棄用)。[_]/發行說明/運行/ 5.5 xml.md)更新兩個版本之間的差異。

  • 2021年6月15日

  • 2021年6月7日

    • 添加一個新的配置spark.sql.maven.additionalRemoteRepositories,一個用逗號分隔的字符串遠程maven配置可選的額外的鏡子。默認值https://maven-central.storage-download.googleapis.com/maven2/。

  • 2021年4月30日

    • 操作係統安全更新。

    • (火花- 35227)(構建)更新SparkSubmit spark-packages的解析器

  • 2021年4月6日

    • 固定重試添加到S3客戶解決連接複位問題。

  • 2021年3月24日

    • 磁盤緩存是默認啟用i3en實例。

  • 2021年3月9日

    • 端口hadoop - 17215 Azure Blob文件係統驅動程序(支持條件覆蓋)。

  • 2021年2月24日

    • 引入了一個新的配置spark.databricks.hive.metastore.init.reloadFunctions.enabled。這個配置控製建在蜂巢的初始化。當設置為true時,磚重新加載的所有功能的所有數據庫用戶FunctionRegistry。在蜂巢Metastore這是默認行為。當設置為false,磚禁用這個過程的優化。

  • 2021年1月12日

  • 2020年12月8日

    • (火花- 27421)[SQL]修複過濾器類. lang int列和價值。當修剪分區列字符串

    • 操作係統安全更新。

  • 2020年10月29日

    • 從1.8.0_252 1.8.0_265升級Java版本。

    • 修複沛富和WASB鎖定對UserGroupInformation.getCurrentUser ()

    • 修複一個無限循環錯誤Avro讀者閱讀時神奇的字節。

  • 2020年10月13日

    • 操作係統安全更新。

    • (火花- 32999)[SQL][2.4]使用跑龍套。得到SimpleName to avoid hitting Malformed class name in TreeNode

  • 2020年9月24日

    • 操作係統安全更新。

  • 2020年9月8日

    • 創建一個新的參數Azure突觸分析,maxbinlength。這個參數是用來控製BinaryType列的列的長度,並翻譯成VARBINARY (maxbinlength)。它可以設置使用.option (“maxbinlength”,n),0 < n < = 8000。

  • 2020年8月18日

    • (火花- 32431)[SQL]檢查重複的嵌套列從內置數據源讀取

    • 固定一個SQS連接器在使用Trigger.Once競態條件。

  • 2020年8月11日,

  • 2020年8月3日

    • 操作係統安全更新

  • 2020年7月7日

    • 從1.8.0_232 1.8.0_252升級Java版本。

  • 2020年4月21日

  • 2020年4月7日

    • 解決一個問題與熊貓udf不工作PyArrow 0.15.0以上,我們添加了一個環境變量(ARROW_PRE_0_15_IPC_FORMAT = 1),使PyArrow的支持版本。看到的指令(火花- 29367)。

  • 2020年3月25日

    • 雪花連接器(spark-snowflake_2.11)包含在磚2.5.9運行時更新版本。snowflake-jdbc是3.12.0更新版本。

  • 2020年3月10日

    • 工作產出,比如日誌輸出發送到stdout, 20 mb的大小限製。如果總輸出有一個更大的規模,將被取消和標記為失敗。為了避免遇到這個限製,可以防止stdout從司機通過設置回來spark.databricks.driver.disableScalaOutput火花配置真正的。默認情況下,標誌值假。國旗控製單元輸出Scala JAR和Scala筆記本工作。如果啟用了國旗,引發不工作執行結果返回給客戶機。國旗並不影響數據集群中所寫的日誌文件。設置這個標誌建議隻對自動化集群JAR的工作,因為它將禁用筆記本的結果。

  • 2020年2月18日

    • (火花- 24783)[SQL] spark.sql.shuffle。分區= 0應該拋出異常

    • 代有憑據透傳與ADLS性能下降由於不正確的線程本地處理當ADLS端啟用預取。這個版本禁用ADLS Gen2預取時啟用憑據透傳,直到我們有一個適當的修複。

  • 2020年1月28日,

    • 固定一個bug S3AFileSystem,fs.isDirectory(路徑)或fs.getFileStatus(路徑).isDirectory ()可能有時不正確返回假。該錯誤將在路徑的清單awss3list-objects-v2——前綴路徑/——max-keys1——分隔符/反應沒有鑰匙和常見的前綴,但是isTruncated=真正的。這對目錄下可能發生許多對象被刪除和版本啟用。

  • 2020年1月14日,

    • 從1.8.0_222 1.8.0_232升級Java版本。

  • 2019年11月19日

    • (火花- 29743)[SQL]示例應該設定needCopyResult真實如果孩子的needCopyResult是正確的

    • 從3.6.0意外升級到3.6.1 R版本。我們回到3.6.0下調了它。

  • 2019年的11月5日

    • 從1.8.0_212 1.8.0_222升級Java版本。

  • 2019年10月23日

  • 2019年10月8日

    • 服務器端更改讓辛巴Apache火花ODBC驅動程序重新連接後,繼續在抓取結果(需要連接失敗辛巴Apache火花首款ODBC驅動程序版本)。

    • 固定一個問題影響使用優化命令啟用了ACL表集群。

    • 固定的一個問題,pyspark.ml圖書館會失敗因為Scala UDF禁止錯誤表ACL啟用集群。

    • 固定NullPointerException WASB檢查錯誤代碼時客戶端。

  • 2019年9月24日

    • 提高穩定性的鑲花的作家。

    • 固定儲蓄的問題查詢取消它開始執行可能會困在開始之前的狀態。

  • 2019年9月10日

    • BytesToBytesMap添加線程安全的迭代器

    • (火花- 27992)(火花- 28881)Python允許加入連接線程傳播錯誤

    • 固定一個bug影響某些全球聚合查詢。

    • 改進的憑據修訂。

    • (火花- 27330)[SS]支持在foreach任務中止的作家

    • (火花- 28642)顯示創建表中隱藏的憑證

    • (火花- 28699)[SQL]禁用使用基數排序ShuffleExchangeExec重新分配情況

  • 2019年8月27日,

    • (火花- 20906)[SQL] API允許用戶指定的模式來avro_與模式注冊表

    • (火花- 27838)[SQL]支持用戶提供非空avro模式為nullable催化劑沒有任何零記錄

    • 改善三角洲湖時間旅行

    • 影響某些固定的一個問題變換表達式

    • 支持廣播變量處理隔離時啟用

  • 2019年8月13日,

    • 三角洲流源應該檢查表的最新協議

    • (火花- 28260)增加ExecutionState關閉狀態

    • (火花- 28489)[SS] KafkaOffsetRangeCalculator修複一個缺陷。getRanges可能會抵消下降

  • 2019年7月30日

    • (火花- 28015)[SQL]檢查stringToDate()消耗整個輸入yyyy和yyyy - m [m]格式

    • (火花- 28308)(核心)CalendarInterval次秒級前應該填補一部分解析

    • (火花- 27485)EnsureRequirements。重新排序應該優雅地處理重複的表達式

    • (火花- 28355)(核心)(PYTHON)使用火花設計及其閾值的UDF壓縮的廣播

光磚2.4擴展支持

看到光磚2.4(不支持)和光磚2.4擴展支持。

  • 2022年10月5日

    • 操作係統安全更新。

  • 2022年8月24日

    • 操作係統安全更新。

  • 2022年8月9日

    • 操作係統安全更新。

  • 2022年7月27日,

    • 操作係統安全更新。

  • 2022年7月5日

    • 操作係統安全更新。

  • 2022年6月2日

    • 操作係統安全更新。

  • 2022年5月18日

    • 操作係統安全更新。

  • 2022年4月19日

    • 操作係統安全更新。

    • 各種各樣的bug修複。

  • 2022年4月6日

    • 操作係統安全更新。

    • 各種各樣的bug修複。

  • 2022年3月14日,

    • 各種各樣的bug修複。

  • 2022年2月23日

    • 各種各樣的bug修複。

  • 2022年2月8日

    • 升級Ubuntu 1.8.0.312 JDK。

    • 操作係統安全更新。

  • 2022年2月1日

    • 操作係統安全更新。

  • 2022年1月19日

    • 操作係統安全更新。

  • 2021年9月22日

    • 操作係統安全更新。

  • 2021年4月30日

    • 操作係統安全更新。

    • (火花- 35227)(構建)更新SparkSubmit spark-packages的解析器

  • 2021年1月12日

    • 操作係統安全更新。

  • 2020年12月8日

    • (火花- 27421)[SQL]修複過濾器類. lang int列和價值。當修剪分區列字符串

    • 操作係統安全更新。

  • 2020年11月20日

  • 2020年11月3日

    • 從1.8.0_252 1.8.0_265升級Java版本。

    • 修複沛富和WASB鎖定對UserGroupInformation.getCurrentUser ()

  • 2020年10月13日

    • 操作係統安全更新。

磚運行時的7.4(不支持)

看到磚運行時的7.4(不支持)。

  • 2021年4月30日

    • 操作係統安全更新。

    • (火花- 35227)(構建)更新SparkSubmit spark-packages的解析器

    • (火花- 34245)(核心)確保主刪除執行人未能發送完成狀態

    • (火花- 35045)[SQL]添加一個內部選項來控製輸入緩衝區univocity和CSV輸入緩衝區大小的配置

  • 2021年3月24日

    • (火花- 34768)[SQL]尊重Univocity中的默認輸入緩衝區的大小

    • (火花- 34534)當使用FetchShuffleBlocks獲取塊修複blockIds秩序

    • 磁盤緩存是默認啟用i3en實例。

  • 2021年3月9日

    • Azure的Azure Blob文件係統驅動程序更新數據存儲Gen2湖現在是默認啟用。它將多個穩定的改進。

    • [es - 67926] [UI]修複的href鏈接引發DAG可視化

    • [es - 65064]恢複的輸出模式顯示數據庫

    • (sc - 70522] [SQL]使用正確的動態範圍時修剪建立關鍵連接提示

    • (sc - 35081)禁用過時檢查δ在磁盤高速緩存表文件

    • (sc - 70640)修複肺水腫時EventGridClient反應沒有實體

    • (sc - 70220] [SQL]不生成洗牌分區號建議啟用先進的時

  • 2021年2月24日

    • 升級引發BigQuery連接器v0.18,介紹各種bug修複和支持箭頭和Avro迭代器。

    • 固定一個正確性的問題,導致火花拚花時返回不正確的結果文件的小數精度和等級是不同的火花模式。

    • 固定閱讀失敗問題Microsoft SQL Server包含空間數據類型的表,通過添加幾何和地理JDBC類型支持火花SQL。

    • 引入了一個新的配置spark.databricks.hive.metastore.init.reloadFunctions.enabled。這個配置控製建在蜂巢的初始化。當設置為true時,磚重新加載的所有功能的所有數據庫用戶FunctionRegistry。在蜂巢Metastore這是默認行為。當設置為false,磚禁用這個過程的優化。

    • (火花- 34212)固定從鋪閱讀十進製數據文件有關的問題。

    • (火花- 33579)(UI)修複執行人代理背後的空白頁。

    • (火花- 20044)火花界麵(UI)支持的背後前端反向代理使用路徑前綴。

    • (火花- 33277)[PYSPARK] [SQL]使用ContextAwareIterator任務結束後停止消費。

  • 2021年2月4日,

    • 固定的回歸,防止增量執行查詢,設置一個全球限製等選擇*從表限製nrows。經曆的回歸是用戶運行查詢通過ODBC / JDBC啟用了箭頭序列化。

    • 固定一個回歸導致DBFS保險絲時無法啟動集群環境變量配置包含無效的bash語法。

  • 2021年1月20日

    • 固定的回歸2021年1月12日維護版本,可能會導致一個不正確的AnalysisException說自我連接的列是模棱兩可的。這種回歸發生當一個用戶加入DataFrame及其派生DataFrame(所謂的自)與下列條件:

      • 這兩個DataFrames有常見的列,但自己加入的輸出沒有共同的列。例如,df.join (df.select(美元“上校”作為“new_col”),氣孔導度)

      • 派生DataFrame排除了一些列通過選擇、groupBy或窗口。

      • 加入後的聯接條件或以下轉換Dataframe指的是刺激列。例如,df.join (df.drop (“a”),df (“”)= = =1)

  • 2021年1月12日

    • 操作係統安全更新。

    • (火花- 33593)[SQL]與二進製向量讀者有不正確的數據分區的值

    • (火花- 33677)[SQL]如果模式包含任何escapeChar跳過LikeSimplification規則

    • (火花- 33071)[火花- 33536][SQL]避免改變dataset_id LogicalPlan不打破DetectAmbiguousSelfJoin加入()

  • 2020年12月8日

    • (火花- 33587)(核心)殺死執行人在嵌套的致命錯誤

    • (火花- 27421)[SQL]修複過濾器類. lang int列和價值。當修剪分區列字符串

    • (火花- 33316)[SQL]支持用戶提供nullable Avro模式非空催化劑Avro寫作模式

    • 操作係統安全更新。

  • 2020年11月20日

磚運行時的7.2(不支持)

看到磚運行時的7.2(不支持)。

  • 2021年2月4日,

    • 固定的回歸,防止增量執行查詢,設置一個全球限製等選擇*從表限製nrows。經曆的回歸是用戶運行查詢通過ODBC / JDBC啟用了箭頭序列化。

    • 固定一個回歸導致DBFS保險絲時無法啟動集群環境變量配置包含無效的bash語法。

  • 2021年1月20日

    • 固定的回歸2021年1月12日維護版本,可能會導致一個不正確的AnalysisException說自我連接的列是模棱兩可的。這種回歸發生當一個用戶加入DataFrame及其派生DataFrame(所謂的自)與下列條件:

      • 這兩個DataFrames有常見的列,但自己加入的輸出沒有共同的列。例如,df.join (df.select(美元“上校”作為“new_col”),氣孔導度)

      • 派生DataFrame排除了一些列通過選擇、groupBy或窗口。

      • 加入後的聯接條件或以下轉換Dataframe指的是刺激列。例如,df.join (df.drop (“a”),df (“”)= = =1)

  • 2021年1月12日

    • 操作係統安全更新。

    • (火花- 33593)[SQL]與二進製向量讀者有不正確的數據分區的值

    • (火花- 33677)[SQL]如果模式包含任何escapeChar跳過LikeSimplification規則

    • (火花- 33071)[火花- 33536][SQL]避免改變dataset_id LogicalPlan不打破DetectAmbiguousSelfJoin加入()

  • 2020年12月8日

    • (火花- 27421)[SQL]修複過濾器類. lang int列和價值。當修剪分區列字符串

    • (火花- 33404)[SQL]修正不正確的結果date_trunc表達式

    • (火花- 33339)(PYTHON) Pyspark應用程序將掛由於非異常錯誤

    • (火花- 33183)[SQL]修複優化規則EliminateSorts和添加一個物理規則刪除冗餘

    • (火花- 33391)[SQL] element_at CreateArray不尊重一個建立索引。

    • 操作係統安全更新。

  • 2020年11月3日

    • 從1.8.0_252 1.8.0_265升級Java版本。

    • 修複沛富和WASB鎖定對UserGroupInformation.getCurrentUser ()

    • 修複一個無限循環錯誤Avro讀者閱讀時神奇的字節。

  • 2020年10月13日

    • 操作係統安全更新。

    • (火花- 32999)[SQL]使用跑龍套。得到SimpleName to avoid hitting Malformed class name in TreeNode

    • 固定在保險絲安裝包含文件名清單目錄無效的XML字符

    • 保險絲不再使用ListMultipartUploads山

  • 2020年9月29日,

    • (火花- 28863)[SQL] [WARMFIX] AlreadyOptimized介紹防止V1FallbackWriters再分析

    • (火花- 32635)[SQL]修複可折疊的傳播

    • 添加一個新的配置spark.shuffle.io.decoder.consolidateThreshold。設置配置值Long.MAX_VALUE跳過的整合網狀的framebuffer,從而防止java.lang.IndexOutOfBoundsException在角落的情況下。

  • 2020年9月24日

  • 2020年9月8日

    • 創建一個新的參數Azure突觸分析,maxbinlength。這個參數是用來控製BinaryType列的列的長度,並翻譯成VARBINARY (maxbinlength)。它可以設置使用.option (“maxbinlength”,n),0 < n < = 8000。

磚運行時的7.1(不支持)

看到磚運行時的7.1(不支持)。

  • 2021年2月4日,

    • 固定一個回歸導致DBFS保險絲時無法啟動集群環境變量配置包含無效的bash語法。

  • 2021年1月20日

    • 固定的回歸2021年1月12日維護版本,可能會導致一個不正確的AnalysisException說自我連接的列是模棱兩可的。這種回歸發生當一個用戶加入DataFrame及其派生DataFrame(所謂的自)與下列條件:

      • 這兩個DataFrames有常見的列,但自己加入的輸出沒有共同的列。例如,df.join (df.select(美元“上校”作為“new_col”),氣孔導度)

      • 派生DataFrame排除了一些列通過選擇、groupBy或窗口。

      • 加入後的聯接條件或以下轉換Dataframe指的是刺激列。例如,df.join (df.drop (“a”),df (“”)= = =1)

  • 2021年1月12日

    • 操作係統安全更新。

    • (火花- 33593)[SQL]與二進製向量讀者有不正確的數據分區的值

    • (火花- 33677)[SQL]如果模式包含任何escapeChar跳過LikeSimplification規則

    • (火花- 33071)[火花- 33536][SQL]避免改變dataset_id LogicalPlan不打破DetectAmbiguousSelfJoin加入()

  • 2020年12月8日

    • (火花- 27421)[SQL]修複過濾器類. lang int列和價值。當修剪分區列字符串

    • 火花工作啟動使用磚連接可以無限期地掛了遺囑執行人TaskRunner美元。anonfun copySessionState美元在執行器堆棧跟蹤

    • 操作係統安全更新。

  • 2020年11月20日

  • 2020年11月3日

    • 從1.8.0_252 1.8.0_265升級Java版本。

    • 修複沛富和WASB鎖定對UserGroupInformation.getCurrentUser ()

    • 修複一個無限循環錯誤Avro讀者閱讀時神奇的字節。

  • 2020年10月13日

    • 操作係統安全更新。

    • (火花- 32999)[SQL]使用跑龍套。得到SimpleName to avoid hitting Malformed class name in TreeNode

    • 固定在保險絲安裝包含文件名清單目錄無效的XML字符

    • 保險絲不再使用ListMultipartUploads山

  • 2020年9月29日,

    • (火花- 28863)[SQL] [WARMFIX] AlreadyOptimized介紹防止V1FallbackWriters再分析

    • (火花- 32635)[SQL]修複可折疊的傳播

    • 添加一個新的配置spark.shuffle.io.decoder.consolidateThreshold。設置配置值Long.MAX_VALUE跳過的整合網狀的framebuffer,從而防止java.lang.IndexOutOfBoundsException在角落的情況下。

  • 2020年9月24日

  • 2020年9月8日

    • 創建一個新的參數Azure突觸分析,maxbinlength。這個參數是用來控製BinaryType列的列的長度,並翻譯成VARBINARY (maxbinlength)。它可以設置使用.option (“maxbinlength”,n),0 < n < = 8000。

  • 2020年8月25日,

    • (火花- 32159)[SQL]修複之間的集成聚合器[[_]數組,_,_)和UnresolvedMapObjects

    • (火花- 32559)[SQL]修複邏輯UTF8String.toInt / toLong,沒有正確處理非ascii字符

    • (火花- 32543)[R]刪除箭頭:as_tibble使用SparkR

    • (火花- 32091)(核心)忽略超時錯誤刪除塊時失去的遺囑執行人

    • 固定一個問題影響到Azure突觸連接器與MSI憑證

    • 固定在self-merge模糊屬性的決議

  • 2020年8月18日

  • 2020年8月11日,

  • 2020年8月3日

    • 您現在可以使用集群passthrough-enabled LDA變換函數。

磚運行時的7.0(不支持)

看到磚運行時的7.0(不支持)。

  • 2021年2月4日,

    • 固定一個回歸導致DBFS保險絲時無法啟動集群環境變量配置包含無效的bash語法。

  • 2021年1月20日

    • 固定的回歸2021年1月12日維護版本,可能會導致一個不正確的AnalysisException說自我連接的列是模棱兩可的。這種回歸發生當一個用戶加入DataFrame及其派生DataFrame(所謂的自)與下列條件:

      • 這兩個DataFrames有常見的列,但自己加入的輸出沒有共同的列。例如,df.join (df.select(美元“上校”作為“new_col”),氣孔導度)

      • 派生DataFrame排除了一些列通過選擇、groupBy或窗口。

      • 加入後的聯接條件或以下轉換Dataframe指的是刺激列。例如,df.join (df.drop (“a”),df (“”)= = =1)

  • 2021年1月12日

    • 操作係統安全更新。

    • (火花- 33593)[SQL]與二進製向量讀者有不正確的數據分區的值

    • (火花- 33677)[SQL]如果模式包含任何escapeChar跳過LikeSimplification規則

    • (火花- 33071)[火花- 33536][SQL]避免改變dataset_id LogicalPlan不打破DetectAmbiguousSelfJoin加入()

  • 2020年12月8日

    • (火花- 27421)[SQL]修複過濾器類. lang int列和價值。當修剪分區列字符串

    • (火花- 33404)[SQL]修正不正確的結果date_trunc表達式

    • (火花- 33339)(PYTHON) Pyspark應用程序將掛由於非異常錯誤

    • (火花- 33183)[SQL]修複優化規則EliminateSorts和添加一個物理規則刪除冗餘

    • (火花- 33391)[SQL] element_at CreateArray不尊重一個建立索引。

    • 操作係統安全更新。

  • 2020年11月3日

    • 從1.8.0_252 1.8.0_265升級Java版本。

    • 修複沛富和WASB鎖定對UserGroupInformation.getCurrentUser ()

    • 修複一個無限循環錯誤Avro讀者閱讀時神奇的字節。

  • 2020年10月13日

    • 操作係統安全更新。

    • (火花- 32999)[SQL]使用跑龍套。得到SimpleName to avoid hitting Malformed class name in TreeNode

    • 固定在保險絲安裝包含文件名清單目錄無效的XML字符

    • 保險絲不再使用ListMultipartUploads山

  • 2020年9月29日,

    • (火花- 28863)[SQL] [WARMFIX] AlreadyOptimized介紹防止V1FallbackWriters再分析

    • (火花- 32635)[SQL]修複可折疊的傳播

    • 添加一個新的配置spark.shuffle.io.decoder.consolidateThreshold。設置配置值Long.MAX_VALUE跳過的整合網狀的framebuffer,從而防止java.lang.IndexOutOfBoundsException在角落的情況下。

  • 2020年9月24日

  • 2020年9月8日

    • 創建一個新的參數Azure突觸分析,maxbinlength。這個參數是用來控製BinaryType列的列的長度,並翻譯成VARBINARY (maxbinlength)。它可以設置使用.option (“maxbinlength”,n),0 < n < = 8000。

  • 2020年8月25日,

    • (火花- 32159)[SQL]修複之間的集成聚合器[[_]數組,_,_)和UnresolvedMapObjects

    • (火花- 32559)[SQL]修複邏輯UTF8String.toInt / toLong,沒有正確處理非ascii字符

    • (火花- 32543)[R]刪除箭頭:as_tibble使用SparkR

    • (火花- 32091)(核心)忽略超時錯誤刪除塊時失去的遺囑執行人

    • 固定一個問題影響到Azure突觸連接器與MSI憑證

    • 固定在self-merge模糊屬性的決議

  • 2020年8月18日

  • 2020年8月11日,

    • (火花- 32280)(火花- 32372)[SQL] ResolveReferences.dedupRight應該隻重寫屬性衝突的祖先節點計劃

    • (火花- 32234)[SQL]火花SQL命令選擇獸人表上是失敗的

    • 您現在可以使用集群passthrough-enabled LDA變換函數。

磚運行時的6.6(不支持)

看到磚運行時的6.6(不支持)。

  • 2020年11月3日

    • 從1.8.0_252 1.8.0_265升級Java版本。

    • 修複沛富和WASB鎖定對UserGroupInformation.getCurrentUser ()

    • 修複一個無限循環錯誤Avro讀者閱讀時神奇的字節。

  • 2020年10月13日

    • 操作係統安全更新。

    • (火花- 32999)[SQL][2.4]使用跑龍套。得到SimpleName to avoid hitting Malformed class name in TreeNode

    • 固定在保險絲安裝包含文件名清單目錄無效的XML字符

    • 保險絲不再使用ListMultipartUploads山

  • 2020年9月24日

    • 操作係統安全更新。

  • 2020年9月8日

    • 創建一個新的參數Azure突觸分析,maxbinlength。這個參數是用來控製BinaryType列的列的長度,並翻譯成VARBINARY (maxbinlength)。它可以設置使用.option (“maxbinlength”,n),0 < n < = 8000。

    • 更新存儲Azure SDK 8.6.4和啟用TCP保持活著的連接由WASB司機

  • 2020年8月25日,

    • 固定在self-merge模糊屬性的決議

  • 2020年8月18日

    • (火花- 32431)[SQL]檢查重複的嵌套列從內置數據源讀取

    • 固定一個SQS連接器在使用Trigger.Once競態條件。

  • 2020年8月11日,

  • 2020年8月3日

    • 您現在可以使用集群passthrough-enabled LDA變換函數。

    • 操作係統安全更新。

磚運行時的6.5(不支持)

看到磚運行時的6.5(不支持)。

  • 2020年9月24日

    • 修正了之前的限製標準集群上,透傳仍將限製用戶使用文件係統實現。現在用戶可以訪問本地文件係統沒有限製。

    • 操作係統安全更新。

  • 2020年9月8日

    • 創建一個新的參數Azure突觸分析,maxbinlength。這個參數是用來控製BinaryType列的列的長度,並翻譯成VARBINARY (maxbinlength)。它可以設置使用.option (“maxbinlength”,n),0 < n < = 8000。

    • 更新存儲Azure SDK 8.6.4和啟用TCP保持活著的連接由WASB司機

  • 2020年8月25日,

    • 固定在self-merge模糊屬性的決議

  • 2020年8月18日

    • (火花- 32431)[SQL]檢查重複的嵌套列從內置數據源讀取

    • 固定一個SQS連接器在使用Trigger.Once競態條件。

  • 2020年8月11日,

  • 2020年8月3日

    • 您現在可以使用集群passthrough-enabled LDA變換函數。

    • 操作係統安全更新。

  • 2020年7月7日

    • 從1.8.0_242 1.8.0_252升級Java版本。

  • 2020年4月21日

磚運行時的6.3(不支持)

看到磚運行時的6.3(不支持)。

  • 2020年7月7日

    • 從1.8.0_232 1.8.0_252升級Java版本。

  • 2020年4月21日

  • 2020年4月7日

    • 解決一個問題與熊貓udf不工作PyArrow 0.15.0以上,我們添加了一個環境變量(ARROW_PRE_0_15_IPC_FORMAT = 1),使PyArrow的支持版本。看到的指令(火花- 29367)。

  • 2020年3月10日

    • 雪花連接器(spark-snowflake_2.11)包含在磚2.5.9運行時更新版本。snowflake-jdbc是3.12.0更新版本。

  • 2020年2月18日

    • 代有憑據透傳與ADLS性能下降由於不正確的線程本地處理當ADLS端啟用預取。這個版本禁用ADLS Gen2預取時啟用憑據透傳,直到我們有一個適當的修複。

  • 2020年2月11日

    • 固定一個錯誤在我們的S3客戶機(S3AFileSystem.java),即fs.isDirectory(路徑)或fs.getFileStatus(路徑).isDirectory ()可能有時不正確返回假。該錯誤將在路徑的清單awss3list-objects-v2——前綴路徑/——max-keys1——分隔符/反應沒有鑰匙和常見的前綴,但是isTruncated=真正的。這對目錄下可能發生許多對象被刪除和版本啟用。

    • (火花- 24783)[SQL] spark.sql.shuffle。分區= 0應該拋出異常

    • (火花- 30447)[SQL]常數nullability傳播問題

    • (火花- 28152)[SQL]添加一個配置老遺產MsSqlServerDialect數值映射

    • Allowlisted覆蓋函數,以便MLModels延伸MLWriter可以調用該函數。

磚運行時的6.2(不支持)

看到磚運行時的6.2(不支持)。

  • 2020年4月21日

  • 2020年4月7日

    • 解決一個問題與熊貓udf不工作PyArrow 0.15.0以上,我們添加了一個環境變量(ARROW_PRE_0_15_IPC_FORMAT = 1),使PyArrow的支持版本。看到的指令(火花- 29367)。

  • 2020年3月25日

    • 工作產出,比如日誌輸出發送到stdout, 20 mb的大小限製。如果總輸出有一個更大的規模,將被取消和標記為失敗。為了避免遇到這個限製,可以防止stdout從司機通過設置回來spark.databricks.driver.disableScalaOutput火花配置真正的。默認情況下,標誌值假。國旗控製單元輸出Scala JAR和Scala筆記本工作。如果啟用了國旗,引發不工作執行結果返回給客戶機。國旗並不影響數據集群中所寫的日誌文件。設置這個標誌建議隻對自動化集群JAR的工作,因為它將禁用筆記本的結果。

  • 2020年3月10日

    • 雪花連接器(spark-snowflake_2.11)包含在磚2.5.9運行時更新版本。snowflake-jdbc是3.12.0更新版本。

  • 2020年2月18日

    • (火花- 24783)[SQL] spark.sql.shuffle。分區= 0應該拋出異常

    • 代有憑據透傳與ADLS性能下降由於不正確的線程本地處理當ADLS端啟用預取。這個版本禁用ADLS Gen2預取時啟用憑據透傳,直到我們有一個適當的修複。

  • 2020年1月28日,

    • 固定一個bug S3AFileSystem,fs.isDirectory(路徑)或fs.getFileStatus(路徑).isDirectory ()可能有時不正確返回假。該錯誤將在路徑的清單awss3list-objects-v2——前綴路徑/——max-keys1——分隔符/反應沒有鑰匙和常見的前綴,但是isTruncated=真正的。這對目錄下可能發生許多對象被刪除和版本啟用。

    • Allowlisted毫升模型作家覆蓋函數為集群支持憑證透傳,所以這種模式節省可以使用覆蓋模式憑證透傳集群。

    • (火花- 30447)[SQL]常數nullability傳播問題。

    • (火花- 28152)[SQL]添加一個配置老遺產MsSqlServerDialect數值映射。

  • 2020年1月14日,

    • 從1.8.0_222 1.8.0_232升級Java版本。

  • 2019年12月10日,

    • (火花- 29904)[SQL]解析在微秒時間戳精度通過JSON或CSV數據來源。

磚運行時的6.1(不支持)

看到磚運行時的6.1(不支持)。

  • 2020年4月7日

    • 解決一個問題與熊貓udf不工作PyArrow 0.15.0以上,我們添加了一個環境變量(ARROW_PRE_0_15_IPC_FORMAT = 1),使PyArrow的支持版本。看到的指令(火花- 29367)。

  • 2020年3月25日

    • 工作產出,比如日誌輸出發送到stdout, 20 mb的大小限製。如果總輸出有一個更大的規模,將被取消和標記為失敗。為了避免遇到這個限製,可以防止stdout從司機通過設置回來spark.databricks.driver.disableScalaOutput火花配置真正的。默認情況下,標誌值假。國旗控製單元輸出Scala JAR和Scala筆記本工作。如果啟用了國旗,引發不工作執行結果返回給客戶機。國旗並不影響數據集群中所寫的日誌文件。設置這個標誌建議隻對自動化集群JAR的工作,因為它將禁用筆記本的結果。

  • 2020年3月10日

    • 雪花連接器(spark-snowflake_2.11)包含在磚2.5.9運行時更新版本。snowflake-jdbc是3.12.0更新版本。

  • 2020年2月18日

    • (火花- 24783)[SQL] spark.sql.shuffle。分區= 0應該拋出異常

    • 代有憑據透傳與ADLS性能下降由於不正確的線程本地處理當ADLS端啟用預取。這個版本禁用ADLS Gen2預取時啟用憑據透傳,直到我們有一個適當的修複。

  • 2020年1月28日,

    • 固定一個bug S3AFileSystem,fs.isDirectory(路徑)或fs.getFileStatus(路徑).isDirectory ()可能有時不正確返回假。該錯誤將在路徑的清單awss3list-objects-v2——前綴路徑/——max-keys1——分隔符/反應沒有鑰匙和常見的前綴,但是isTruncated=真正的。這對目錄下可能發生許多對象被刪除和版本啟用。

  • 2020年1月14日,

    • 從1.8.0_222 1.8.0_232升級Java版本。

  • 2019年11月7日

  • 2019年的11月5日

    • 固定一個bug DBFS融合處理掛載點/ /在它的路徑。

    • (火花- 29081)取代SerializationUtils調用。克隆屬性與更快的實現

    • (火花- 29244)(核心)防止頁麵再次在BytesToBytesMap自由釋放

    • (6.1毫升)圖書館mkl無意中安裝了2019.4版本。我們下調mkl 2019.3版本2019.03蟒蛇分布相匹配。

磚運行時的6.0(不支持)

看到磚運行時的6.0(不支持)。

  • 2020年3月25日

    • 工作產出,比如日誌輸出發送到stdout, 20 mb的大小限製。如果總輸出有一個更大的規模,將被取消和標記為失敗。為了避免遇到這個限製,可以防止stdout從司機通過設置回來spark.databricks.driver.disableScalaOutput火花配置真正的。默認情況下,標誌值假。國旗控製單元輸出Scala JAR和Scala筆記本工作。如果啟用了國旗,引發不工作執行結果返回給客戶機。國旗並不影響數據集群中所寫的日誌文件。設置這個標誌建議隻對自動化集群JAR的工作,因為它將禁用筆記本的結果。

  • 2020年2月18日

    • 代有憑據透傳與ADLS性能下降由於不正確的線程本地處理當ADLS端啟用預取。這個版本禁用ADLS Gen2預取時啟用憑據透傳,直到我們有一個適當的修複。

  • 2020年2月11日

  • 2020年1月28日,

    • 固定一個bug S3AFileSystem,fs.isDirectory(路徑)或fs.getFileStatus(路徑).isDirectory ()可能有時不正確返回假。該錯誤將在路徑的清單awss3list-objects-v2——前綴路徑/——max-keys1——分隔符/反應沒有鑰匙和常見的前綴,但是isTruncated=真正的。這對目錄下可能發生許多對象被刪除和版本啟用。

  • 2020年1月14日,

    • 從1.8.0_222 1.8.0_232升級Java版本。

  • 2019年11月19日

    • (火花- 29743)[SQL]示例應該設定needCopyResult真實如果孩子的needCopyResult是正確的

  • 2019年的11月5日

    • DBFS保險絲支持使用罐裝ACL S3坐騎。

    • dbutils.tensorboard.start ()現在支持TensorBoard 2.0手動(如果安裝)。

    • 固定一個bug DBFS融合處理掛載點/ /在它的路徑。

    • (火花- 29081)取代SerializationUtils調用。克隆屬性與更快的實現

  • 2019年10月23日

  • 2019年10月8日

    • 服務器端更改讓辛巴Apache火花ODBC驅動程序重新連接後,繼續在抓取結果(需要連接失敗辛巴Apache火花首款ODBC驅動程序版本)。

    • 固定一個問題影響使用優化命令啟用了ACL表集群。

    • 固定的一個問題,pyspark.ml圖書館會失敗因為Scala UDF禁止錯誤表ACL啟用集群。

    • 固定NullPointerException WASB檢查錯誤代碼時客戶端。

磚運行時5.4毫升(不支持)

看到磚5.4運行時機器學習(不支持)。

  • 2019年6月18日

    • 改進處理MLflow活躍在Hyperopt集成

    • 改進消息Hyperopt

    • 更新包Marchkdown從3.1到3.1.1

磚運行時的5.4(不支持)

看到磚運行時的5.4(不支持)。

  • 2019年11月19日

    • (火花- 29743)[SQL]示例應該設定needCopyResult真實如果孩子的needCopyResult是正確的

  • 2019年10月8日

    • 服務器端更改讓辛巴Apache火花ODBC驅動程序連接失敗後重新連接並繼續在抓取結果(需要辛巴Apache火花ODBC驅動程序更新版本首款)。

    • 固定NullPointerException WASB檢查錯誤代碼時客戶端。

  • 2019年9月10日

    • BytesToBytesMap添加線程安全的迭代器

    • 固定一個bug影響某些全球聚合查詢。

    • (火花- 27330)[SS]支持在foreach任務中止的作家

    • (火花- 28642)顯示創建表中隱藏的憑證

    • (火花- 28699)[SQL]禁用使用基數排序ShuffleExchangeExec重新分配情況

    • (火花- 28699)(核心)修複一個角落流產不確定的階段

  • 2019年8月27日,

    • 影響某些固定的一個問題變換表達式

  • 2019年8月13日,

    • 三角洲流源應該檢查表的最新協議

    • (火花- 28489)[SS] KafkaOffsetRangeCalculator修複一個缺陷。getRanges可能會抵消下降

  • 2019年7月30日

    • (火花- 28015)[SQL]檢查stringToDate()消耗整個輸入yyyy和yyyy - m [m]格式

    • (火花- 28308)(核心)CalendarInterval次秒級前應該填補一部分解析

    • (火花- 27485)EnsureRequirements。重新排序應該優雅地處理重複的表達式

  • 2019年7月2日

    • 升級snappy-java 1.1.7.1 1.1.7.3。

  • 2019年6月18日

    • 改進處理MLflow活躍在MLlib集成

    • 使用磁盤緩存改進磚顧問的相關消息

    • 固定一個bug影響使用高階函數

    • 固定一個bug影響三角洲元數據查詢

磚運行時的5.3(不支持)

看到磚運行時的5.3(不支持)。

  • 2019年11月7日

    • (火花- 29743)[SQL]示例應該設定needCopyResult真實如果孩子的needCopyResult是正確的

  • 2019年10月8日

    • 服務器端更改讓辛巴Apache火花ODBC驅動程序連接失敗後重新連接並繼續在抓取結果(需要辛巴Apache火花ODBC驅動程序更新版本首款)。

    • 固定NullPointerException WASB檢查錯誤代碼時客戶端。

  • 2019年9月10日

    • BytesToBytesMap添加線程安全的迭代器

    • 固定一個bug影響某些全球聚合查詢。

    • (火花- 27330)[SS]支持在foreach任務中止的作家

    • (火花- 28642)顯示創建表中隱藏的憑證

    • (火花- 28699)[SQL]禁用使用基數排序ShuffleExchangeExec重新分配情況

    • (火花- 28699)(核心)修複一個角落流產不確定的階段

  • 2019年8月27日,

    • 影響某些固定的一個問題變換表達式

  • 2019年8月13日,

    • 三角洲流源應該檢查表的最新協議

    • (火花- 28489)[SS] KafkaOffsetRangeCalculator修複一個缺陷。getRanges可能會抵消下降

  • 2019年7月30日

    • (火花- 28015)[SQL]檢查stringToDate()消耗整個輸入yyyy和yyyy - m [m]格式

    • (火花- 28308)(核心)CalendarInterval次秒級前應該填補一部分解析

    • (火花- 27485)EnsureRequirements。重新排序應該優雅地處理重複的表達式

  • 2019年6月18日

    • 使用磁盤緩存改進磚顧問的相關消息

    • 固定一個bug影響使用高階函數

    • 固定一個bug影響三角洲元數據查詢

  • 2019年5月28日

    • 提高穩定性的三角洲

    • 容忍ioexception返回當δLAST_CHECKPOINT閱讀文件

      • 添加複蘇失敗庫安裝

  • 2019年5月7日,

    • 港口hadoop - 15778(沛富:解決客戶端節流讀)代連接器湖存儲Azure數據

    • 港口hadoop - 16040(沛富:Bug修複tolerateOobAppends配置)湖Azure數據存儲Gen2連接器

    • 固定一個bug影響表acl

    • 重命名fs.s3a.requesterPays.enabled來fs.s3a.requester-pays.enabled

    • 固定競態條件,當加載δ日誌校驗和文件

    • 固定三角洲衝突檢測邏輯不認同“插入+覆蓋”是純粹的“添加”操作

    • 固定一個bug影響亞馬遜運動連接器

    • 確保磁盤緩存不表啟用了acl時禁用

    • [火花- 27494][SS]零鍵/值不工作在卡夫卡源v2

    • [火花- 27446][R]使用現有火花conf如果可用。

    • [火花- 27454][火花- 27454][ML] [SQL]火花圖像數據源失敗時遇到一些非法圖片

    • [火花- 27160][SQL]修複DecimalType在構建獸人過濾器

    • [火花- 27338](核心)解決僵局UnsafeExternalSorter和TaskMemoryManager之間

磚運行時的5.2(不支持)

看到磚運行時的5.2(不支持)。

  • 2019年9月10日

    • BytesToBytesMap添加線程安全的迭代器

    • 固定一個bug影響某些全球聚合查詢。

    • (火花- 27330)[SS]支持在foreach任務中止的作家

    • (火花- 28642)顯示創建表中隱藏的憑證

    • (火花- 28699)[SQL]禁用使用基數排序ShuffleExchangeExec重新分配情況

    • (火花- 28699)(核心)修複一個角落流產不確定的階段

  • 2019年8月27日,

    • 影響某些固定的一個問題變換表達式

  • 2019年8月13日,

    • 三角洲流源應該檢查表的最新協議

    • (火花- 28489)[SS] KafkaOffsetRangeCalculator修複一個缺陷。getRanges可能會抵消下降

  • 2019年7月30日

    • (火花- 28015)[SQL]檢查stringToDate()消耗整個輸入yyyy和yyyy - m [m]格式

    • (火花- 28308)(核心)CalendarInterval次秒級前應該填補一部分解析

    • (火花- 27485)EnsureRequirements。重新排序應該優雅地處理重複的表達式

  • 2019年7月2日

    • 容忍ioexception返回當δLAST_CHECKPOINT閱讀文件

  • 2019年6月18日

    • 使用磁盤高速緩存改進磚顧問的相關消息

    • 固定一個bug影響使用高階函數

    • 固定一個bug影響三角洲元數據查詢

  • 2019年5月28日

    • 添加複蘇失敗庫安裝

  • 2019年5月7日,

    • 港口hadoop - 15778(沛富:解決客戶端節流讀)代連接器湖存儲Azure數據

    • 港口hadoop - 16040(沛富:Bug修複tolerateOobAppends配置)湖Azure數據存儲Gen2連接器

    • 固定競態條件,當加載δ日誌校驗和文件

    • 固定三角洲衝突檢測邏輯不認同“插入+覆蓋”是純粹的“添加”操作

    • 固定一個bug影響亞馬遜運動連接器

    • 確保磁盤緩存不表啟用了acl時禁用

    • [火花- 27494][SS]零鍵/值不工作在卡夫卡源v2

    • [火花- 27454][火花- 27454][ML] [SQL]火花圖像數據源失敗時遇到一些非法圖片

    • [火花- 27160][SQL]修複DecimalType在構建獸人過濾器

    • [火花- 27338](核心)解決僵局UnsafeExternalSorter和TaskMemoryManager之間

  • 2019年3月26日

    • 避免嵌入平台相關補償在舞台生成的Beplay体育安卓版本代碼

    • (火花- 26665)(核心)BlockTransferService修複一個缺陷。fetchBlockSync可能永遠掛。

    • (火花- 27134)[SQL] array_distinct函數不正確工作列包含數組的數組。

    • (火花- 24669)[SQL]無效表的級聯刪除數據庫。

    • (火花- 26572)[SQL]修正總codegen結果評估。

    • 影響某些PythonUDFs固定一個bug。

  • 2019年2月26日

    • (火花- 26864)[SQL]查詢可能返回不正確的結果當python udf是用作left-semi聯接條件。

    • (火花- 26887)PYTHON創建datetime。日期直接而不是創建datetime64作為中間數據。

    • 固定一個bug影響JDBC / ODBC服務器。

    • 固定一個bug影響PySpark。

    • 構建HadoopRDD時排除隱藏文件。

    • 固定一個缺陷在三角洲序列化問題引起的。

  • 2019年2月12日

    • 固定一個問題影響使用Azure的三角洲ADLS Gen2掛載點。

    • 固定的問題引發低水平網絡協議可能被打破,當發送大RPC啟用加密後(在錯誤消息HIPAA法規遵循功能)或當spark.network.crypto.enabled被設置為true)。

  • 2019年1月30日

    • 固定時StackOverflowError把斜加入提示緩存的關係。

    • 固定SQL緩存的緩存抽樣之間的矛盾及其物理計劃,導致不正確的結果。

    • (火花- 26706)[SQL]修複illegalNumericPrecedenceByteType。

    • (火花- 26709)[SQL] OptimizeMetadataOnlyQuery不正確處理空記錄。

    • CSV / JSON數據源時應避免globbing路徑推理模式。

    • 固定約束推理算子在窗口。

    • 固定一個問題影響卵子庫安裝集群有表啟用了ACL。

磚運行時的5.1(不支持)

看到磚運行時的5.1(不支持)。

  • 2019年8月13日,

    • 三角洲流源應該檢查表的最新協議

    • (火花- 28489)[SS] KafkaOffsetRangeCalculator修複一個缺陷。getRanges可能會抵消下降

  • 2019年7月30日

    • (火花- 28015)[SQL]檢查stringToDate()消耗整個輸入yyyy和yyyy - m [m]格式

    • (火花- 28308)(核心)CalendarInterval次秒級前應該填補一部分解析

    • (火花- 27485)EnsureRequirements。重新排序應該優雅地處理重複的表達式

  • 2019年7月2日

    • 容忍ioexception返回當δLAST_CHECKPOINT閱讀文件

  • 2019年6月18日

    • 固定一個bug影響使用高階函數

    • 固定一個bug影響三角洲元數據查詢

  • 2019年5月28日

    • 添加複蘇失敗庫安裝

  • 2019年5月7日,

    • 港口hadoop - 15778(沛富:解決客戶端節流讀)代連接器湖存儲Azure數據

    • 港口hadoop - 16040(沛富:Bug修複tolerateOobAppends配置)湖Azure數據存儲Gen2連接器

    • 固定競態條件,當加載δ日誌校驗和文件

    • 固定三角洲衝突檢測邏輯不認同“插入+覆蓋”是純粹的“添加”操作

    • [火花- 27494][SS]零鍵/值不工作在卡夫卡源v2

    • [火花- 27454][火花- 27454][ML] [SQL]火花圖像數據源失敗時遇到一些非法圖片

    • [火花- 27160][SQL]修複DecimalType在構建獸人過濾器

    • [火花- 27338](核心)解決僵局UnsafeExternalSorter和TaskMemoryManager之間

  • 2019年3月26日

    • 避免嵌入平台相關補償在舞台生成的Beplay体育安卓版本代碼

    • 影響某些PythonUDFs固定一個bug。

  • 2019年2月26日

    • (火花- 26864)[SQL]查詢可能返回不正確的結果當python udf是用作left-semi聯接條件。

    • 固定一個bug影響JDBC / ODBC服務器。

    • 構建HadoopRDD時排除隱藏文件。

  • 2019年2月12日

    • 固定一個問題影響卵子庫安裝集群有表啟用了ACL。

    • 固定SQL緩存的緩存抽樣之間的矛盾及其物理計劃,導致不正確的結果。

    • (火花- 26706)[SQL]修複illegalNumericPrecedenceByteType。

    • (火花- 26709)[SQL] OptimizeMetadataOnlyQuery不正確處理空記錄。

    • 固定約束推理算子在窗口。

    • 固定的問題引發低水平網絡協議可能被打破,當發送大RPC啟用加密後(在錯誤消息HIPAA法規遵循功能)或當spark.network.crypto.enabled被設置為true)。

  • 2019年1月30日

    • 固定一個可能導致的問題df.rdd.count ()某些情況下UDT返回錯誤的答案。

    • 固定一個問題影響安裝駕駛室。

    • (火花- 26267)從卡夫卡重試時檢測錯誤的補償。

    • 固定一個bug影響流媒體查詢多個文件流源。

    • 固定時StackOverflowError把斜加入提示緩存的關係。

    • 固定SQL緩存的緩存抽樣之間的矛盾及其物理計劃,導致不正確的結果。

  • 2019年1月8日

    • 固定的問題,導致錯誤org.apache.spark.sql.expressions.Window.rangeBetween(長)是不白名單。

    • (火花- 26352)加入重新排序不應該改變的順序輸出屬性。

    • (火花- 26366)ReplaceExceptWithFilter應該考慮零錯誤。

    • 三角洲湖穩定性改善。

    • 啟用了三角洲湖。

    • 磚IO緩存為IO啟用緩存加速實例類型。

磚運行時的5.0(不支持)

看到磚運行時的5.0(不支持)。

  • 2019年6月18日

    • 固定一個bug影響使用高階函數

  • 2019年5月7日,

    • 固定競態條件,當加載δ日誌校驗和文件

    • 固定三角洲衝突檢測邏輯不認同“插入+覆蓋”是純粹的“添加”操作

    • [火花- 27494][SS]零鍵/值不工作在卡夫卡源v2

    • [火花- 27454][火花- 27454][ML] [SQL]火花圖像數據源失敗時遇到一些非法圖片

    • [火花- 27160][SQL]修複DecimalType在構建獸人過濾器

      • [火花- 27338](核心)解決僵局UnsafeExternalSorter和TaskMemoryManager之間

  • 2019年3月26日

    • 避免嵌入平台相關補償在舞台生成的Beplay体育安卓版本代碼

    • 影響某些PythonUDFs固定一個bug。

  • 2019年3月12日,

    • (火花- 26864)[SQL]查詢可能返回不正確的結果當python udf是用作left-semi聯接條件。

  • 2019年2月26日

    • 固定一個bug影響JDBC / ODBC服務器。

    • 構建HadoopRDD時排除隱藏文件。

  • 2019年2月12日

    • 固定SQL緩存的緩存抽樣之間的矛盾及其物理計劃,導致不正確的結果。

    • (火花- 26706)[SQL]修複illegalNumericPrecedenceByteType。

    • (火花- 26709)[SQL] OptimizeMetadataOnlyQuery不正確處理空記錄。

    • 固定約束推理算子在窗口。

    • 固定的問題引發低水平網絡協議可能被打破,當發送大RPC啟用加密後(在錯誤消息HIPAA法規遵循功能)或當spark.network.crypto.enabled被設置為true)。

  • 2019年1月30日

    • 固定一個可能導致的問題df.rdd.count ()某些情況下UDT返回錯誤的答案。

    • (火花- 26267)從卡夫卡重試時檢測錯誤的補償。

    • 固定一個bug影響流媒體查詢多個文件流源。

    • 固定時StackOverflowError把斜加入提示緩存的關係。

    • 固定SQL緩存的緩存抽樣之間的矛盾及其物理計劃,導致不正確的結果。

  • 2019年1月8日

    • 固定的問題,造成了錯誤org.apache.spark.sql.expressions.Window.rangeBetween(長)是不白名單。

    • (火花- 26352)加入重新排序不應該改變的順序輸出屬性。

    • (火花- 26366)ReplaceExceptWithFilter應該考慮零錯誤。

    • 三角洲湖穩定性改善。

    • 啟用了三角洲湖。

    • 磚IO緩存為IO啟用緩存加速實例類型。

  • 2018年12月18日,

    • (火花- 26293)當在子查詢Python UDF拋異常

    • 固定一個問題影響特定查詢使用加入和限製。

    • 修訂從抽樣憑證名稱火花UI

  • 2018年12月6日

    • 固定一個問題導致不正確的查詢結果在使用orderBy跟隨groupBy group by關鍵領導排序鍵的一部分。

    • 升級雪花連接器的火花2.4.9.2-spark_2.4_pre_release 2.4.10。

    • 隻有忽略腐敗文件後一個或多個後重試spark.sql.files.ignoreCorruptFiles或spark.sql.files.ignoreMissingFiles國旗是啟用的。

    • 固定一個問題影響某些自我聯合查詢。

    • 與該行服務器會話固定一個錯誤有時會泄漏時取消。

    • (火花- 26307)固定使用Hive SerDe cta當插入一個分區表。

    • (火花- 26147)Python udf在聯接條件失敗,即使使用列的一側連接

    • (火花- 26211)修複嵌入二進製,結構和空數組。

    • (火花- 26181)的hasMinMaxStats的方法ColumnStatsMap是不正確的。

    • 固定一個問題影響車輪安裝Python環境中沒有互聯網接入。

  • 2018年11月20日

    • 固定的問題引起了筆記本不取消流查詢後可用。

    • 固定一個問題影響特定查詢使用窗口的功能。

    • 固定一個問題影響流從三角洲與多個模式變化。

    • 固定一個問題影響某些聚合查詢離開半/反連接。

    • 固定一個問題影響閱讀時間戳列紅移。

磚運行時的4.3(不支持)

看到磚運行時的4.3(不支持)。

  • 2019年4月9日

    • (火花- 26665)(核心)修複一個錯誤會導致BlockTransferService。fetchBlockSync永遠掛。

    • (火花- 24669)[SQL]無效表的級聯刪除數據庫。

  • 2019年3月12日,

    • 固定一個bug影響代碼生成。

    • 固定一個bug影響三角洲。

  • 2019年2月26日

    • 固定一個bug影響JDBC / ODBC服務器。

  • 2019年2月12日

    • (火花- 26709)[SQL] OptimizeMetadataOnlyQuery不正確處理空記錄。

    • 構建HadoopRDD時不包括隱藏文件。

    • 固定鋪在謂詞過濾轉換它的值是空的。

    • 固定的問題引發低水平網絡協議可能被打破,當發送大RPC啟用加密後(在錯誤消息HIPAA法規遵循功能)或當spark.network.crypto.enabled被設置為true)。

  • 2019年1月30日

    • 固定一個可能導致的問題df.rdd.count ()某些情況下UDT返回錯誤的答案。

    • 固定SQL緩存的緩存抽樣之間的矛盾及其物理計劃,導致不正確的結果。

  • 2019年1月8日

    • 固定的問題導致錯誤org.apache.spark.sql.expressions.Window.rangeBetween(長)是不白名單。

    • 修訂從抽樣憑證名稱火花UI

    • (火花- 26352)加入重新排序不應該改變的順序輸出屬性。

    • (火花- 26366)ReplaceExceptWithFilter應該考慮零錯誤。

    • 啟用了三角洲湖。

    • 磚IO緩存為IO啟用緩存加速實例類型。

  • 2018年12月18日,

    • (火花- 25002)Avro:修改輸出記錄的名稱空間。

    • 固定一個問題影響特定查詢使用加入和限製。

    • (火花- 26307)固定使用Hive SerDe cta當插入一個分區表。

    • 隻有忽略腐敗文件後一個或多個後重試spark.sql.files.ignoreCorruptFiles或spark.sql.files.ignoreMissingFiles國旗是啟用的。

    • (火花- 26181)的hasMinMaxStats的方法ColumnStatsMap是不正確的。

    • 固定一個問題影響車輪安裝Python環境中沒有互聯網接入。

    • 固定查詢分析器的性能問題。

    • 固定的問題導致DataFrame PySpark行動失敗的“拒絕連接”錯誤。

    • 固定一個問題影響某些自我聯合查詢。

  • 2018年11月20日

    • 固定一個問題影響閱讀時間戳列紅移。

  • 2018年11月6日

    • (火花- 25741)長url沒有適當呈現在web UI。

    • (火花- 25714)在優化器規則BooleanSimplification解決零處理。

    • 固定一個問題影響突觸的臨時對象清理分析連接器。

    • (火花- 25816)解決嵌套屬性分辨率提取器。

  • 2018年10月9日,

    • 固定一個bug影響運行的輸出顯示創建表在三角洲表。

    • 固定的錯誤影響聯盟操作。

  • 2018年9月25日

    • (火花- 25368)[SQL]約束推理不正確返回錯誤的結果。

    • (火花- 25402)在BooleanSimplification [SQL]零處理。

    • 固定NotSerializableException在Avro數據源。

  • 2018年9月11日

    • (火花- 25214)[SS]修複問題,卡夫卡v2源可能返回重複的記錄failOnDataLoss = false。

    • (火花- 24987)[SS]修複卡夫卡articlePartition消費者在沒有新的補償時泄漏。

    • 減少過濾器應該正確處理null值。

    • 改善執行引擎的穩定。

  • 2018年8月28日

    • 固定一個bug三角洲湖刪除命令,錯誤地刪除條件的求值結果為空的行。

    • (火花- 25142)添加錯誤消息當Python工人不能打開套接字_load_from_socket。

  • 2018年8月23日

    • (火花- 23935)mapEntry拋出org.codehaus.commons.compiler.CompileException。

    • 固定可空鋪讀者的映射問題。

    • (火花- 25051)[SQL] FixNullability AnalysisBarrier不應該停止。

    • (火花- 25081)固定一臭蟲,其ShuffleExternalSorter可能訪問內存頁麵發布時無法分配內存。

    • 固定一個磚三角洲和Pyspark之間的相互作用可能導致瞬態讀失敗。

    • (火花- 25084)“分配”在多個列(包裝在括號中)可能導致codegen問題。

    • (火花- 25096)放鬆nullability是否force-nullable演員。

    • 降低了違約數量的線程使用的三角洲湖優化命令,減少內存開銷和提交數據更快。

    • (火花- 25114)修複RecordBinaryComparator減法時兩個詞之間Integer.MAX_VALUE整除。

    • 固定的秘密經理修訂時命令部分成功。

磚運行時的4.2(不支持)

看到磚運行時的4.2(不支持)。

  • 2019年2月26日

    • 固定一個bug影響JDBC / ODBC服務器。

  • 2019年2月12日

    • (火花- 26709)[SQL] OptimizeMetadataOnlyQuery不正確處理空記錄。

    • 構建HadoopRDD時不包括隱藏文件。

    • 固定鋪在謂詞過濾轉換它的值是空的。

    • 固定的問題引發低水平網絡協議可能被打破,當發送大RPC啟用加密後(在錯誤消息HIPAA法規遵循功能)或當spark.network.crypto.enabled被設置為true)。

  • 2019年1月30日

    • 固定一個可能導致的問題df.rdd.count ()某些情況下UDT返回錯誤的答案。

  • 2019年1月8日

    • 固定的問題,導致錯誤org.apache.spark.sql.expressions.Window.rangeBetween(長)是不白名單。

    • 修訂從抽樣憑證名稱火花UI

    • (火花- 26352)加入重新排序不應該改變的順序輸出屬性。

    • (火花- 26366)ReplaceExceptWithFilter應該考慮零錯誤。

    • 啟用了三角洲湖。

    • 磚IO緩存為IO啟用緩存加速實例類型。

  • 2018年12月18日,

    • (火花- 25002)Avro:修改輸出記錄的名稱空間。

    • 固定一個問題影響特定查詢使用加入和限製。

    • (火花- 26307)固定使用Hive SerDe cta當插入一個分區表。

    • 隻有忽略腐敗文件後一個或多個後重試spark.sql.files.ignoreCorruptFiles或spark.sql.files.ignoreMissingFiles國旗是啟用的。

    • (火花- 26181)的hasMinMaxStats的方法ColumnStatsMap是不正確的。

    • 固定一個問題影響車輪安裝Python環境中沒有互聯網接入。

    • 固定查詢分析器的性能問題。

    • 固定的問題導致DataFrame PySpark行動失敗的“拒絕連接”錯誤。

    • 固定一個問題影響某些自我聯合查詢。

  • 2018年11月20日

    • (火花- 17916)(火花- 25241)解決空字符串被解析為零當nullValue設置。

    • 固定一個問題影響某些聚合查詢離開半/反連接。

    • 固定一個問題影響閱讀時間戳列紅移。

  • 2018年11月6日

  • 2018年10月9日,

    • 固定一個bug影響運行的輸出顯示創建表在三角洲表。

    • 固定的錯誤影響聯盟操作。

  • 2018年9月25日

    • (火花- 25368)[SQL]約束推理不正確返回錯誤的結果。

    • (火花- 25402)在BooleanSimplification [SQL]零處理。

    • 固定NotSerializableException在Avro數據源。

  • 2018年9月11日

    • (火花- 25214)[SS]修複問題,卡夫卡v2源可能返回重複的記錄failOnDataLoss = false。

    • (火花- 24987)[SS]修複卡夫卡articlePartition消費者在沒有新的補償時泄漏。

    • 減少過濾器應該正確處理null值。

  • 2018年8月28日

    • 固定一個bug三角洲湖刪除命令,錯誤地刪除條件的求值結果為空的行。

  • 2018年8月23日

    • 固定NoClassDefErrorδ快照

    • (火花- 23935)mapEntry拋出org.codehaus.commons.compiler.CompileException。

    • (火花- 24957)[SQL]與十進製其次是平均聚合返回錯誤的結果。平均可能返回不正確的結果。演員會繞過平均算子中添加如果劃分的結果是相同的類型是鑄出。

    • (火花- 25081)固定一臭蟲,其ShuffleExternalSorter可能訪問內存頁麵發布時無法分配內存。

    • 固定一個磚三角洲和Pyspark之間的相互作用可能導致瞬態讀失敗。

    • (火花- 25114)修複RecordBinaryComparator減法時兩個詞之間Integer.MAX_VALUE整除。

    • (火花- 25084)“分配”在多個列(包裝在括號中)可能導致codegen問題。

    • (火花- 24934)[SQL]明確allowlist支持類型上/下界內存分區修剪。當複雜數據類型用於查詢過濾器對緩存數據,火花總是返回一個空結果集。內存統計修剪產生不正確的結果,因為上/下邊界設置為null的複雜類型。解決辦法是不使用內存統計修剪複雜類型。

    • 固定的秘密經理修訂時命令部分成功。

    • 固定可空鋪讀者的映射問題。

  • 2018年8月2日,

    • writeStream補充道。表API in Python.

    • 固定一個問題影響三角洲檢查點。

    • (火花- 24867)[SQL]添加AnalysisBarrier DataFrameWriter。SQL緩存沒有被使用在使用DataFrameWriter寫DataFrame UDF。這是一個我們在AnalysisBarrier回歸造成的變化,因為並不是所有分析儀規則是等冪的。

    • 固定一個可能導致的問題mergeInto命令產生不正確的結果。

    • 改善穩定訪問Azure數據存儲Gen1湖。

    • (火花- 24809)序列化LongHashedRelation執行者可能導致數據錯誤。

    • (火花- 24878)[SQL]修正逆函數數組類型的原始類型包含null。

  • 2018年7月11日

    • 固定在查詢執行一個錯誤會導致聚合不同精度小數列上在某些情況下返回不正確的結果。

    • 固定一個NullPointerException錯誤,被扔在先進的聚合操作,比如分組集。

磚運行時4.1毫升(不支持)

看到磚運行時4.1毫升(不支持)。

  • 2018年7月31日

    • 添加Azure突觸分析4.1毫升運行時

    • 固定一個錯誤可能導致不正確的查詢結果當一個分區的名稱列謂詞中使用不同的情況下,列在表的模式。

    • 固定一個bug影響火花SQL執行引擎。

    • 固定一個bug影響代碼生成。

    • 固定一個錯誤(java.lang.NoClassDefFoundError影響三角洲湖)。

    • 改進的錯誤處理在三角洲湖。

    • 固定一個錯誤導致錯誤數據跳過統計收集32個字符的字符串列或更大。

磚運行時的4.1(不支持)

看到磚運行時的4.1(不支持)。

  • 2019年1月8日

    • (火花- 26366)ReplaceExceptWithFilter應該考慮零錯誤。

    • 啟用了三角洲湖。

  • 2018年12月18日,

    • (火花- 25002)Avro:修改輸出記錄的名稱空間。

    • 固定一個問題影響特定查詢使用加入和限製。

    • (火花- 26307)固定使用Hive SerDe cta當插入一個分區表。

    • 隻有忽略腐敗文件後一個或多個後重試spark.sql.files.ignoreCorruptFiles或spark.sql.files.ignoreMissingFiles國旗是啟用的。

    • 固定一個問題影響車輪安裝Python環境中沒有互聯網接入。

    • 固定的問題導致DataFrame PySpark行動失敗的“拒絕連接”錯誤。

    • 固定一個問題影響某些自我聯合查詢。

  • 2018年11月20日

    • (火花- 17916)(火花- 25241)解決空字符串被解析為零當nullValue設置。

    • 固定一個問題影響某些聚合查詢離開半/反連接。

  • 2018年11月6日

  • 2018年10月9日,

    • 固定一個bug影響運行的輸出顯示創建表在三角洲表。

    • 固定的錯誤影響聯盟操作。

  • 2018年9月25日

    • (火花- 25368)[SQL]約束推理不正確返回錯誤的結果。

    • (火花- 25402)在BooleanSimplification [SQL]零處理。

    • 固定NotSerializableException在Avro數據源。

  • 2018年9月11日

    • (火花- 25214)[SS]修複問題,卡夫卡v2源可能返回重複的記錄failOnDataLoss = false。

    • (火花- 24987)[SS]修複卡夫卡articlePartition消費者在沒有新的補償時泄漏。

    • 減少過濾器應該正確處理null值。

  • 2018年8月28日

    • 固定一個bug三角洲湖刪除命令,錯誤地刪除條件的求值結果為空的行。

    • (火花- 25084)“分配”在多個列(包裝在括號中)可能導致codegen問題。

    • (火花- 25114)修複RecordBinaryComparator減法時兩個詞之間Integer.MAX_VALUE整除。

  • 2018年8月23日

    • 固定NoClassDefErrorδ快照。

    • (火花- 24957)[SQL]與十進製其次是平均聚合返回錯誤的結果。平均可能返回不正確的結果。演員會繞過平均算子中添加如果劃分的結果是相同的類型是鑄出。

    • 固定可空鋪讀者的映射問題。

    • (火花- 24934)[SQL]明確allowlist支持類型上/下界內存分區修剪。當複雜數據類型用於查詢過濾器對緩存數據,火花總是返回一個空結果集。內存統計修剪產生不正確的結果,因為上/下邊界設置為null的複雜類型。解決辦法是不使用內存統計修剪複雜類型。

    • (火花- 25081)固定一臭蟲,其ShuffleExternalSorter可能訪問內存頁麵發布時無法分配內存。

    • 固定一個磚三角洲和Pyspark之間的相互作用可能導致瞬態讀失敗。

    • 固定的秘密經理修訂時命令部分成功

  • 2018年8月2日,

    • (火花- 24613)[SQL]緩存和UDF不能與後續相關的緩存。封裝的邏輯計劃與執行計劃的AnalysisBarrier編譯緩存管理器,為了避免再次被分析的計劃。這也是一個回歸2.3火花。

    • 固定一個突觸分析連接器問題影響寫作DateType時區轉換數據。

    • 固定一個問題影響三角洲檢查點。

    • 固定一個可能導致的問題mergeInto命令產生不正確的結果。

    • (火花- 24867)[SQL]添加AnalysisBarrier DataFrameWriter。SQL緩存沒有被使用在使用DataFrameWriter寫DataFrame UDF。這是一個我們在AnalysisBarrier回歸造成的變化,因為並不是所有分析儀規則是等冪的。

    • (火花- 24809)序列化LongHashedRelation執行者可能導致數據錯誤。

  • 2018年7月11日

    • 固定在查詢執行一個錯誤會導致聚合不同精度小數列上在某些情況下返回不正確的結果。

    • 固定一個NullPointerException錯誤,被扔在先進的聚合操作,比如分組集。

  • 2018年6月28日

    • 固定一個錯誤可能導致不正確的查詢結果當一個分區的名稱列謂詞中使用不同的情況下,列在表的模式。

  • 2018年5月29日

    • 固定一個bug影響火花SQL執行引擎。

    • 固定一個bug影響代碼生成。

    • 固定一個錯誤(java.lang.NoClassDefFoundError影響三角洲湖)。

    • 改進的錯誤處理在三角洲湖。

  • 2018年5月15日

    • 固定一個錯誤導致錯誤數據跳過統計收集32個字符的字符串列或更大。

磚運行時的4.0(不支持)

看到磚運行時的4.0(不支持)。

  • 2018年11月6日

  • 2018年10月9日,

    • 固定的錯誤影響聯盟操作。

  • 2018年9月25日

    • (火花- 25368)[SQL]約束推理不正確返回錯誤的結果。

    • (火花- 25402)在BooleanSimplification [SQL]零處理。

    • 固定NotSerializableException在Avro數據源。

  • 2018年9月11日

    • 減少過濾器應該正確處理null值。

  • 2018年8月28日

    • 固定一個bug三角洲湖刪除命令,錯誤地刪除條件的求值結果為空的行。

  • 2018年8月23日

    • 固定可空鋪讀者的映射問題。

    • 固定的秘密經理修訂時命令部分成功

    • 固定一個磚三角洲和Pyspark之間的相互作用可能導致瞬態讀失敗。

    • (火花- 25081)固定一臭蟲,其ShuffleExternalSorter可能訪問內存頁麵發布時無法分配內存。

    • (火花- 25114)修複RecordBinaryComparator減法時兩個詞之間Integer.MAX_VALUE整除。

  • 2018年8月2日,

    • (火花- 24452)避免在int添加或多個可能的溢出。

    • (火花- 24588)流加入需要HashClusteredPartitioning從孩子。

    • 固定一個可能導致的問題mergeInto命令產生不正確的結果。

    • (火花- 24867)[SQL]添加AnalysisBarrier DataFrameWriter。SQL緩存沒有被使用在使用DataFrameWriter寫DataFrame UDF。這是一個我們在AnalysisBarrier回歸造成的變化,因為並不是所有分析儀規則是等冪的。

    • (火花- 24809)序列化LongHashedRelation執行者可能導致數據錯誤。

  • 2018年6月28日

    • 固定一個錯誤可能導致不正確的查詢結果當一個分區的名稱列謂詞中使用不同的情況下,列在表的模式。

  • 2018年5月31日

    • 固定一個bug影響火花SQL執行引擎。

    • 改進的錯誤處理在三角洲湖。

  • 2018年5月17日

    • Bug修複磚秘密的管理。

    • 改善穩定讀取數據存儲在Azure存儲數據湖。

    • 固定一個bug影響抽樣緩存。

    • 固定一個bug影響空值等於在火花SQL。

  • 2018年4月24日

    • 升級Azure數據存儲SDK湖2.0.11 2.2.8改善湖訪問Azure數據存儲的穩定性。

    • 固定一個bug影響覆蓋蜂巢分區表的插入spark.databricks.io.hive.fastwriter.enabled是假。

    • 修正了序列化失敗的任務。

    • 改進的三角洲湖穩定。

  • 2018年3月14日,

    • 防止不必要的元數據更新在編寫成三角洲湖。

    • 固定一個問題引起的競爭條件,在罕見的情況下,導致一些輸出文件的損失。

磚運行時3.5 LTS(不支持)

看到磚運行時3.5 LTS(不支持)。

  • 2019年11月7日

    • (火花- 29743)[SQL]示例應該設定needCopyResult真實如果孩子的needCopyResult是正確的

  • 2019年10月8日

    • 服務器端更改讓辛巴Apache火花ODBC驅動程序連接失敗後重新連接並繼續在抓取結果(需要辛巴Apache火花ODBC驅動程序更新版本首款)。

  • 2019年9月10日

    • (火花- 28699)[SQL]禁用使用基數排序ShuffleExchangeExec重新分配情況

  • 2019年4月9日

    • (火花- 26665)(核心)修複一個錯誤會導致BlockTransferService。fetchBlockSync永遠掛。

  • 2019年2月12日

    • 固定的問題引發低水平網絡協議可能被打破,當發送大RPC啟用加密後(在錯誤消息HIPAA法規遵循功能)或當spark.network.crypto.enabled被設置為true)。

  • 2019年1月30日

    • 固定一個可能導致的問題df.rdd.count ()某些情況下UDT返回錯誤的答案。

  • 2018年12月18日,

    • 隻有忽略腐敗文件後一個或多個後重試spark.sql.files.ignoreCorruptFiles或spark.sql.files.ignoreMissingFiles國旗是啟用的。

    • 固定一個問題影響某些自我聯合查詢。

  • 2018年11月20日

  • 2018年11月6日

  • 2018年10月9日,

    • 固定的錯誤影響聯盟操作。

  • 2018年9月25日

    • (火花- 25402)在BooleanSimplification [SQL]零處理。

    • 固定NotSerializableException在Avro數據源。

  • 2018年9月11日

    • 減少過濾器應該正確處理null值。

  • 2018年8月28日

    • 固定一個bug三角洲湖刪除命令,錯誤地刪除條件的求值結果為空的行。

    • (火花- 25114)修複RecordBinaryComparator減法時兩個詞之間Integer.MAX_VALUE整除。

  • 2018年8月23日

    • (火花- 24809)序列化LongHashedRelation執行者可能導致數據錯誤。

    • 固定可空鋪讀者的映射問題。

    • (火花- 25081)固定一臭蟲,其ShuffleExternalSorter可能訪問內存頁麵發布時無法分配內存。

    • 固定一個磚三角洲和Pyspark之間的相互作用可能導致瞬態讀失敗。

  • 2018年6月28日

    • 固定一個錯誤可能導致不正確的查詢結果當一個分區的名稱列謂詞中使用不同的情況下,列在表的模式。

  • 2018年6月28日

    • 固定一個錯誤可能導致不正確的查詢結果當一個分區的名稱列謂詞中使用不同的情況下,列在表的模式。

  • 2018年5月31日

    • 固定一個bug影響火花SQL執行引擎。

    • 改進的錯誤處理在三角洲湖。

  • 2018年5月17日

    • 改善穩定讀取數據存儲在Azure存儲數據湖。

    • 固定一個bug影響抽樣緩存。

    • 固定一個bug影響空值等於在火花SQL。

    • 固定一個bug影響某些聚合流查詢。

  • 2018年4月24日

    • 升級Azure數據存儲SDK湖2.0.11 2.2.8改善湖訪問Azure數據存儲的穩定性。

    • 固定一個bug影響覆蓋蜂巢分區表的插入spark.databricks.io.hive.fastwriter.enabled是假。

    • 修正了序列化失敗的任務。

  • 2018年3月09日

    • 固定一個問題引起的競爭條件,在罕見的情況下,導致一些輸出文件的損失。

  • 2018年3月1日

    • 改進的效率處理流,需要花很長時間停止。

    • 固定一個問題影響到Python自動完成。

    • 應用Ubuntu安全補丁。

    • 固定一個問題影響特定查詢使用Python udf和窗口函數。

    • 固定一個問題影響使用udf集群上的表啟用訪問控製。

  • 2018年1月29日

    • 固定一個問題影響操縱表存儲在Azure Blob存儲。

    • 固定聚合在空DataFrame dropDuplicates之後。

磚運行時的3.4(不支持)

看到磚運行時的3.4(不支持)。

  • 2018年5月31日

    • 固定一個bug影響火花SQL執行引擎。

    • 改進的錯誤處理在三角洲湖。

  • 2018年5月17日

    • 改善穩定讀取數據存儲在Azure存儲數據湖。

    • 固定一個bug影響抽樣緩存。

    • 固定一個bug影響空值等於在火花SQL。

  • 2018年4月24日

    • 固定一個bug影響覆蓋蜂巢分區表的插入spark.databricks.io.hive.fastwriter.enabled是假。

  • 2018年3月09日

    • 固定一個問題引起的競爭條件,在罕見的情況下,導致一些輸出文件的損失。

  • 2017年12月13日

    • 固定一個問題影響到Scala中的udf。

    • 固定一個問題影響使用數據源表上數據不索引存儲在non-DBFS路徑。

  • 2017年12月07日

    • 改進的洗牌的穩定性。

磚運行時的3.3(不支持)

看到磚運行時的3.3(不支持)。

  • 2018年5月31日

    • 固定一個bug影響火花SQL執行引擎。

  • 2018年4月24日

    • 固定一個bug影響覆蓋蜂巢分區表的插入spark.databricks.io.hive.fastwriter.enabled是假。

  • 2018年3月12日,

    • 固定一個問題引起的競爭條件,在罕見的情況下,導致一些輸出文件的損失。

  • 2018年1月29日

    • 固定一個問題影響到Scala中的udf。

  • 2017年10月11日

    • 改進的洗牌的穩定性。

磚運行時的3.2(不支持)

看到磚運行時的3.2(不支持)。

  • 2018年3月30日

    • 固定一個問題引起的競爭條件,在罕見的情況下,導致一些輸出文件的損失。

  • 2017年9月13日

    • 固定一個問題影響使用spark_submit_task與磚的工作。

  • 2017年9月6日

    • 固定一個問題影響某些窗函數的性能。

2.1.1-db6(不支持)

看到2.1.1-db6集群形象(不支持)。

  • 2018年5月31日

    • 固定一個bug影響火花SQL執行引擎。

  • 2018年3月30日

    • 固定一個問題引起的競爭條件,在罕見的情況下,導致一些輸出文件的損失。

2.1.1-db4(不支持)

看到2.1.1-db4集群形象(不支持)。

  • 2018年5月31日

    • 固定一個bug影響火花SQL執行引擎。

  • 2018年3月30日

    • 固定一個問題引起的競爭條件,在罕見的情況下,導致一些輸出文件的損失。

不支持的磚運行時版本

原來的版本說明,遵循下麵的鏈接副標題。