磚運行時的維護更新

磚13.1運行時

看到磚13.1運行時。

• 2023年6月15日

  • Photonizedapprox_count_distinct。

  • JSON解析器在failOnUnknownFields現在滴記錄方式DROPMALFORMED模式和直接失敗FAILFAST模式。

  • Snowflake-jdbc庫升級3.13.29解決安全問題。

  • PubSubRecord屬性字段存儲為JSON而不是字符串形式的Scala地圖以便於序列化和反序列化。

  • 的解釋擴展現在命令返回結果緩存查詢的資格。

  • 提高增量更新的性能淺克隆冰山和拚花。

  • (火花- 43032)[SS][連接]Python平方米bug修複。

  • (火花- 43404)(補丁)跳過重用sst文件RocksDB相同版本的狀態存儲,以避免ID不匹配錯誤。

  • (火花- 43340)(核心)處理丟失的堆棧跟蹤在事件日誌。

  • (火花- 43527)(PYTHON)固定catalog.listCatalogs在PySpark。

  • (火花- 43541)[SQL]傳播項目標簽解析表達式和失蹤的列。

  • (火花- 43300)(核心)NonFateSharingCache包裝為番石榴緩存。

  • (火花- 43378)(核心)正確關閉流對象deserializeFromChunkedBuffer。

  • (火花- 42852)[SQL]恢複NamedLambdaVariable相關的變化EquivalentExpressions。

  • (火花- 43779)[SQL]ParseToDate現在加載EvalMode在主線程。

  • (火花- 43413)[SQL]修複在子查詢ListQuerynullability。

  • (火花- 43889)(PYTHON)(補丁)添加檢查列名稱__dir__ ()過濾掉容易出錯的列名。

  • (火花- 43043)(核心)的性能改善MapOutputTracker.updateMapOutput

  • (火花- 43522)[SQL]固定創建struct列名與索引的數組。

  • (火花- 43457)【連接】(PYTHON) Augument用戶代理與操作係統,PYTHON和火花的版本。

  • (火花- 43286)[SQL]更新aes_encryptCBC模式生成隨機的靜脈注射。

  • (火花- 42851)[SQL]警衛EquivalentExpressions.addExpr ()與supportedExpression ()。

  • 恢複”(火花- 43183)[SS]引入一個新的回調onQueryIdle來StreamingQueryListener。

  • 操作係統安全更新。

磚13.0運行時

看到磚13.0運行時。

• 2023年6月15日

  • Photonizedapprox_count_distinct。

  • Snowflake-jdbc庫升級3.13.29解決安全問題。

  • (火花- 43156)(火花- 43098)[SQL]擴展標量子查詢統計錯誤測試decorrelateInnerQuery禁用

  • (火花- 43779)[SQL]ParseToDate現在加載EvalMode在主線程。

  • (火花- 42937)[SQL]PlanSubqueries應該設定InSubqueryExec # shouldBroadcast為真

  • 操作係統安全更新。

• 2023年6月2日

  • 的JSON解析器failOnUnknownFields模式中的記錄下降DROPMALFORMED模式和直接失敗FAILFAST模式。

  • 提高增量更新的性能淺克隆冰山和拚花。

  • 修正了在自動加載程序,不同的源文件格式不一致,所提供的模式不包括推斷分區。這個問題可能會導致意想不到的失敗當閱讀文件缺失列推斷分區模式。

  • (火花- 43404)(補丁)跳過重用sst文件RocksDB相同版本的狀態存儲,以避免ID不匹配錯誤。

  • (火花- 43340)(核心)固定失蹤堆棧跟蹤事件日誌。

  • (火花- 43300)(核心)NonFateSharingCache包裝為番石榴緩存。

  • (火花- 43378)(核心)正確關閉流對象deserializeFromChunkedBuffer。

  • (火花- 16484)[SQL]為代表DataSketches使用8位寄存器。

  • (火花- 43522)[SQL]固定創建struct列名與索引的數組。

  • [11.3 - -13.0][[火花- 43413]]https://issues.apache.org/jira/browse/spark - 43413)[SQL]固定的在子查詢ListQuerynullability。

  • (火花- 43043)(核心)改進MapOutputTracker.updateMapOutput的性能。

  • (火花- 16484)[SQL]添加支持DataSketches HllSketch。

  • (火花- 43123)[SQL]內部字段元數據目錄不再泄漏。

  • (火花- 42851)[SQL]警衛EquivalentExpressions.addExpr ()與supportedExpression ()。

  • (火花- 43336)[SQL]之間的鑄造時間戳和TimestampNTZ需要時區。

  • (火花- 43286)[SQL]更新aes_encryptCBC模式生成隨機的靜脈注射。

  • (火花- 42852)[SQL]恢複NamedLambdaVariable相關的變化EquivalentExpressions。

  • (火花- 43541)[SQL]傳播項目標簽解析表達式和失蹤的列. .

  • (火花- 43527)(PYTHON)固定catalog.listCatalogs在PySpark。

  • 操作係統安全更新。

• 2023年5月31日

  • 默認優化編寫支持δ在統一目錄已經擴大到包括注冊表商品交易顧問基金語句和插入分區表的操作。這種行為將違約SQL倉庫。看到優化為三角洲湖磚。

• 2023年5月17日

  • 固定一個回歸,_metadata.file_path和_metadata.file_name將返回不正確的格式化字符串。例如,現在與空間是被表示成一個路徑s3: / /測試記錄/一些% 20目錄/ % 20 data.csv而不是s3: / /測試記錄/一些目錄/一些data.csv。

  • 拚花掃描現在強大的反對OOMs當掃描異常結構化文件通過動態調整批量大小。文件元數據分析再預先降低批量大小,降低任務重試最後安全網。

  • • 如果一個Avro文件僅僅是閱讀failOnUnknownFields \選擇或與自動加載程序failOnNewColumns \模式演化模式,具有不同數據類型的列會讀空\而不是拋出錯誤說明文件無法讀取。現在這些讀取失敗,建議用戶使用rescuedDataColumn \選擇。

  • 自動加載程序現在做以下。

  • • 不再正確讀取和救助整數,短,字節類型提供的這些數據類型是如果一個人,但Avro文件顯示其他兩種類型之一。

  • • 防止閱讀區間類型日期或時間戳類型避免腐敗的日期。

  • • 防止閱讀小數類型精度較低。

  • (火花- 43172)(連接)公開從火花連接客戶端主機和令牌。

  • (火花- 43293)[SQL]__qualified_access_only被忽略在正常列。

  • (火花- 43098)[SQL]固定的正確性數錯誤當標量子查詢分組by子句。

  • (火花- 43085)[SQL]支持列默認的作業多部分表的名字。

  • (火花- 43190)[SQL]ListQuery.childOutput現在是符合二次輸出。

  • (火花- 43192)(連接)刪除用戶代理字符集驗證。

• 2023年4月25日

  • 你可以修改一個表添加支持δδ表功能使用DeltaTable.addFeatureSupport (feature_name)。

  • 的同步命令現在支持遺留數據源格式。

  • 固定一臭蟲,其使用Python格式化程序之前運行其他命令在Python筆記本可能導致筆記本路徑失蹤sys.path。

  • 磚現在支持指定列的默認值δ表。插入,更新,刪除,合並命令可以使用顯式引用列的默認值默認的關鍵字。為插入命令與顯式列少於目標表的列表,對應列的默認值代替(或剩餘的列零如果沒有指定默認的)。

• 修複一個缺陷,網絡終端不能用於訪問文件/工作空間對於一些用戶。

  • 如果一個拚花文件僅僅是閱讀failOnUnknownFields選擇或與自動加載程序failOnNewColumns模式演化模式中,列有不同的數據類型將被解讀為零而不是拋出錯誤說明文件無法讀取。現在這些讀取失敗,建議用戶使用rescuedDataColumn選擇。

  • 不再自動加載程序現在正確地讀取和救助整數,短,字節如果提供的這些數據類型是一個類型。鑲木地板文件顯示其他兩種類型。獲救的數據列之前啟用時,數據類型不匹配會導致列被救出即使他們是可讀的。

  • 固定一臭蟲,其自動加載程序模式演化可以進入一個無限循環失敗,當檢測到一個新列在一個嵌套的JSON對象的模式。

  • (火花- 42794)[SS]增加lockAcquireTimeoutMs 2分鍾獲取RocksDB狀態存儲結構流。

  • (火花- 39221)[SQL]讓節儉敏感信息被正確編輯服務器工作/階段選項卡。

  • (火花- 42971)(核心)改變打印workdir如果appDirs為空時工人處理WorkDirCleanup事件。

  • (主)[[火花- 42936]]https://issues.apache.org/jira/browse/spark - 42936)[SQL]修複LCA錯誤當在子句可以直接解決的孩子總。

  • (火花- 43018)[SQL]修複bug插入命令與時間戳文字。

  • 恢複”(火花- 42754)[SQL] [UI]修複向後兼容性問題在嵌套SQL運行。”

  • 恢複”(火花- 41498)元數據傳播通過聯盟。”

  • (火花- 43038)[SQL] CBC模式的支持aes_encrypt ()/aes_decrypt ()。

  • (火花- 42928)[SQL]使resolvePersistentFunction同步。

  • (火花- 42521)[SQL]添加零值插入與指定的列少於目標表的列表。

  • (火花- 41391)[SQL]輸出列的名稱groupBy.agg (count_distinct)是不正確的。

  • (火花- 42548)[SQL]添加ReferenceAllColumns跳過重寫屬性。

  • (火花- 42423)[SQL]添加元數據列文件塊開始和長度。

  • (火花- 42796)[SQL]支持訪問TimestampNTZ列CachedBatch。

  • (火花- 42266)(PYTHON)去除外殼的父目錄。py運行IPython時使用。

  • (火花- 43011)[SQL]array_insert失敗為0的索引。

  • (火花- 41874)【連接】(PYTHON)的支持SameSemantics在引發連接。

  • (火花- 42702)(火花- 42623)[SQL]支持參數化查詢子查詢和CTE。

  • (火花- 42967)(核心)修複SparkListenerTaskStart.stageAttemptId當一個任務是開始階段後取消。

  • 操作係統安全更新。

磚12.2運行時

看到磚運行時12.2 LTS。

• 2023年6月15日

  • Photonizedapprox_count_distinct。

  • Snowflake-jdbc庫升級3.13.29解決安全問題。

  • (火花- 43779)[SQL]ParseToDate現在加載EvalMode在主線程。

  • (火花- 43156)(火花- 43098)[SQL]擴展標量子查詢統計錯誤測試decorrelateInnerQuery禁用

  • 操作係統安全更新。

• 2023年6月2日

  • 的JSON解析器failOnUnknownFields模式中的記錄下降DROPMALFORMED模式和直接失敗FAILFAST模式。

  • 提高增量更新的性能淺克隆冰山和拚花。

  • 修正了在自動加載程序,不同的源文件格式不一致,所提供的模式不包括推斷分區。這個問題可能會導致意想不到的失敗當閱讀文件缺失列推斷分區模式。

  • (火花- 43404)(補丁)跳過重用sst文件RocksDB相同版本的狀態存儲,以避免ID不匹配錯誤。

  • [11.3 - -13.0][[火花- 43413]]https://issues.apache.org/jira/browse/spark - 43413)[SQL]固定的在子查詢ListQuerynullability。

  • (火花- 43522)[SQL]固定創建struct列名與索引的數組。

  • (火花- 43541)[SQL]傳播項目標簽解析表達式和失蹤的列。

  • (火花- 43527)(PYTHON)固定catalog.listCatalogs在PySpark。

  • (火花- 43123)[SQL]內部字段元數據目錄不再泄漏。

  • (火花- 43340)(核心)固定失蹤堆棧跟蹤事件日誌。

  • (火花- 42444)(PYTHON)DataFrame.drop現在正確地處理重複的列。

  • (火花- 42937)[SQL]PlanSubqueries現在集InSubqueryExec # shouldBroadcast為true。

  • (火花- 43286)[SQL]更新aes_encryptCBC模式生成隨機的靜脈注射。

  • (火花- 43378)(核心)正確關閉流對象deserializeFromChunkedBuffer。

• 2023年5月17日

  • 拚花掃描現在強大的反對OOMs當掃描異常結構化文件通過動態調整批量大小。文件元數據分析再預先降低批量大小,降低任務重試最後安全網。

  • 如果一個Avro文件僅僅是閱讀failOnUnknownFields \選擇或與自動加載程序failOnNewColumns \模式演化模式,具有不同數據類型的列會讀空\而不是拋出錯誤說明文件無法讀取。現在這些讀取失敗,建議用戶使用rescuedDataColumn \選擇。

  • 自動加載程序現在做以下。

  • • 不再正確讀取和救助整數,短,字節類型提供的這些數據類型是如果一個人,但Avro文件顯示其他兩種類型之一。

  • • 防止閱讀區間類型日期或時間戳類型避免腐敗的日期。

  • • 防止閱讀小數類型精度較低。

  • (火花- 43172)(連接)公開從火花連接客戶端主機和令牌。

  • (火花- 43293)[SQL]__qualified_access_only被忽略在正常列。

  • (火花- 43098)[SQL]固定的正確性數錯誤當標量子查詢分組by子句。

  • (火花- 43085)[SQL]支持列默認的作業多部分表的名字。

  • (火花- 43190)[SQL]ListQuery.childOutput現在是符合二次輸出。

  • (火花- 43192)(連接)刪除用戶代理字符集驗證。

  • 操作係統安全更新。

• 2023年4月25日

  • 如果一個拚花文件僅僅是閱讀failOnUnknownFields選擇或與自動加載程序failOnNewColumns模式演化模式中,列有不同的數據類型將被解讀為零而不是拋出錯誤說明文件無法讀取。現在這些讀取失敗,建議用戶使用rescuedDataColumn選擇。

  • 不再自動加載程序現在正確地讀取和救助整數,短,字節如果提供的這些數據類型是一個類型。鑲木地板文件顯示其他兩種類型。獲救的數據列之前啟用時,數據類型不匹配會導致列被救出即使他們是可讀的。

  • (火花- 43009)[SQL]參數化sql ()與任何常量

  • (火花- 42406)終止Protobuf遞歸刪除字段字段

  • (火花- 43038)[SQL] CBC模式的支持aes_encrypt ()/aes_decrypt ()

  • (火花- 42971)(核心)改變打印workdir如果appDirs為空時工人處理WorkDirCleanup事件

  • (火花- 43018)[SQL]修複bug與時間戳文字插入命令

  • 操作係統安全更新。

• 2023年4月11日

  • 支持遺留數據源格式同步命令。

  • 修複一個缺陷在筆記本% autoreload行為以外的回購。

  • 固定一臭蟲,其自動加載程序模式演化可以進入一個無限循環失敗,當檢測到一個新列在一個嵌套的JSON對象的模式。

  • (火花- 42928)[SQL]使resolvePersistentFunction同步。

  • (火花- 42936)[SQL]修複LCA錯誤時由其孩子總條款可以直接解決。

  • (火花- 42967)(核心)修複SparkListenerTaskStart.stageAttemptId當一個任務開始後階段取消了。

  • 操作係統安全更新。

• 2023年3月29日

  • 磚SQL現在支持指定的列的默認值三角洲湖表,在表創建時或者之後。隨後插入、更新、刪除和合並之後命令可以指任何列的默認值使用顯式的默認關鍵字。此外,如果任何插入作業有一個顯式的列少於目標表列表,對應的列的默認值代替其餘列(或零如果沒有指定默認的)。

    例如:

    創建表t (INT,第二次約會默認當前日期())使用三角洲;\插入t值(0,默認);\插入t值(默認);\選擇第一,第二從t; \ \ > 0, 2023-03-28 \ 2023 - 03 - 28 - z

  • 現在汽車裝載機啟動至少一個同步RocksDB日誌清理Trigger.AvailableNow流,以確保快速的檢查點可以定期清理自動加載程序流。這可能會導致一些流關閉之前需要更長的時間,但是可以節省存儲成本,提高汽車裝載機在未來的運行經驗。

  • 您現在可以修改三角洲表添加支持表功能使用DeltaTable.addFeatureSupport (feature_name)。

  • (火花- 42794)[SS]增加lockAcquireTimeoutMs 2分鍾獲取RocksDB狀態存儲結構流

  • (火花- 42521)[SQL]添加null為插入指定的列少於目標表的列表

  • (火花- 42702)(火花- 42623)[SQL]支持參數化查詢子查詢和CTE

  • (火花- 42668)[SS]捕捉異常而試圖關閉壓縮流HDFSStateStoreProvider中止

  • (火花- 42403)(核心)JsonProtocol應該處理null JSON字符串

• 2023年3月8日,

  • 錯誤消息“失敗初始化配置”已得到改進,為客戶提供更多的上下文。

  • 有一個術語變化將特性添加到三角洲表使用該表屬性。現在是首選的語法“delta.feature.featureName”=“支持”而不是“delta.feature.featureName”=“啟用”。向後兼容,使用“delta.feature.featureName”=“啟用”仍然工作,並將繼續工作。

  • 從這個版本開始,可以創建/替換一個表和一個額外的表屬性delta.ignoreProtocolDefaults忽視協議相關的配置,包括默認的讀者和作家版本,以及默認表功能支持。

  • (火花- 42070)[SQL]改變掩模函數的參數的默認值從1到零

  • (火花- 41793)[SQL]不正確結果窗框上一係列條款定義的小數

  • (火花- 42484)[SQL] UnsafeRowUtils更好的錯誤消息

  • (火花- 42516)[SQL]總是抓住會話時區配置在創建視圖

  • (火花- 42635)[SQL]修複TimestampAdd表達式。

  • (火花- 42622)(核心)禁用替換值

  • (火花- 42534)[SQL]修複DB2Dialect限製條款

  • (火花- 42121)[SQL]添加內置表值函數posexplode posexplode_outer json_tuple和堆棧

  • (火花- 42045)[SQL] ANSI SQL模式:圓/ Bround應該返回一個錯誤小/小/大整數溢出

  • 操作係統安全更新。

磚12.1運行時

看到磚12.1運行時。

• 2023年6月15日

  • Photonizedapprox_count_distinct。

  • Snowflake-jdbc庫升級3.13.29解決安全問題。

  • es - 627434](火花- 43779)[SQL]ParseToDate現在加載EvalMode在主線程。

  • (火花- 43156)(火花- 43098)[SQL]擴展標量子查詢統計錯誤測試decorrelateInnerQuery禁用

  • 操作係統安全更新。

• 2023年6月2日

  • 的JSON解析器failOnUnknownFields模式中的記錄下降DROPMALFORMED模式和直接失敗FAILFAST模式。

  • 提高增量更新的性能淺克隆冰山和拚花。

  • 修正了在自動加載程序,不同的源文件格式不一致,所提供的模式不包括推斷分區。這個問題可能會導致意想不到的失敗當閱讀文件缺失列推斷分區模式。

  • (火花- 43404)(補丁)跳過重用sst文件RocksDB相同版本的狀態存儲,以避免ID不匹配錯誤。

  • [11.3 - -13.0][[火花- 43413]]https://issues.apache.org/jira/browse/spark - 43413)[SQL]固定的在子查詢ListQuerynullability。

  • (火花- 43522)[SQL]固定創建struct列名與索引的數組。

  • (火花- 42444)(PYTHON)DataFrame.drop現在正確地處理重複的列。

  • (火花- 43541)[SQL]傳播項目標簽解析表達式和失蹤的列. .

  • (火花- 43340)(核心)固定失蹤堆棧跟蹤事件日誌。

  • (火花- 42937)[SQL]PlanSubqueries現在集InSubqueryExec # shouldBroadcast為true。

  • (火花- 43527)(PYTHON)固定catalog.listCatalogs在PySpark。

  • (火花- 43378)(核心)正確關閉流對象deserializeFromChunkedBuffer。

• 2023年5月17日

  • 拚花掃描現在強大的反對OOMs當掃描異常結構化文件通過動態調整批量大小。文件元數據分析再預先降低批量大小,降低任務重試最後安全網。

  • 如果一個Avro文件僅僅是閱讀failOnUnknownFields \選擇或與自動加載程序failOnNewColumns \模式演化模式,具有不同數據類型的列會讀空\而不是拋出錯誤說明文件無法讀取。現在這些讀取失敗,建議用戶使用rescuedDataColumn \選擇。

  • 自動加載程序現在做以下。

  • • 不再正確讀取和救助整數,短,字節類型提供的這些數據類型是如果一個人,但Avro文件顯示其他兩種類型之一。

  • • 防止閱讀區間類型日期或時間戳類型避免腐敗的日期。

  • • 防止閱讀小數類型精度較低。

  • (火花- 43098)[SQL]固定的正確性數錯誤當標量子查詢分組by子句。

  • (火花- 43190)[SQL]ListQuery.childOutput現在是符合二次輸出。

  • 操作係統安全更新。

• 2023年4月25日

  • 如果一個拚花文件僅僅是閱讀failOnUnknownFields選擇或與自動加載程序failOnNewColumns模式演化模式中,列有不同的數據類型將被解讀為零而不是拋出錯誤說明文件無法讀取。現在這些讀取失敗,建議用戶使用rescuedDataColumn選擇。

  • 不再自動加載程序現在正確地讀取和救助整數,短,字節如果提供的這些數據類型是一個類型。鑲木地板文件顯示其他兩種類型。獲救的數據列之前啟用時,數據類型不匹配會導致列被救出即使他們是可讀的。

  • (火花- 43009)[SQL]參數化sql ()與任何常量。

  • (火花- 42971)(核心)改變打印workdir如果appDirs為空時工人處理WorkDirCleanup事件。

  • 操作係統安全更新。

• 2023年4月11日

  • 支持遺留數據源格式同步命令。

  • 修複一個缺陷在筆記本% autoreload行為以外的回購。

  • 固定一臭蟲,其自動加載程序模式演化可以進入一個無限循環失敗,當檢測到一個新列在一個嵌套的JSON對象的模式。

  • (火花- 42928)[SQL]使resolvePersistentFunction同步。

  • (火花- 42967)(核心)修複SparkListenerTaskStart.stageAttemptId當一個任務開始後階段取消了。

  • 操作係統安全更新。

• 2023年3月29日

  • 自動加載程序現在引發了至少一個同步RocksDB日誌清理Trigger.AvailableNow流,以確保快速的檢查點可以定期清理自動加載程序流。這可能會導致一些流關閉之前需要更長的時間,但是可以節省存儲成本,提高汽車裝載機在未來的運行經驗。

  • 您現在可以修改三角洲表添加支持表功能使用DeltaTable.addFeatureSupport (feature_name)。

  • (火花- 42702)(火花- 42623)[SQL]支持參數化查詢子查詢和CTE

  • (火花- 41162)[SQL]解決反和semi-join自聚合

  • (火花- 42403)(核心)JsonProtocol應該處理null JSON字符串

  • (火花- 42668)[SS]捕捉異常而試圖關閉壓縮流HDFSStateStoreProvider中止

  • (火花- 42794)[SS]增加lockAcquireTimeoutMs 2分鍾獲取RocksDB狀態存儲結構流

• 2023年3月14日,

  • 有一個術語變化將特性添加到三角洲表使用該表屬性。現在是首選的語法“delta.feature.featureName”=“支持”而不是“delta.feature.featureName”=“啟用”。向後兼容,使用“delta.feature.featureName”=“啟用”仍然工作,並將繼續工作。

  • (火花- 42622)(核心)禁用替換值

  • (火花- 42534)[SQL]修複DB2Dialect限製條款

  • (火花- 42635)[SQL]修複TimestampAdd表達式。

  • (火花- 42516)[SQL]總是抓住會話時區配置在創建視圖

  • (火花- 42484)[SQL] UnsafeRowUtils更好的錯誤消息

  • (火花- 41793)[SQL]不正確結果窗框上一係列條款定義的小數

  • 操作係統安全更新。

• 2023年2月24日

  • 標準化的連接選擇查詢聯邦

    您現在可以使用一組統一的選項(主機,港口,數據庫,用戶,密碼)連接到數據源支持查詢聯合會(PostgreSQL、MySQL、突觸、雪花、紅移,SQL Server)。請注意,港口是可選的,將使用默認端口號為每個數據源如果沒有提供。

    PostgreSQL連接配置的示例

    創建表postgresql_table使用postgresql選項(數據表“<表名稱>”,主機“<主機名>”,數據庫“<數據庫名稱>”,用戶“用戶> <”,密碼秘密(“範圍”,“關鍵”));

    雪花連接配置的示例

    創建表snowflake_table使用雪花選項(數據表“<表名稱>”,主機“<主機名>”,港口“<端口號>”,數據庫“<數據庫名稱>”,用戶秘密(“snowflake_creds”,“my_username”),密碼秘密(“snowflake_creds”,“my_password”),模式“<模式名稱>”,sfWarehouse“< warehouse-name >”);

  • (火花- 41989)從pyspark.pandas (PYTHON)避免打破日誌配置

  • (火花- 42346)子查詢合並後[SQL]重寫不同的骨料

  • (火花- 41990)[SQL]使用FieldReference.column而不是應用在V1 V2濾波器轉換

  • 回複(火花- 41848)(核心)修複與TaskResourceProfile任務時間安排的滿滿的

  • (火花- 42162)介紹MultiCommutativeOp表達式作為規範化的內存優化交換表達式的大樹

  • 操作係統安全更新。

• 2023年2月16日

  • 同步命令支持同步蜂巢Metastore重新創建表。如果HMS表同步之前統一目錄然後刪除並重新創建,隨後re-sync將工作而不是扔TABLE_ALREADY_EXISTS狀態代碼。

  • (火花- 41219)[SQL] IntegralDivide使用十進製(1,0)來表示0

  • (火花- 36173)(核心)支持在TaskContext CPU數量

  • (火花- 41848)(核心)修複與TaskResourceProfile任務時間安排的滿滿的

  • (火花- 42286)[SQL]撤退之前codegen代碼路徑的複雜expr

• 2023年1月31日

  • 創建一個模式定義的位置現在要求用戶能夠選擇和修改任何文件上的特權。

  • (火花- 41581)[SQL]命名遺產ERROR_TEMP_1230

  • (火花- 41996)[SQL] [SS]修複卡夫卡測試來驗證丟失分區占緩慢卡夫卡操作

  • (火花- 41580)[SQL]命名遺產ERROR_TEMP_2137

  • (火花- 41666)PYTHON支持參數化SQLsql ()

  • (火花- 41579)[SQL]命名遺產ERROR_TEMP_1249

  • (火花- 41573)[SQL]命名遺產ERROR_TEMP_2136

  • (火花- 41574)[SQL]命名遺產ERROR_TEMP_2009

  • (火花- 41049)(後續)修複代碼同步ConvertToLocalRelation回歸

  • (火花- 41576)[SQL]命名遺產ERROR_TEMP_2051

  • (火花- 41572)[SQL]命名遺產ERROR_TEMP_2149

  • (火花- 41575)[SQL]命名遺產ERROR_TEMP_2054

  • 操作係統安全更新。

磚12.0運行時

看到磚運行時的12.0(不支持)。

• 2023年6月15日

  • Photonizedapprox_count_distinct。

  • Snowflake-jdbc庫升級3.13.29解決安全問題。

  • (火花- 43156)(火花- 43098)[SQL]擴展標量子查詢統計錯誤測試decorrelateInnerQuery禁用

  • (火花- 43779)[SQL]ParseToDate現在加載EvalMode在主線程。

  • 操作係統安全更新。

• 2023年6月2日

  • 的JSON解析器failOnUnknownFields模式中的記錄下降DROPMALFORMED模式和直接失敗FAILFAST模式。

  • 提高增量更新的性能淺克隆冰山和拚花。

  • 修正了在自動加載程序,不同的源文件格式不一致,所提供的模式不包括推斷分區。這個問題可能會導致意想不到的失敗當閱讀文件缺失列推斷分區模式。

  • (火花- 42444)(PYTHON)DataFrame.drop現在正確地處理重複的列。

  • (火花- 43404)(補丁)跳過重用sst文件RocksDB相同版本的狀態存儲,以避免ID不匹配錯誤。

  • [11.3 - -13.0][[火花- 43413]]https://issues.apache.org/jira/browse/spark - 43413)[SQL]固定的在子查詢ListQuerynullability。

  • (火花- 43527)(PYTHON)固定catalog.listCatalogs在PySpark。

  • (火花- 43522)[SQL]固定創建struct列名與索引的數組。

  • (火花- 43541)[SQL]傳播項目標簽解析表達式和失蹤的列. .

  • (火花- 43340)(核心)固定失蹤堆棧跟蹤事件日誌。

  • (火花- 42937)[SQL]PlanSubqueries集InSubqueryExec # shouldBroadcast為true。

• 2023年5月17日

  • 拚花掃描現在強大的反對OOMs當掃描異常結構化文件通過動態調整批量大小。文件元數據分析再預先降低批量大小,降低任務重試最後安全網。

  • 如果一個Avro文件僅僅是閱讀failOnUnknownFields \選擇或與自動加載程序failOnNewColumns \模式演化模式,具有不同數據類型的列會讀空\而不是拋出錯誤說明文件無法讀取。現在這些讀取失敗,建議用戶使用rescuedDataColumn \選擇。

  • 自動加載程序現在做以下。

  • • 不再正確讀取和救助整數,短,字節類型提供的這些數據類型是如果一個人,但Avro文件顯示其他兩種類型之一。

  • • 防止閱讀區間類型日期或時間戳類型避免腐敗的日期。

  • • 防止閱讀小數類型精度較低。

  • (火花- 43172)(連接)公開從火花連接客戶端主機和令牌。

  • (火花- 41520)[SQL]分裂AND_OR樹模式分離和和或。

  • (火花- 43098)[SQL]固定的正確性數錯誤當標量子查詢分組by子句。

  • (火花- 43190)[SQL]ListQuery.childOutput現在是符合二次輸出。

  • 操作係統安全更新。

• 2023年4月25日

  • 如果一個拚花文件僅僅是閱讀failOnUnknownFields選擇或與自動加載程序failOnNewColumns模式演化模式中,列有不同的數據類型將被解讀為零而不是拋出錯誤說明文件無法讀取。現在這些讀取失敗,建議用戶使用rescuedDataColumn選擇。

  • 不再自動加載程序現在正確地讀取和救助整數,短,字節如果提供的這些數據類型是一個類型。鑲木地板文件顯示其他兩種類型。獲救的數據列之前啟用時,數據類型不匹配會導致列被救出即使他們是可讀的。

  • (火花- 42971)(核心)改變打印workdir如果appDirs為空時工人處理WorkDirCleanup事件

  • 操作係統安全更新。

• 2023年4月11日

  • 支持遺留數據源格式同步命令。

  • 修複一個缺陷在筆記本% autoreload行為以外的回購。

  • 固定一臭蟲,其自動加載程序模式演化可以進入一個無限循環失敗,當檢測到一個新列在一個嵌套的JSON對象的模式。

  • (火花- 42928)[SQL]使resolvePersistentFunction同步。

  • (火花- 42967)(核心)修複SparkListenerTaskStart.stageAttemptId當一個任務開始後階段取消了。

  • 操作係統安全更新。

• 2023年3月29日

  • (火花- 42794)[SS]增加lockAcquireTimeoutMs 2分鍾獲取RocksDB狀態存儲結構流

  • (火花- 41162)[SQL]解決反和semi-join自聚合

  • (火花- 42403)(核心)JsonProtocol應該處理null JSON字符串

  • (火花- 42668)[SS]捕捉異常而試圖關閉壓縮流HDFSStateStoreProvider中止

  • 各種各樣的bug修複。

• 2023年3月14日,

  • (火花- 42534)[SQL]修複DB2Dialect限製條款

  • (火花- 42622)(核心)禁用替換值

  • (火花- 41793)[SQL]不正確結果窗框上一係列條款定義的小數

  • (火花- 42484)[SQL] UnsafeRowUtils更好的錯誤消息

  • (火花- 42635)[SQL]修複TimestampAdd表達式。

  • (火花- 42516)[SQL]總是抓住會話時區配置在創建視圖

  • 操作係統安全更新。

• 2023年2月24日

  • 標準化的連接選擇查詢聯邦

    您現在可以使用一組統一的選項(主機,港口,數據庫,用戶,密碼)連接到數據源支持查詢聯合會(PostgreSQL、MySQL、突觸、雪花、紅移,SQL Server)。請注意,港口是可選的,將使用默認端口號為每個數據源如果沒有提供。

    PostgreSQL連接配置的示例

    創建表postgresql_table使用postgresql選項(數據表“<表名稱>”,主機“<主機名>”,數據庫“<數據庫名稱>”,用戶“用戶> <”,密碼秘密(“範圍”,“關鍵”));

    雪花連接配置的示例

    創建表snowflake_table使用雪花選項(數據表“<表名稱>”,主機“<主機名>”,港口“<端口號>”,數據庫“<數據庫名稱>”,用戶秘密(“snowflake_creds”,“my_username”),密碼秘密(“snowflake_creds”,“my_password”),模式“<模式名稱>”,sfWarehouse“< warehouse-name >”);

  • 回複(火花- 41848)(核心)修複與TaskResourceProfile任務時間安排的滿滿的

  • (火花- 42162)介紹MultiCommutativeOp表達式作為規範化的內存優化交換表達式的大樹

  • (火花- 41990)[SQL]使用FieldReference.column而不是應用在V1 V2濾波器轉換

  • (火花- 42346)子查詢合並後[SQL]重寫不同的骨料

  • 操作係統安全更新。

• 2023年2月16日

  • 用戶現在可以讀和寫一些三角洲表,要求讀者版本3和作家版本7,通過使用磚運行時的9.1或更高版本。成功,表功能表中列出的協議必須由磚的當前版本支持運行時。

  • 同步命令支持同步蜂巢Metastore重新創建表。如果HMS表同步之前統一目錄然後刪除並重新創建,隨後re-sync將工作而不是扔TABLE_ALREADY_EXISTS狀態代碼。

  • (火花- 36173)(核心)支持在TaskContext CPU數量

  • (火花- 42286)[SQL]撤退之前codegen代碼路徑的複雜expr

  • (火花- 41848)(核心)修複與TaskResourceProfile任務時間安排的滿滿的

  • (火花- 41219)[SQL] IntegralDivide使用十進製(1,0)來表示0

• 2023年1月25日

  • (火花- 41660)[SQL]隻傳播如果他們使用元數據列

  • (火花- 41379)[SS] [PYTHON)提供克隆引發會話在DataFrame用戶函數PySpark foreachBatch水槽

  • (火花- 41669)在canCollapseExpressions [SQL]早期修剪

  • 操作係統安全更新。

• 2023年1月18日

  • 刷新函數SQL命令現在支持SQL函數和SQL表函數。例如,命令可以用來刷新一個持久的SQL函數,在另一個SQL更新會話。

  • Java數據庫連接(JDBC)數據源v1現在支持限製條款疊加來提高查詢的性能。這個功能是默認啟用,可以禁用spark.databricks.optimizer.jdbcDSv1LimitPushdown.enabled設置為假。

  • acl集群在遺留表,創建函數引用JVM類現在需要MODIFY_CLASSPATH特權。

  • Java數據庫連接(JDBC)數據源v1現在支持限製條款疊加來提高查詢的性能。這個功能是默認啟用和spark.databricks.optimizer.jdbcDSv1LimitPushdown可以禁用。啟用設置為false。

  • Azure突觸連接器現在返回一個更具描述性的錯誤消息,當一列或分號等名稱包含無效字符。在這種情況下,將返回以下信息:Azure突觸分析失敗的來執行的JDBC查詢生產通過的連接器。使確定列的名字做不包括任何無效的字符這樣的作為“;”或空格。

  • 火花結構化流現在使用格式(“deltasharing”)作為源三角洲共享桌子上。

  • (火花- 38277)[SS]明確寫批處理後RocksDB商店的提交狀態

  • (火花- 41733)基於[SQL] [SS]應用樹各種規則ResolveWindowTime修剪

  • (火花- 39591)[SS]異步跟蹤進展

  • (火花- 41339)[SQL]關閉並重新創建RocksDB寫批處理而不是清算

  • (火花- 41198)[SS]修複指標在流查詢CTE和DSv1流源

  • (火花- 41539)[SQL]再交換數據和約束對輸出邏輯LogicalRDD的計劃

  • (火花- 41732)基於[SQL] [SS]應用樹各種規則SessionWindowing修剪

  • (火花- 41862)[SQL]修複正確性錯誤相關的默認值在獸人的讀者

  • (火花- 41199)[SS]解決度量問題當DSv1 co-used流源和DSv2流源

  • (火花- 41261)(PYTHON) [SS]修複問題applyInPandasWithState當分組關鍵字的列不放置在從最早的訂單

  • 操作係統安全更新。

• 2023年5月17日

  • 拚花掃描現在強大的反對OOMs當掃描異常結構化文件通過動態調整批量大小。文件元數據分析再預先降低批量大小,降低任務重試最後安全網。

  • 固定一個回歸導致磚工作堅持失敗後連接到metastore在集群的初始化。

  • (火花- 41520)[SQL]分裂AND_OR樹模式分離和和或。

  • (火花- 43190)[SQL]ListQuery.childOutput現在是符合二次輸出。

  • 操作係統安全更新。

• 2023年4月25日

  • 如果一個拚花文件僅僅是閱讀failOnUnknownFields選擇或與自動加載程序failOnNewColumns模式演化模式中,列有不同的數據類型將被解讀為零而不是拋出錯誤說明文件無法讀取。現在這些讀取失敗,建議用戶使用rescuedDataColumn選擇。

  • 不再自動加載程序現在正確地讀取和救助整數,短,字節如果提供的這些數據類型是一個類型。鑲木地板文件顯示其他兩種類型。獲救的數據列之前啟用時,數據類型不匹配會導致列被救出即使他們是可讀的。

  • (火花- 42937)[SQL]PlanSubqueries現在集InSubqueryExec # shouldBroadcast為true。

  • 操作係統安全更新。

• 2023年4月11日

  • 支持遺留數據源格式同步命令。

  • 修複一個缺陷在筆記本% autoreload行為以外的回購。

  • 固定一臭蟲,其自動加載程序模式演化可以進入一個無限循環失敗,當檢測到一個新列在一個嵌套的JSON對象的模式。

  • (火花- 42928)[SQL]使resolvePersistentFunction同步。

  • (火花- 42967)(核心)修複SparkListenerTaskStart。stageAttemptId當任務開始階段後取消。

• 2023年3月29日

  • (火花- 42794)[SS]增加lockAcquireTimeoutMs 2分鍾獲取RocksDB狀態存儲結構流

  • (火花- 42403)(核心)JsonProtocol應該處理null JSON字符串

  • (火花- 42668)[SS]捕捉異常而試圖關閉壓縮流HDFSStateStoreProvider中止

  • 操作係統安全更新。

• 2023年3月14日,

  • (火花- 42635)[SQL]修複TimestampAdd表達式。

  • (火花- 41793)[SQL]不正確結果窗框上一係列條款定義的小數

  • (火花- 42484)[SQL] UnsafeRowUtils更好的錯誤消息

  • (火花- 42534)[SQL]修複DB2Dialect限製條款

  • (火花- 41162)[SQL]解決反和semi-join自聚合

  • (火花- 42516)[SQL]總是抓住會話時區配置在創建視圖

  • 各種各樣的bug修複。

• 2023年2月28日

  • 標準化的連接選擇查詢聯邦

    您現在可以使用一組統一的選項(主機,港口,數據庫,用戶,密碼)連接到數據源支持查詢聯合會(PostgreSQL、MySQL、突觸、雪花、紅移,SQL Server)。請注意,港口是可選的,並且為每個數據源使用默認端口號如果沒有提供。

    PostgreSQL連接配置的示例

    創建表postgresql_table使用postgresql選項(數據表“<表名稱>”,主機“<主機名>”,數據庫“<數據庫名稱>”,用戶“用戶> <”,密碼秘密(“範圍”,“關鍵”));

    雪花連接配置的示例

    創建表snowflake_table使用雪花選項(數據表“<表名稱>”,主機“<主機名>”,港口“<端口號>”,數據庫“<數據庫名稱>”,用戶秘密(“snowflake_creds”,“my_username”),密碼秘密(“snowflake_creds”,“my_password”),模式“<模式名稱>”,sfWarehouse“< warehouse-name >”);

  • (火花- 42286)[SQL]撤退之前codegen代碼路徑的複雜expr

  • (火花- 41989)從pyspark.pandas (PYTHON)避免打破日誌配置

  • (火花- 42346)子查詢合並後[SQL]重寫不同的骨料

  • (火花- 41360)(核心)避免BlockManager續費如果遺囑執行人已經丟失

  • (火花- 42162)介紹MultiCommutativeOp表達式作為規範化的內存優化交換表達式的大樹

  • (火花- 41990)[SQL]使用FieldReference.column而不是應用在V1 V2濾波器轉換

  • 操作係統安全更新。

• 2023年2月16日

  • 用戶現在可以讀和寫一些三角洲表,要求讀者版本3和作家版本7,通過使用磚運行時的9.1或更高版本。成功,表功能表中列出的協議必須由磚的當前版本支持運行時。

  • 同步命令支持同步蜂巢Metastore重新創建表。如果HMS表同步之前統一目錄然後刪除並重新創建,隨後re-sync將工作而不是扔TABLE_ALREADY_EXISTS狀態代碼。

  • (火花- 41219)[SQL] IntegralDivide使用十進製(1,0)來表示0

  • (火花- 40382)[SQL]組不同的聚合表達式的語義上等價的孩子RewriteDistinctAggregates

  • 操作係統安全更新。

• 2023年1月25日

  • (火花- 41379)[SS] [PYTHON)提供克隆引發會話在DataFrame用戶函數PySpark foreachBatch水槽

  • (火花- 41660)[SQL]隻傳播如果他們使用元數據列

  • (火花- 41669)在canCollapseExpressions [SQL]早期修剪

  • 各種各樣的bug修複。

• 2023年1月18日

  • 刷新函數SQL命令現在支持SQL函數和SQL表函數。例如,命令可以用來刷新一個持久的SQL函數,在另一個SQL更新會話。

  • Java數據庫連接(JDBC)數據源v1現在支持限製條款疊加來提高查詢的性能。這個功能是默認啟用,可以禁用spark.databricks.optimizer.jdbcDSv1LimitPushdown.enabled設置為假。

  • Java數據庫連接(JDBC)數據源v1現在支持限製條款疊加來提高查詢的性能。這個功能是默認啟用和spark.databricks.optimizer.jdbcDSv1LimitPushdown可以禁用。啟用設置為false。

  • Azure突觸連接器現在返回一個更具描述性的錯誤消息,當一列或分號等名稱包含無效字符。在這種情況下,將返回以下信息:Azure突觸分析失敗的來執行的JDBC查詢生產通過的連接器。使確定列的名字做不包括任何無效的字符這樣的作為“;”或空格。

  • (火花- 41198)[SS]修複指標在流查詢CTE和DSv1流源

  • (火花- 41862)[SQL]修複正確性錯誤相關的默認值在獸人的讀者

  • (火花- 41539)[SQL]再交換數據和約束對輸出邏輯LogicalRDD的計劃

  • (火花- 39591)[SS]異步跟蹤進展

  • (火花- 41199)[SS]解決度量問題當DSv1 co-used流源和DSv2流源

  • (火花- 41261)(PYTHON) [SS]修複問題applyInPandasWithState當分組關鍵字的列不放置在從最早的訂單

  • (火花- 41339)[SQL]關閉並重新創建RocksDB寫批處理而不是清算

  • (火花- 41732)基於[SQL] [SS]應用樹各種規則SessionWindowing修剪

  • (火花- 38277)[SS]明確寫批處理後RocksDB商店的提交狀態

  • 操作係統安全更新。

• 2022年11月29日

  • 用戶可以配置前導和尾隨空白的行為寫數據時使用紅移的連接器。添加了以下選項來控製空白處理:

    • csvignoreleadingwhitespace當設置為真正的期間,除去前導空白值時寫道tempformat被設置為CSV或CSVGZIP。空白保留配置設置的時候出現假。默認情況下,這個值是真正的。

    • csvignoretrailingwhitespace當設置為真正的從價值觀,刪除空格時寫道tempformat被設置為CSV或CSVGZIP。空白保留配置設置的時候出現假。默認情況下,這個值是真正的。

  • JSON解析固定一個缺陷自動加載程序所有列左作為字符串(時cloudFiles.inferColumnTypes沒有設置或設置假)和嵌套包含的JSON對象。

  • 升級snowflake-jdbc依賴3.13.22版。

  • 表類型的JDBC表默認現在外部。

  • (火花- 40906)[SQL]模式之前應該複製鑰匙插入地圖嗎

  • 操作係統安全更新。

• 2022年11月15日

  • 表acl和加州大學共享集群現在允許數據集。從python toJSON方法。

  • (火花- 40646)JSON解析結構、地圖和數組已經固定,所以當一個記錄不匹配模式的一部分,其餘的記錄仍然可以正確解析,而不是返回null。為改善行為,選擇集spark.sql.json.enablePartialResults來真正的。國旗是禁用默認保存原來的行為。

  • (火花- 40903)[SQL]避免重新排序十進製加規範化數據類型是否改變

  • (火花- 40618)[SQL]修複bug在MergeScalarSubqueries規則使用參考與嵌套的子查詢跟蹤

  • (火花- 40697)[SQL]添加讀字符填充覆蓋外部數據文件

  • 操作係統安全更新。

• 2022年11月1日

  • 固定的一個問題,如果一個增量表有一個用戶定義的列命名_change_type,但改變數據提要殘疾人在表,數據列運行時錯誤地充滿NULL值嗎合並。

  • 固定一個運行的問題合並從源和使用99列的條件可能導致java.lang.ClassCastException:org.apache.spark.sql.vectorized.ColumnarBatch不能是投來org.apache.spark.sql.catalyst.InternalRow。

  • 固定的問題自動加載程序,文件可以複製在同一個micro-batch當allowOverwrites啟用。

  • Apache commons-text 1.10.0升級。

  • (火花- 38881)[DSTREAMS][運動][PYSPARK]添加支持CloudWatch MetricsLevel配置

  • (火花- 40596)(核心)填充ExecutorDecommission ExecutorDecommissionInfo消息

  • (火花- 40670)[SS] [PYTHON)修複肺水腫applyInPandasWithState當輸入模式“空列上”專欄(s)

  • 操作係統安全更新。

磚11.3運行時

看到磚運行時11.3 LTS。

• 2023年6月15日

  • Photonizedapprox_count_distinct。

  • Snowflake-jdbc庫升級3.13.29解決安全問題。

  • (火花- 43779)[SQL]ParseToDate現在加載EvalMode在主線程。

  • (火花- 40862)[SQL]支持非聚集在RewriteCorrelatedScalarSubquery子查詢

  • (火花- 43156)(火花- 43098)[SQL]擴展標量子查詢統計錯誤測試decorrelateInnerQuery禁用

  • (火花- 43098)[SQL]修複正確性計數錯誤當標量子查詢group by子句

  • 操作係統安全更新。

• 2023年6月2日

  • 的JSON解析器failOnUnknownFields模式中的記錄下降DROPMALFORMED模式和直接失敗FAILFAST模式。

  • 提高增量更新的性能淺克隆冰山和拚花。

  • 修正了在自動加載程序,不同的源文件格式不一致,所提供的模式不包括推斷分區。這個問題可能會導致意想不到的失敗當閱讀文件缺失列推斷分區模式。

  • (火花- 43404)(補丁)跳過重用sst文件RocksDB相同版本的狀態存儲,以避免ID不匹配錯誤。

  • (火花- 43527)(PYTHON)固定catalog.listCatalogs在PySpark。

  • [11.3 - -13.0][[火花- 43413]]https://issues.apache.org/jira/browse/spark - 43413)[SQL]固定的在子查詢ListQuerynullability。

  • (火花- 43340)(核心)固定失蹤堆棧跟蹤事件日誌。

磚11.2運行時

看到磚運行時的11.2(不支持)。

• 2023年2月28日

  • (火花- 42286)[SQL]撤退之前codegen代碼路徑的複雜expr

  • (火花- 42346)子查詢合並後[SQL]重寫不同的骨料

  • 操作係統安全更新。

• 2023年2月16日

  • 用戶現在可以讀和寫一些三角洲表,要求讀者版本3和作家版本7,通過使用磚運行時的9.1或更高版本。成功,表功能表中列出的協議必須由磚的當前版本支持運行時。

  • 同步命令支持同步蜂巢Metastore重新創建表。如果HMS表同步之前統一目錄然後刪除並重新創建,隨後re-sync將工作而不是扔TABLE_ALREADY_EXISTS狀態代碼。

  • (火花- 41219)[SQL] IntegralDivide使用十進製(1,0)來表示0

  • 操作係統安全更新。

• 2023年1月31日

  • 表類型的JDBC表默認現在外部。

  • (火花- 41379)[SS] [PYTHON)提供克隆引發會話在DataFrame用戶函數PySpark foreachBatch水槽

• 2023年1月18日

  • Azure突觸連接器現在返回一個更具描述性的錯誤消息,當一列或分號等名稱包含無效字符。在這種情況下,將返回以下信息:Azure突觸分析失敗的來執行的JDBC查詢生產通過的連接器。使確定列的名字做不包括任何無效的字符這樣的作為“;”或空格。

  • (火花- 41198)[SS]修複指標在流查詢CTE和DSv1流源

  • (火花- 41862)[SQL]修複正確性錯誤相關的默認值在獸人的讀者

  • (火花- 41539)[SQL]再交換數據和約束對輸出邏輯LogicalRDD的計劃

  • (火花- 41199)[SS]解決度量問題當DSv1 co-used流源和DSv2流源

  • (火花- 41339)[SQL]關閉並重新創建RocksDB寫批處理而不是清算

  • (火花- 41732)基於[SQL] [SS]應用樹各種規則SessionWindowing修剪

  • (火花- 38277)[SS]明確寫批處理後RocksDB商店的提交狀態

  • 操作係統安全更新。

• 2022年11月29日

  • 用戶可以配置前導和尾隨空白的行為寫數據時使用紅移的連接器。添加了以下選項來控製空白處理:

    • csvignoreleadingwhitespace當設置為真正的期間,除去前導空白值時寫道tempformat被設置為CSV或CSVGZIP。空白保留配置設置的時候出現假。默認情況下,這個值是真正的。

    • csvignoretrailingwhitespace當設置為真正的從價值觀,刪除空格時寫道tempformat被設置為CSV或CSVGZIP。空白保留配置設置的時候出現假。默認情況下,這個值是真正的。

  • JSON解析固定一個缺陷自動加載程序所有列左作為字符串(時cloudFiles.inferColumnTypes沒有設置或設置假)和嵌套包含的JSON對象。

  • (火花- 40906)[SQL]模式之前應該複製鑰匙插入地圖嗎

  • 操作係統安全更新。

• 2022年11月15日

  • (火花- 40646)JSON解析結構、地圖和數組已經固定,所以當一個記錄不匹配模式的一部分,其餘的記錄仍然可以正確解析,而不是返回null。為改善行為,選擇集spark.sql.json.enablePartialResults來真正的。國旗是禁用默認保存原來的行為。

  • (火花- 40618)[SQL]修複bug在MergeScalarSubqueries規則使用參考與嵌套的子查詢跟蹤

  • (火花- 40697)[SQL]添加讀字符填充覆蓋外部數據文件

  • 操作係統安全更新。

• 2022年11月1日

  • Apache commons-text 1.10.0升級。

  • 固定的一個問題,如果一個增量表有一個用戶定義的列命名_change_type,但改變數據提要殘疾人在表,數據列運行時錯誤地充滿NULL值嗎合並。

  • 固定一個運行的問題合並從源和使用99列的條件可能導致java.lang.ClassCastException:org.apache.spark.sql.vectorized.ColumnarBatch不能是投來org.apache.spark.sql.catalyst.InternalRow。

  • 固定的問題自動加載程序,文件可以複製在同一個micro-batch當allowOverwrites啟用了

  • (火花- 40596)(核心)填充ExecutorDecommission ExecutorDecommissionInfo消息

  • 操作係統安全更新。

• 2022年10月19日

  • 固定的問題複製到使用臨時憑證統一目錄啟用集群/倉庫。

  • (火花- 40213)[SQL]支持ASCII值轉換latin - 1個字符

  • 操作係統安全更新。

• 2022年10月5日

  • 用戶可以設置spark.conf.set (“spark.databricks.io.listKeysWithPrefix.azure。啟用”、“真實”)重新啟用本地ADLS Gen2汽車加載程序清單。本機清單之前關閉由於性能問題,但可能導致存儲成本的增加客戶。beplay体育app下载地址這種變化是推出了DBR 10.4和9.1在前麵的維護更新。

  • (火花- 40315)[SQL]支持url編碼/解碼內置函數和整理url-related功能

  • (火花- 40156)[SQL]url_decode ()應該返回一個錯誤類

  • (火花- 40169)不疊加鋪過濾器沒有參考數據模式

  • (火花- 40460)在選擇[SS]解決流指標_metadata

  • (火花- 40468)[SQL]修複列在CSV修剪腐敗的記錄被選中

  • (火花- 40055)[SQL] listCatalogs也應該回報spark_catalog即使defaultSessionCatalog spark_catalog實現

  • 操作係統安全更新。

• 2022年9月22日

  • (火花- 40315)[SQL] ArrayBasedMapData為文字添加hashCode ()

  • (火花- 40389)[SQL]小數不能向上的積分類型如果演員能溢出

  • (火花- 40380)[SQL]修正常數合並InvokeLike避免non-serializable文字嵌入到計劃中

  • (火花- 40066)[SQL](後續)檢查ElementAt之前解決它的數據類型

  • (火花- 40109)[SQL]新的SQL函數:get ()

  • (火花- 40066)[SQL] ANSI模式:無效訪問地圖上總是返回null列

  • (火花- 40089)[SQL]修複排序十進製類型

  • (火花- 39887)[SQL] RemoveRedundantAliases應該保持獨特的別名,使投影的輸出節點

  • (火花- 40152)[SQL]修複split_part codegen編譯問題

  • (火花- 40235)(核心)使用可中斷鎖而不是同步Executor.updateDependencies ()

  • (火花- 40212)[SQL] SparkSQL castPartValue不妥善處理字節,短,或浮動

  • (火花- 40218)[SQL]分組應該保存分組列集

  • (火花- 35542)(ML)解決辦法:Bucketizer創建多個列的參數

  • (火花- 40079)添加輸入為空inputCols驗證輸入的情況

  • (火花- 39912)火星- 39828[SQL]完善CatalogImpl

磚11.1運行時

看到磚運行時的11.1(不支持)。

• 2023年1月31日

  • (火花- 41379)[SS] [PYTHON)提供克隆引發會話在DataFrame用戶函數PySpark foreachBatch水槽

  • 各種各樣的bug修複。

• 2023年1月18日

  • Azure突觸連接器現在返回一個更具描述性的錯誤消息,當一列或分號等名稱包含無效字符。在這種情況下,將返回以下信息:Azure突觸分析失敗的來執行的JDBC查詢生產通過的連接器。使確定列的名字做不包括任何無效的字符這樣的作為“;”或空格。

  • (火花- 41198)[SS]修複指標在流查詢CTE和DSv1流源

  • (火花- 41862)[SQL]修複正確性錯誤相關的默認值在獸人的讀者

  • (火花- 41199)[SS]解決度量問題當DSv1 co-used流源和DSv2流源

  • (火花- 41339)[SQL]關閉並重新創建RocksDB寫批處理而不是清算

  • (火花- 41732)基於[SQL] [SS]應用樹各種規則SessionWindowing修剪

  • (火花- 38277)[SS]明確寫批處理後RocksDB商店的提交狀態

  • 操作係統安全更新。

• 2022年11月29日

  • 用戶可以配置前導和尾隨空白的行為寫數據時使用紅移的連接器。添加了以下選項來控製空白處理:

    • csvignoreleadingwhitespace當設置為真正的期間,除去前導空白值時寫道tempformat被設置為CSV或CSVGZIP。空白保留配置設置的時候出現假。默認情況下,這個值是真正的。

    • csvignoretrailingwhitespace當設置為真正的從價值觀,刪除空格時寫道tempformat被設置為CSV或CSVGZIP。空白保留配置設置的時候出現假。默認情況下,這個值是真正的。

  • JSON解析固定一個缺陷自動加載程序所有列左作為字符串(時cloudFiles.inferColumnTypes沒有設置或設置假)和嵌套包含的JSON對象。

  • (火花- 39650)[SS]修複錯誤的價值模式在線重複數據刪除的向後兼容性

  • 操作係統安全更新。

• 2022年11月15日

  • (火花- 40646)JSON解析結構、地圖和數組已經固定,所以當一個記錄不匹配模式的一部分,剩下的記錄仍然可以正確解析,而不是返回null。為改善行為,選擇集spark.sql.json.enablePartialResults來真正的。國旗是禁用默認保存原來的行為。

  • 操作係統安全更新。

• 2022年11月1日

  • Apache commons-text 1.10.0升級。

  • 固定的一個問題,如果一個增量表有一個用戶定義的列命名_change_type,但改變數據提要殘疾人在表,數據列運行時錯誤地充滿NULL值嗎合並。

  • 固定一個運行的問題合並從源和使用99列的條件可能導致java.lang.ClassCastException:org.apache.spark.sql.vectorized.ColumnarBatch不能是投來org.apache.spark.sql.catalyst.InternalRow。

  • 固定的問題自動加載程序,文件可以複製在同一個micro-batch當allowOverwrites啟用了

  • (火花- 40697)[SQL]添加讀字符填充覆蓋外部數據文件

  • (火花- 40596)(核心)填充ExecutorDecommission ExecutorDecommissionInfo消息

  • 操作係統安全更新。

• 2022年10月18日

  • 固定的問題複製到使用臨時憑證統一目錄啟用集群/倉庫。

  • (火花- 40213)[SQL]支持ASCII值轉換latin - 1個字符

  • 操作係統安全更新。

• 2022年10月5日

  • 用戶可以設置spark.conf.set (“spark.databricks.io.listKeysWithPrefix.azure。啟用”、“真實”)重新啟用本地ADLS Gen2汽車加載程序清單。本機清單之前關閉由於性能問題,但可能導致存儲成本的增加客戶。beplay体育app下载地址這種變化是推出了DBR 10.4和9.1在前麵的維護更新。

  • (火花- 40169)不疊加鋪過濾器沒有參考數據模式

  • (火花- 40460)在選擇[SS]解決流指標_metadata

  • (火花- 40468)[SQL]修複列在CSV修剪腐敗的記錄被選中

  • (火花- 40055)[SQL] listCatalogs也應該回報spark_catalog即使defaultSessionCatalog spark_catalog實現

  • 操作係統安全更新。

• 2022年9月22日

  • (火花- 40315)[SQL] ArrayBasedMapData為文字添加hashCode ()

  • (火花- 40380)[SQL]修正常數合並InvokeLike避免non-serializable文字嵌入到計劃中

  • (火花- 40089)[SQL]修複排序十進製類型

  • (火花- 39887)[SQL] RemoveRedundantAliases應該保持獨特的別名,使投影的輸出節點

  • (火花- 40152)[SQL]修複split_part codegen編譯問題

• 2022年9月6日

  • 我們更新了許可模型在表訪問控製表(acl),因此隻有修改權限需要改變表的模式或表和ALTER Table屬性。以前,這些操作需要用戶自己的桌子上。所有權仍然需要授予權限表,改變它的所有者,改變其位置,或重命名它。這種變化使表acl的權限模型更符合統一目錄。

  • (火花- 40235)(核心)使用可中斷鎖而不是同步Executor.updateDependencies ()

  • (火花- 40212)[SQL] SparkSQL castPartValue不妥善處理字節,短,或浮動

  • (火花- 40218)[SQL]分組應該保存分組列集

  • (火花- 39976)[SQL] ArrayIntersect應該在左表達式正確處理null

  • (火花- 40053)[心][SQL][測試]添加假設動態取消案例需要Python運行時環境

  • (火花- 35542)(核心)(ML)解決辦法:Bucketizer創建多個列的參數splitsArray inputCols outputCols不能加載後保存

  • (火花- 40079)(核心)添加輸入為空inputCols驗證輸入的情況

• 2022年8月24日

  • 股票、提供者和接受者現在支持SQL命令改變所有者,評論,重命名

  • (火花- 39983)(核心)[SQL]不緩存非係列化廣播在司機的關係

  • (火花- 39912)(火花- 39828)[SQL]完善CatalogImpl

  • (火花- 39775)(核心)(AVRO)禁用驗證解析AVRO模式時的默認值

  • (火花- 39806)固定問題查詢訪問元數據在分區表結構崩潰

  • (火花- 39867)全球限製不應繼承OrderPreservingUnaryNode [SQL]

  • (火花- 39962)(PYTHON] [SQL]應用投影當組屬性是空的

  • (火花- 39839)[SQL]處理特殊情況的空變長十進製與非零offsetAndSize UnsafeRow結構完整性檢查

  • (火花- 39713)[SQL] ANSI模式:添加使用try_element_at INVALID_ARRAY_INDEX錯誤的建議

  • (火花- 39847)在RocksDBLoader.loadLibrary [SS]解決競態條件()如果調用者線程中斷

  • (火花- 39731)[SQL]在CSV和JSON數據源解決問題時,在“名稱”格式解析日期更正時間解析器的政策

  • 操作係統安全更新。

• 2022年8月10日,

  • δ表與表的訪問控製,通過DML語句,如自動模式演化插入和合並現在是對所有用戶可用嗎修改權限表等。此外,執行模式演化所需權限複製成現在降低了從老板來修改與其他命令的一致性。這些變化使表ACL的安全模型更符合其他操作如取代一個表。

  • (火花- 39889)提高除0的錯誤消息

  • (火花- 39795)[SQL]新的SQL函數:try_to_timestamp

  • (火花- 39749)總是使用簡單的字符串表示在鑄造十進製ANSI模式下字符串

  • (火花- 39625)重命名df。作為來df.to

  • (火花- 39787)[SQL]使用錯誤類to_timestamp解析錯誤的功能

  • (火花- 39625)[SQL]添加Dataset.as (StructType)

  • (火花- 39689)支持2-charslineSep在CSV數據源

  • (火花- 39579)PYTHON [SQL] [] [R]使ListFunctions / getFunction / functionExists兼容3層名稱空間

  • (火花- 39702)(核心)減少內存開銷TransportCipher共享byteRawChannel EncryptedMessage使用美元

  • (火花- 39575)[AVRO]添加ByteBuffer #後倒帶ByteBuffer # AvroDeserializer

  • (火花- 39265)[SQL]當啟用SPARK_ANSI_SQL_MODE修複測試失敗

  • (火花- 39441)[SQL]加速DeduplicateRelations

  • (火花- 39497)[SQL]提高失蹤的分析異常映射鍵列

  • (火花- 39476)[SQL]禁用打開時優化鑄從長/雙浮動或整數浮動

  • (火花- 39434)[SQL]數組索引時提供運行時錯誤查詢上下文邊界

磚11.0運行時

看到磚運行時的11.0(不支持)。

• 2022年11月29日

  • 用戶可以配置前導和尾隨空白的行為寫數據時使用紅移的連接器。添加了以下選項來控製空白處理:

    • csvignoreleadingwhitespace當設置為真正的期間,除去前導空白值時寫道tempformat被設置為CSV或CSVGZIP。空白保留配置設置的時候出現假。默認情況下,這個值是真正的。

    • csvignoretrailingwhitespace當設置為真正的從價值觀,刪除空格時寫道tempformat被設置為CSV或CSVGZIP。空白保留配置設置的時候出現假。默認情況下,這個值是真正的。

  • JSON解析固定一個缺陷自動加載程序所有列左作為字符串(時cloudFiles.inferColumnTypes沒有設置或設置假)和嵌套包含的JSON對象。

  • (火花- 39650)[SS]修複錯誤的價值模式在線重複數據刪除的向後兼容性

  • 操作係統安全更新。

• 2022年11月15日

  • (火花- 40646)JSON解析結構、地圖和數組已經固定,所以當一個記錄不匹配模式的一部分,其餘的記錄仍然可以正確解析,而不是返回null。為改善行為,選擇集spark.sql.json.enablePartialResults來真正的。國旗是禁用默認保存原來的行為。

• 2022年11月1日

  • Apache commons-text 1.10.0升級。

  • 固定的一個問題,如果一個增量表有一個用戶定義的列命名_change_type,但改變數據提要殘疾人在表,數據列運行時錯誤地充滿NULL值嗎合並。

  • 固定的問題自動加載程序,文件可以複製在同一個micro-batch當allowOverwrites啟用了

  • (火花- 40697)[SQL]添加讀字符填充覆蓋外部數據文件

  • (火花- 40596)(核心)填充ExecutorDecommission ExecutorDecommissionInfo消息

  • 操作係統安全更新。

• 2022年10月18日

  • (火花- 40213)[SQL]支持ASCII值轉換latin - 1個字符

  • 操作係統安全更新。

• 2022年10月5日

  • 用戶可以設置spark.conf.set (“spark.databricks.io.listKeysWithPrefix.azure。啟用”、“真實”)重新啟用本地ADLS Gen2汽車加載程序清單。本機清單之前關閉由於性能問題,但可能導致存儲成本的增加客戶。beplay体育app下载地址這種變化是推出了DBR 10.4和9.1在前麵的維護更新。

  • (火花- 40169)不疊加鋪過濾器沒有參考數據模式

  • (火花- 40460)在選擇[SS]解決流指標_metadata

  • (火花- 40468)[SQL]修複列在CSV修剪腐敗的記錄被選中

  • 操作係統安全更新。

• 2022年9月22日

  • (火花- 40315)[SQL] ArrayBasedMapData為文字添加hashCode ()

  • (火花- 40380)[SQL]修正常數合並InvokeLike避免non-serializable文字嵌入到計劃中

  • (火花- 40089)[SQL]修複排序十進製類型

  • (火花- 39887)[SQL] RemoveRedundantAliases應該保持獨特的別名,使投影的輸出節點

  • (火花- 40152)[SQL]修複split_part codegen編譯問題

• 2022年9月6日

  • (火花- 40235)(核心)使用可中斷鎖而不是同步Executor.updateDependencies ()

  • (火花- 40212)[SQL] SparkSQL castPartValue不妥善處理字節,短,或浮動

  • (火花- 40218)[SQL]分組應該保存分組列集

  • (火花- 39976)[SQL] ArrayIntersect應該在左表達式正確處理null

  • (火花- 40053)[心][SQL][測試]添加假設動態取消案例需要Python運行時環境

  • (火花- 35542)(核心)(ML)解決辦法:Bucketizer創建多個列的參數splitsArray inputCols outputCols不能加載後保存

  • (火花- 40079)(核心)添加輸入為空inputCols驗證輸入的情況

• 2022年8月24日

  • (火花- 39983)(核心)[SQL]不緩存非係列化廣播在司機的關係

  • (火花- 39775)(核心)(AVRO)禁用驗證解析AVRO模式時的默認值

  • (火花- 39806)固定問題查詢訪問元數據在分區表結構崩潰

  • (火花- 39867)全球限製不應繼承OrderPreservingUnaryNode [SQL]

  • (火花- 39962)(PYTHON] [SQL]應用投影當組屬性是空的

  • 操作係統安全更新。

• 2022年8月9日

  • (火花- 39713)[SQL] ANSI模式:添加使用try_element_at INVALID_ARRAY_INDEX錯誤的建議

  • (火花- 39847)在RocksDBLoader.loadLibrary解決競態條件()如果調用者線程中斷

  • (火花- 39731)[SQL]在CSV和JSON數據源解決問題時,在“名稱”格式解析日期更正時間解析器的政策

  • (火花- 39889)提高除0的錯誤消息

  • (火花- 39795)[SQL]新的SQL函數:try_to_timestamp

  • (火花- 39749)總是使用簡單的字符串表示在鑄造十進製ANSI模式下字符串

  • (火花- 39625)[SQL]添加Dataset.to (StructType)

  • (火花- 39787)[SQL]使用錯誤類to_timestamp解析錯誤的功能

  • 操作係統安全更新。

• 2022年7月27日,

  • (火花- 39689)支持2-charslineSep在CSV數據源

  • (火花- 39104)[SQL] InMemoryRelation # isCachedColumnBuffersLoaded應該是線程安全的

  • (火花- 39702)(核心)減少內存開銷TransportCipher共享byteRawChannel EncryptedMessage使用美元

  • (火花- 39575)[AVRO]添加ByteBuffer #後倒帶ByteBuffer # AvroDeserializer

  • (火花- 39497)[SQL]提高失蹤的分析異常映射鍵列

  • (火花- 39441)[SQL]加速DeduplicateRelations

  • (火花- 39476)[SQL]禁用打開時優化鑄從長/雙浮動或整數浮動

  • (火花- 39434)[SQL]數組索引時提供運行時錯誤查詢上下文邊界

  • (火花- 39570)[SQL]內聯表應該允許表達式與別名

  • 操作係統安全更新。

• 2022年7月13日

  • 使三角洲合並操作結果一致的來源是不確定的。

  • 固定的問題cloud_files_state TVF當運行在non-DBFS路徑。

  • 禁用自動加載器使用本地雲api對Azure目錄清單。

  • (火花- 38796)[SQL]更新to_number和try_to_number功能允許公關與正數

  • (火花- 39272)[SQL]增加查詢上下文的初始位置1

  • (火花- 39419)[SQL]修複ArraySort比較器返回null時拋出異常

  • 操作係統安全更新。

• 2022年7月5日

  • 改進的一係列錯誤類的錯誤消息。

  • (火花- 39451)[SQL]支持鑄造間隔積分ANSI模式

  • (火花- 39361)不要使用Log4J2擴展throwable轉換模式的默認日誌配置

  • (火花- 39354)[SQL]確保顯示表或視圖不發現即使有dataTypeMismatchError有關過濾器在同一時間

  • (火花- 38675)(核心)解決種族在BlockInfoManager解鎖

  • (火花- 39392)[SQL]提煉ANSI try_ *函數錯誤消息提示

  • (火花- 39214)[SQL][3.3]改善錯誤有關

  • (火花- 37939)[SQL]使用錯誤類解析錯誤的屬性

  • (火花- 39085)[SQL]的錯誤消息INCONSISTENT_BEHAVIOR_CROSS_VERSION對error-classes.json

  • (火花- 39376)[SQL]隱藏重複的明星擴張子查詢中的列別名從自然/使用加入

  • (火花- 39283)(核心)解決僵局TaskMemoryManager和UnsafeExternalSorter.SpillableIterator之間

  • (火花- 39285)[SQL]引發閱讀文件時不應檢查字段名稱

  • 操作係統安全更新。

磚10.5運行時

看到磚運行時的10.5(不支持)。

• 2022年11月1日

  • 固定的一個問題,如果一個增量表有一個用戶定義的列命名_change_type,但改變數據提要殘疾人在表,數據列運行時錯誤地充滿NULL值嗎合並。

  • (火花- 40697)[SQL]添加讀字符填充覆蓋外部數據文件

  • (火花- 40596)(核心)填充ExecutorDecommission ExecutorDecommissionInfo消息

  • 操作係統安全更新。

• 2022年10月18日

  • 操作係統安全更新。

• 2022年10月5日

  • 用戶可以設置spark.conf.set (“spark.databricks.io.listKeysWithPrefix.azure。啟用”、“真實”)重新啟用本地ADLS Gen2汽車加載程序清單。本機清單之前關閉由於性能問題,但可能導致存儲成本的增加客戶。beplay体育app下载地址這種變化是推出了DBR 10.4和9.1在前麵的維護更新。

  • reload4j已經升級到1.2.19修複漏洞。

  • (火花- 40460)在選擇[SS]解決流指標_metadata

  • (火花- 40468)[SQL]修複列在CSV修剪腐敗的記錄被選中

  • 操作係統安全更新。

• 2022年9月22日

  • (火花- 40315)[SQL] ArrayBasedMapData為文字添加hashCode ()

  • (火花- 40213)[SQL]支持ASCII值轉換latin - 1個字符

  • (火花- 40380)[SQL]修正常數合並InvokeLike避免non-serializable文字嵌入到計劃中

  • (火花- 38404)[SQL]時提高CTE決議一個嵌套CTE外部CTE的引用

  • (火花- 40089)[SQL]修複排序十進製類型

  • (火花- 39887)[SQL] RemoveRedundantAliases應該保持獨特的別名,使投影的輸出節點

  • 操作係統安全更新。

• 2022年9月6日

  • (火花- 40235)(核心)使用可中斷鎖而不是同步Executor.updateDependencies ()

  • (火花- 39976)[SQL] ArrayIntersect應該在左表達式正確處理null

  • (火花- 40053)[心][SQL][測試]添加假設動態取消案例需要Python運行時環境

  • (火花- 35542)(核心)(ML)解決辦法:Bucketizer創建多個列的參數splitsArray inputCols outputCols不能加載後保存

  • (火花- 40079)(核心)添加輸入為空inputCols驗證輸入的情況

• 2022年8月24日

  • (火花- 39983)(核心)[SQL]不緩存非係列化廣播在司機的關係

  • (火花- 39775)(核心)(AVRO)禁用驗證解析AVRO模式時的默認值

  • (火花- 39806)固定問題查詢訪問元數據在分區表結構崩潰

  • (火花- 39962)(PYTHON] [SQL]應用投影當組屬性是空的

  • (火花- 37643)[SQL]當charVarcharAsString是真的,char數據類型謂詞查詢應該跳過rpadding規則

  • 操作係統安全更新。

• 2022年8月9日

  • (火花- 39847)在RocksDBLoader.loadLibrary解決競態條件()如果調用者線程中斷

  • (火花- 39731)[SQL]在CSV和JSON數據源解決問題時,在“名稱”格式解析日期更正時間解析器的政策

  • 操作係統安全更新。

• 2022年7月27日,

  • (火花- 39625)[SQL]添加Dataset.as (StructType)

  • (火花- 39689)支持2-charslineSep在CSV數據源

  • (火花- 39104)[SQL] InMemoryRelation # isCachedColumnBuffersLoaded應該是線程安全的

  • (火花- 39570)[SQL]內聯表應該允許表達式與別名

  • (火花- 39702)(核心)減少內存開銷TransportCipher共享byteRawChannel EncryptedMessage使用美元

  • (火花- 39575)[AVRO]添加ByteBuffer #後倒帶ByteBuffer # AvroDeserializer

  • (火花- 39476)[SQL]禁用打開時優化鑄從長/雙浮動或整數浮動

  • 操作係統安全更新。

• 2022年7月13日

  • 使三角洲合並操作結果一致的來源是不確定的。

  • (火花- 39355)[SQL]構建UnresolvedAttribute單柱使用引用

  • (火花- 39548)[SQL] CreateView命令窗口查詢子句打錯了窗口定義沒有發現問題

  • (火花- 39419)[SQL]修複ArraySort比較器返回null時拋出異常

  • 禁用自動加載器使用本地雲api對Azure目錄清單。

  • 操作係統安全更新。

• 2022年7月5日

  • (火花- 39376)[SQL]隱藏重複的明星擴張子查詢中的列別名從自然/使用加入

  • 操作係統安全更新。

• 2022年6月15日

  • (火花- 39283)(核心)解決僵局TaskMemoryManager和UnsafeExternalSorter.SpillableIterator之間

  • (火花- 39285)[SQL]引發閱讀文件時不應檢查字段名稱

  • (火花- 34096)[SQL]提高性能對於nth_value忽略null /抵消窗口

  • (火花- 36718)[SQL]跟蹤解決isExtractOnly檢查CollapseProject

• 2022年6月2日

  • (火花- 39166)[SQL]提供運行時錯誤查詢上下文WSCG時二進製算術

  • (火花- 39093)[SQL]避免codegen編譯錯誤當year-month間隔或白天間隔除以一個積分

  • (火花- 38990)[SQL]避免NullPointerException評估date_trunc / trunc格式時作為參考

  • 操作係統安全更新。

• 2022年5月18日

  • 修複一個潛在的本機內存泄漏的自動加載程序。

  • (火花- 38868)[SQL]不傳播異常過濾器謂詞時優化外部連接

  • (火花- 38796)[SQL]實現to_number和try_to_number SQL函數根據一項新的規範

  • (火花- 38918)[SQL]嵌套列修剪應該過濾掉屬性不屬於當前的關係

  • (火花- 38929)[SQL]在ANSI改善鑄造失敗的錯誤消息

  • (火花- 38926)[SQL]輸出錯誤消息在SQL風格的類型

  • (火花- 39084)[PYSPARK]修複df.rdd.isEmpty()通過使用TaskContext停止迭代器任務完成

  • (火花- 32268)[SQL]添加ColumnPruning injectBloomFilter

  • (火花- 38908)[SQL]提供運行時錯誤的查詢上下文鑄件從字符串到數量/日期/時間戳/布爾

  • (火花- 39046)[SQL]如果TreeNode上下文返回一個空字符串。起源是錯誤的設置

  • (火花- 38974)[SQL]過濾器中與給定的數據庫名稱注冊函數列表功能

  • (火花- 38762)[SQL]提供查詢的上下文在十進製溢出錯誤

  • (火花- 38931)[SS]創建dfs根目錄為RocksDBFileManager未知數量的鑰匙1日檢查站

  • (火花- 38992)(核心)避免使用bash ShellBasedGroupsMappingProvider - c

  • (火花- 38716)[SQL]提供查詢上下文映射鍵不存在錯誤

  • (火花- 38889)[SQL]編譯布爾列過濾器使用該數據源的一些類型

  • (火花- 38698)[SQL]提供運行時錯誤的查詢上下文/ Pmod分裂/ Div /提醒

  • (火花- 38823)[SQL]使NewInstancenon-foldable修複聚合緩衝腐敗問題

  • (火花- 38809)[SS]實現選項跳過null值對稱散列stream-stream連接的實現

  • (火花- 38676)[SQL]提供SQL查詢的上下文在加/減/乘的運行時錯誤消息

  • (火花- 38677)[PYSPARK] Python MonitorThread應該檢測死鎖阻塞I / O

  • 操作係統安全更新。

磚10.4運行時

看到磚運行時10.4 LTS。

• 2023年6月15日

  • Snowflake-jdbc庫升級3.13.29解決安全問題。

  • (火花- 43098)[SQL]修複正確性計數錯誤當標量子查詢group by子句

  • (火花- 40862)[SQL]支持非聚集在RewriteCorrelatedScalarSubquery子查詢

  • (火花- 43156)(火花- 43098)[SQL]擴展標量子查詢統計錯誤測試decorrelateInnerQuery禁用

  • 操作係統安全更新。

• 2023年6月2日

  • 的JSON解析器failOnUnknownFields模式中的記錄下降DROPMALFORMED模式和直接失敗FAILFAST模式。

  • 修正了在數據解析JSON獲救,防止UnknownFieldException。

  • 修正了在自動加載程序,不同的源文件格式不一致,所提供的模式不包括推斷分區。這個問題可能會導致意想不到的失敗當閱讀文件缺失列推斷分區模式。

  • (火花- 43404)(補丁)跳過重用sst文件RocksDB相同版本的狀態存儲,以避免ID不匹配錯誤。

  • (火花- 43413)[SQL]固定在子查詢ListQuerynullability。

  • 操作係統安全更新。

• 2023年5月17日

  • 拚花掃描現在強大的反對OOMs當掃描異常結構化文件通過動態調整批量大小。文件元數據分析再預先降低批量大小,降低任務重試最後安全網。

  • (火花- 41520)[SQL]分裂AND_OR樹模式分離和和或。

  • (火花- 43190)[SQL]ListQuery.childOutput現在是符合二次輸出。

  • 操作係統安全更新。

• 2023年4月25日

  • 沒有一個

  • (火花- 42928)[SQL]使resolvePersistentFunction同步

  • 操作係統安全更新。

• 2023年4月11日

  • 固定一臭蟲,其自動加載程序模式演化可以進入無限不循環,當檢測到一個新列的模式嵌套的JSON對象。

  • (火花- 42937)[SQL]PlanSubqueries現在集InSubqueryExec # shouldBroadcast為true。

  • (火花- 42967)(核心)修複SparkListenerTaskStart。stageAttemptId當任務開始階段後取消。

• 2023年3月29日

  • (火花- 42668)[SS]捕捉異常而試圖關閉壓縮流HDFSStateStoreProvider中止

  • (火花- 42635)[SQL]修複…

  • 操作係統安全更新。

• 2023年3月14日,

  • (火花- 41162)[SQL]解決反和semi-join自聚合

  • (火花- 33206)(核心)修複洗牌索引緩存體重計算小索引文件

  • (火花- 42484)[SQL] UnsafeRowUtils更好的錯誤消息

  • 各種各樣的bug修複。

• 2023年2月28日

  • 支持生成列yyyy-MM-dd date_format。這種改變增加了支持分區修剪yyyy-MM-dd作為date_format生成的列。

  • 用戶現在可以讀和寫一些三角洲表,要求讀者版本3和作家版本7,通過使用磚運行時9.1 LTS或更高版本。成功,表功能表中列出的協議必須由磚的當前版本支持運行時。

  • 支持生成列yyyy-MM-dd date_format。這種改變增加了支持分區修剪yyyy-MM-dd作為date_format生成的列。

  • 操作係統安全更新。

• 2023年2月16日

  • (火花- 30220)使使用/存在於子查詢過濾器外的節點

  • 操作係統安全更新。

• 2023年1月31日

  • 表類型的JDBC表默認現在外部。

• 2023年1月18日

  • Azure突觸連接器現在返回一個更具描述性的錯誤消息,當一列或分號等名稱包含無效字符。在這種情況下,將返回以下信息:Azure突觸分析失敗的來執行的JDBC查詢生產通過的連接器。使確定列的名字做不包括任何無效的字符這樣的作為“;”或空格。

  • (火花- 38277)[SS]明確寫批處理後RocksDB商店的提交狀態

  • (火花- 41199)[SS]解決度量問題當DSv1 co-used流源和DSv2流源

  • (火花- 41198)[SS]修複指標在流查詢CTE和DSv1流源

  • (火花- 41339)[SQL]關閉並重新創建RocksDB寫批處理而不是清算

  • (火花- 41732)基於[SQL] [SS]應用樹各種規則SessionWindowing修剪

  • 操作係統安全更新。

• 2022年11月29日

  • 用戶可以配置前導和尾隨空白的行為寫數據時使用紅移的連接器。添加了以下選項來控製空白處理:

    • csvignoreleadingwhitespace當設置為真正的期間,除去前導空白值時寫道tempformat被設置為CSV或CSVGZIP。空白保留配置設置的時候出現假。默認情況下,這個值是真正的。

    • csvignoretrailingwhitespace當設置為真正的從價值觀,刪除空格時寫道tempformat被設置為CSV或CSVGZIP。空白保留配置設置的時候出現假。默認情況下,這個值是真正的。

  • JSON解析固定一個缺陷自動加載程序所有列左作為字符串(時cloudFiles.inferColumnTypes沒有設置或設置假)和嵌套包含的JSON對象。

  • 操作係統安全更新。

• 2022年11月15日

  • Apache commons-text 1.10.0升級。

  • (火花- 40646)JSON解析結構、地圖和數組已經固定,所以當一個記錄不匹配模式的一部分,其餘的記錄仍然可以正確解析,而不是返回null。為改善行為,選擇集spark.sql.json.enablePartialResults來真正的。國旗是禁用默認保存原來的行為。

  • (火花- 40292)[SQL]修複列名在“arrays_zip”功能從嵌套的結構體數組是引用

  • 操作係統安全更新。

• 2022年11月1日

  • 固定的一個問題,如果一個增量表有一個用戶定義的列命名_change_type,但改變數據提要殘疾人在表,數據列運行時錯誤地充滿NULL值嗎合並。

  • 固定的問題自動加載程序,文件可以複製在同一個micro-batch當allowOverwrites啟用了

  • (火花- 40697)[SQL]添加讀字符填充覆蓋外部數據文件

  • (火花- 40596)(核心)填充ExecutorDecommission ExecutorDecommissionInfo消息

  • 操作係統安全更新。

• 2022年10月18日

  • 操作係統安全更新。

• 2022年10月5日

  • (火花- 40468)[SQL]修複列在CSV修剪腐敗的記錄被選中

  • 操作係統安全更新。

• 2022年9月22日

  • 用戶可以設置spark.conf.set (“spark.databricks.io.listKeysWithPrefix.azure。啟用”、“真實”)重新啟用本地ADLS Gen2汽車加載程序清單。本機清單之前關閉由於性能問題,但可能導致存儲成本的增加客戶。beplay体育app下载地址

  • (火花- 40315)[SQL] ArrayBasedMapData為文字添加hashCode ()

  • (火花- 40213)[SQL]支持ASCII值轉換latin - 1個字符

  • (火花- 40380)[SQL]修正常數合並InvokeLike避免non-serializable文字嵌入到計劃中

  • (火花- 38404)[SQL]時提高CTE決議一個嵌套CTE外部CTE的引用

  • (火花- 40089)[SQL]修複排序十進製類型

  • (火花- 39887)[SQL] RemoveRedundantAliases應該保持獨特的別名,使投影的輸出節點

• 2022年9月6日

  • (火花- 40235)(核心)使用可中斷鎖而不是同步Executor.updateDependencies ()

  • (火花- 40218)[SQL]分組應該保存分組列集

  • (火花- 39976)[SQL] ArrayIntersect應該在左表達式正確處理null

  • (火花- 40053)[心][SQL][測試]添加假設動態取消案例需要Python運行時環境

  • (火花- 35542)(核心)(ML)解決辦法:Bucketizer創建多個列的參數splitsArray inputCols outputCols不能加載後保存

  • (火花- 40079)(核心)添加輸入為空inputCols驗證輸入的情況

• 2022年8月24日

  • (火花- 39983)(核心)[SQL]不緩存非係列化廣播在司機的關係

  • (火花- 39775)(核心)(AVRO)禁用驗證解析AVRO模式時的默認值

  • (火花- 39962)(PYTHON] [SQL]應用投影當組屬性是空的

  • (火花- 37643)[SQL]當charVarcharAsString是真的,char數據類型謂詞查詢應該跳過rpadding規則

  • 操作係統安全更新。

• 2022年8月9日

  • (火花- 39847)在RocksDBLoader.loadLibrary解決競態條件()如果調用者線程中斷

  • (火花- 39731)[SQL]在CSV和JSON數據源解決問題時,在“名稱”格式解析日期更正時間解析器的政策

  • 操作係統安全更新。

• 2022年7月27日,

  • (火花- 39625)[SQL]添加Dataset.as (StructType)

  • (火花- 39689)支持2-charslineSep在CSV數據源

  • (火花- 39104)[SQL] InMemoryRelation # isCachedColumnBuffersLoaded應該是線程安全的

  • (火花- 39570)[SQL]內聯表應該允許表達式與別名

  • (火花- 39702)(核心)減少內存開銷TransportCipher共享byteRawChannel EncryptedMessage使用美元

  • (火花- 39575)[AVRO]添加ByteBuffer #後倒帶ByteBuffer # AvroDeserializer

  • (火花- 39476)[SQL]禁用打開時優化鑄從長/雙浮動或整數浮動

  • (火花- 38868)[SQL]不傳播異常過濾器謂詞時優化外部連接

  • 操作係統安全更新。

• 2022年7月20日

  • 使三角洲合並操作結果一致的來源是不確定的。

  • (火花- 39355)[SQL]構建UnresolvedAttribute單柱使用引用

  • (火花- 39548)[SQL] CreateView命令窗口查詢子句打錯了窗口定義沒有發現問題

  • (火花- 39419)[SQL]修複ArraySort比較器返回null時拋出異常

  • 禁用自動加載器使用本地雲api對Azure目錄清單。

  • 操作係統安全更新。

• 2022年7月5日

  • (火花- 39376)[SQL]隱藏重複的明星擴張子查詢中的列別名從自然/使用加入

  • 操作係統安全更新。

• 2022年6月15日

  • (火花- 39283)(核心)解決僵局TaskMemoryManager和UnsafeExternalSorter.SpillableIterator之間

  • (火花- 39285)[SQL]引發閱讀文件時不應檢查字段名稱

  • (火花- 34096)[SQL]提高性能對於nth_value忽略null /抵消窗口

  • (火花- 36718)[SQL]跟蹤解決isExtractOnly檢查CollapseProject

• 2022年6月2日

  • (火花- 39093)[SQL]避免codegen編譯錯誤當year-month間隔或白天間隔除以一個積分

  • (火花- 38990)[SQL]避免NullPointerException評估date_trunc / trunc格式時作為參考

  • 操作係統安全更新。

• 2022年5月18日

  • 修複一個潛在的本機內存泄漏的自動加載程序。

  • (火花- 38918)[SQL]嵌套列修剪應該過濾掉屬性不屬於當前的關係

  • (火花- 37593)(核心)默認頁麵大小減少LONG_ARRAY_OFFSET如果G1GC和ON_HEAP使用

  • (火花- 39084)[PYSPARK]修複df.rdd.isEmpty()通過使用TaskContext停止迭代器任務完成

  • (火花- 32268)[SQL]添加ColumnPruning injectBloomFilter

  • (火花- 38974)[SQL]過濾器中與給定的數據庫名稱注冊函數列表功能

  • (火花- 38931)[SS]創建dfs根目錄為RocksDBFileManager未知數量的鑰匙1日檢查站

  • 操作係統安全更新。

• 2022年4月19日

  • 從版本1.11.655 1.12.1899升級Java AWS SDK。

  • 固定一個問題與notebook-scoped庫不工作在批處理流媒體工作。

  • (火花- 38616)[SQL]跟蹤SQL查詢文本TreeNode催化劑

  • 操作係統安全更新。

• 2022年4月6日

  • 下麵的火花與這個版本現在可以使用SQL函數:

    • timestampadd ()和返回():添加一個時間單位指定一個時間戳的表情。

    • timestampdiff ()和datediff ():計算兩個時間戳之間的時差在指定單元表達式。

  • 1.12.2 Parquet-MR已經升級

  • 改進支持廣泛的模式在鋪文件

  • (火花- 38631)(核心)使用java實現un-tarring Utils.unpack

  • (火花- 38509)(火花- 38481)擇優挑選3 timestmapadd / diff相關變化

  • (火花- 38523)[SQL]修複指的腐敗記錄列從CSV

  • (火花- 38237)[SQL] [SS]允許ClusteredDistribution需要完整的集群鍵

  • (火花- 38437)從數據源[SQL]寬大的序列化datetime

  • (火花- 38180)[SQL]允許安全up-cast等式謂詞表達式相關

  • (火花- 38155)[SQL]不允許不同的骨料在橫向與不支持的子查詢謂詞

  • 操作係統安全更新。

磚運行時的10.3(不支持)

看到磚運行時的10.3(不支持)。

• 2022年7月27日,

  • (火花- 39689)支持2-charslineSep在CSV數據源

  • (火花- 39104)[SQL] InMemoryRelation # isCachedColumnBuffersLoaded應該是線程安全的

  • (火花- 39702)(核心)減少內存開銷TransportCipher共享byteRawChannel EncryptedMessage使用美元

  • 操作係統安全更新。

• 2022年7月20日

  • 使三角洲合並操作結果一致的來源是不確定的。

  • (火花- 39476)[SQL]禁用打開時優化鑄從長/雙浮動或整數浮動

  • (火花- 39548)[SQL] CreateView命令窗口查詢子句打錯了窗口定義沒有發現問題

  • (火花- 39419)[SQL]修複ArraySort比較器返回null時拋出異常

  • 操作係統安全更新。

• 2022年7月5日

  • (火花- 39376)[SQL]隱藏重複的明星擴張子查詢中的列別名從自然/使用加入

  • 操作係統安全更新。

• 2022年6月15日

  • (火花- 39283)(核心)解決僵局TaskMemoryManager和UnsafeExternalSorter.SpillableIterator之間

  • (火花- 39285)[SQL]引發閱讀文件時不應檢查字段名稱

  • (火花- 34096)[SQL]提高性能對於nth_value忽略null /抵消窗口

  • (火花- 36718)[SQL]跟蹤解決isExtractOnly檢查CollapseProject

• 2022年6月2日

  • (火花- 38990)[SQL]避免NullPointerException評估date_trunc / trunc格式時作為參考

  • 操作係統安全更新。

• 2022年5月18日

  • 修複一個潛在的本機內存泄漏的自動加載程序。

  • (火花- 38918)[SQL]嵌套列修剪應該過濾掉屬性不屬於當前的關係

  • (火花- 37593)(核心)默認頁麵大小減少LONG_ARRAY_OFFSET如果G1GC和ON_HEAP使用

  • (火花- 39084)[PYSPARK]修複df.rdd.isEmpty()通過使用TaskContext停止迭代器任務完成

  • (火花- 32268)[SQL]添加ColumnPruning injectBloomFilter

  • (火花- 38974)[SQL]過濾器中與給定的數據庫名稱注冊函數列表功能

  • (火花- 38889)[SQL]編譯布爾列過濾器使用該數據源的一些類型

  • 操作係統安全更新。

• 2022年5月4日

  • 從版本1.11.655 1.12.1899升級Java AWS SDK。

• 2022年4月19日

  • (火花- 38616)[SQL]跟蹤SQL查詢文本TreeNode催化劑

  • 操作係統安全更新。

• 2022年4月6日

  • (火花- 38631)(核心)使用java實現un-tarring Utils.unpack

  • 操作係統安全更新。

• 2022年3月22日

  • 改變當前工作目錄的筆記本高並發性集群表訪問控製或憑據透傳啟用用戶的主目錄。以前,工作目錄/磚/驅動程序。

  • (火花- 38437)從數據源[SQL]寬大的序列化datetime

  • (火花- 38180)[SQL]允許安全up-cast等式謂詞表達式相關

  • (火花- 38155)[SQL]不允許不同的骨料在橫向與不支持的子查詢謂詞

  • (火花- 38325)[SQL] ANSI模式:在HashJoin.extractKeyExprAt避免潛在的運行時錯誤()

• 2022年3月14日,

  • 改善在三角洲湖為空交易事務衝突檢測。

  • (火花- 38185)[SQL]解決數據不正確如果聚合函數是空的

  • (火花- 38318)[SQL]回歸時替換數據視圖

  • (火花- 38236)[SQL]絕對創建/修改表中指定的文件路徑被視為相對的

  • (火花- 35937)[SQL]從時間戳中提取日期字段應該在ANSI模式下工作

  • (火花- 34069)[SQL]殺死障礙任務應該尊重SPARK_JOB_INTERRUPT_ON_CANCEL

  • (火花- 37707)[SQL]允許存儲TimestampNTZ之間的分配和日期/時間戳

• 2022年2月23日

  • (火花- 27442)[SQL]刪除檢查字段名讀/寫數據時拚花

磚運行時的10.2(不支持)

看到磚運行時的10.2(不支持)。

• 2022年6月15日

  • (火花- 39283)(核心)解決僵局TaskMemoryManager和UnsafeExternalSorter.SpillableIterator之間

  • (火花- 39285)[SQL]引發閱讀文件時不應檢查字段名稱

  • (火花- 34096)[SQL]提高性能對於nth_value忽略null /抵消窗口

• 2022年6月2日

  • (火花- 38918)[SQL]嵌套列修剪應該過濾掉屬性不屬於當前的關係

  • (火花- 38990)[SQL]避免NullPointerException評估date_trunc / trunc格式時作為參考

  • 操作係統安全更新。

• 2022年5月18日

  • 修複一個潛在的本機內存泄漏的自動加載程序。

  • (火花- 39084)[PYSPARK]修複df.rdd.isEmpty()通過使用TaskContext停止迭代器任務完成

  • (火花- 38889)[SQL]編譯布爾列過濾器使用該數據源的一些類型

  • (火花- 38931)[SS]創建dfs根目錄為RocksDBFileManager未知數量的鑰匙1日檢查站

  • 操作係統安全更新。

• 2022年5月4日

  • 從版本1.11.655 1.12.1899升級Java AWS SDK。

• 2022年4月19日

  • 操作係統安全更新。

  • 各種各樣的bug修複。

• 2022年4月6日

  • (火花- 38631)(核心)使用java實現un-tarring Utils.unpack

  • 操作係統安全更新。

• 2022年3月22日

  • 改變當前工作目錄的筆記本高並發性集群表訪問控製或憑據透傳啟用用戶的主目錄。以前,工作目錄/磚/驅動程序。

  • (火花- 38437)從數據源[SQL]寬大的序列化datetime

  • (火花- 38180)[SQL]允許安全up-cast等式謂詞表達式相關

  • (火花- 38155)[SQL]不允許不同的骨料在橫向與不支持的子查詢謂詞

  • (火花- 38325)[SQL] ANSI模式:在HashJoin.extractKeyExprAt避免潛在的運行時錯誤()

• 2022年3月14日,

  • 改善在三角洲湖為空交易事務衝突檢測。

  • (火花- 38185)[SQL]解決數據不正確如果聚合函數是空的

  • (火花- 38318)[SQL]回歸時替換數據視圖

  • (火花- 38236)[SQL]絕對創建/修改表中指定的文件路徑被視為相對的

  • (火花- 35937)[SQL]從時間戳中提取日期字段應該在ANSI模式下工作

  • (火花- 34069)[SQL]殺死障礙任務應該尊重SPARK_JOB_INTERRUPT_ON_CANCEL

  • (火花- 37707)[SQL]允許存儲TimestampNTZ之間的分配和日期/時間戳

• 2022年2月23日

  • (火花- 37577)[SQL]修複ClassCastException: ArrayType不能為生成StructType修剪

• 2022年2月8日

  • (火花- 27442)[SQL]刪除檢查字段名讀/寫數據時拚花。

  • 操作係統安全更新。

• 2022年2月1日

  • 操作係統安全更新。

• 2022年1月26日

  • 固定一臭蟲,其並發事務三角洲表上可以提交順序non-serializable在某些罕見的情況下。

  • 固定一臭蟲,其優化命令啟用ANSI SQL方言時可能會失敗。

• 2022年1月19日

  • 介紹了支持內聯臨時憑證複製到加載源數據不需要SQL ANY_FILE權限

  • Bug修複和安全改進。

• 2021年12月20日

  • 固定一個罕見的bug,鑲花的列索引過濾。

磚運行時的10.1(不支持)

看到磚運行時的10.1(不支持)。

• 2022年6月15日

  • (火花- 39283)(核心)解決僵局TaskMemoryManager和UnsafeExternalSorter.SpillableIterator之間

  • (火花- 39285)[SQL]引發閱讀文件時不應檢查字段名稱

  • (火花- 34096)[SQL]提高性能對於nth_value忽略null /抵消窗口

• 2022年6月2日

  • 操作係統安全更新。

• 2022年5月18日

  • 修複一個潛在的本機內存泄漏的自動加載程序。

  • (火花- 39084)[PYSPARK]修複df.rdd.isEmpty()通過使用TaskContext停止迭代器任務完成

  • (火花- 38889)[SQL]編譯布爾列過濾器使用該數據源的一些類型

  • 操作係統安全更新。

• 2022年4月19日

  • (火花- 37270)[SQL]修複可折疊推入CaseWhen分支如果elseValue是空的

  • 操作係統安全更新。

• 2022年4月6日

  • (火花- 38631)(核心)使用java實現un-tarring Utils.unpack

  • 操作係統安全更新。

• 2022年3月22日

  • (火花- 38437)從數據源[SQL]寬大的序列化datetime

  • (火花- 38180)[SQL]允許安全up-cast等式謂詞表達式相關

  • (火花- 38155)[SQL]不允許不同的骨料在橫向與不支持的子查詢謂詞

  • (火花- 38325)[SQL] ANSI模式:在HashJoin.extractKeyExprAt避免潛在的運行時錯誤()

• 2022年3月14日,

  • 改善在三角洲湖為空交易事務衝突檢測。

  • (火花- 38185)[SQL]解決數據不正確如果聚合函數是空的

  • (火花- 38318)[SQL]回歸時替換數據視圖

  • (火花- 38236)[SQL]絕對創建/修改表中指定的文件路徑被視為相對的

  • (火花- 35937)[SQL]從時間戳中提取日期字段應該在ANSI模式下工作

  • (火花- 34069)[SQL]殺死障礙任務應該尊重SPARK_JOB_INTERRUPT_ON_CANCEL

  • (火花- 37707)[SQL]允許存儲TimestampNTZ之間的分配和日期/時間戳

• 2022年2月23日

  • (火花- 37577)[SQL]修複ClassCastException: ArrayType不能為生成StructType修剪

• 2022年2月8日

  • (火花- 27442)[SQL]刪除檢查字段名讀/寫數據時拚花。

  • 操作係統安全更新。

• 2022年2月1日

  • 操作係統安全更新。

• 2022年1月26日

  • 固定一臭蟲,其並發事務三角洲表上可以提交順序non-serializable在某些罕見的情況下。

  • 固定一臭蟲,其優化命令啟用ANSI SQL方言時可能會失敗。

• 2022年1月19日

  • 介紹了支持內聯臨時憑證複製到加載源數據不需要SQL ANY_FILE權限

  • 固定一個內存不足的問題在一定條件下與查詢結果緩存。

  • 固定的問題使用數據庫當用戶當前目錄切換到非默認目錄。

  • Bug修複和安全改進。

  • 操作係統安全更新。

• 2021年12月20日

  • 固定一個罕見的bug,鑲花的列索引過濾。

磚運行時的10.0(不支持)

看到磚運行時的10.0(不支持)。

• 2022年4月19日

  • (火花- 37270)[SQL]修複可折疊推入CaseWhen分支如果elseValue是空的

  • 操作係統安全更新。

• 2022年4月6日

  • (火花- 38631)(核心)使用java實現un-tarring Utils.unpack

  • 操作係統安全更新。

• 2022年3月22日

  • (火花- 38437)從數據源[SQL]寬大的序列化datetime

  • (火花- 38180)[SQL]允許安全up-cast等式謂詞表達式相關

  • (火花- 38155)[SQL]不允許不同的骨料在橫向與不支持的子查詢謂詞

  • (火花- 38325)[SQL] ANSI模式:在HashJoin.extractKeyExprAt避免潛在的運行時錯誤()

• 2022年3月14日,

  • 改善在三角洲湖為空交易事務衝突檢測。

  • (火花- 38185)[SQL]解決數據不正確如果聚合函數是空的

  • (火花- 38318)[SQL]回歸時替換數據視圖

  • (火花- 38236)[SQL]絕對創建/修改表中指定的文件路徑被視為相對的

  • (火花- 35937)[SQL]從時間戳中提取日期字段應該在ANSI模式下工作

  • (火花- 34069)[SQL]殺死障礙任務應該尊重SPARK_JOB_INTERRUPT_ON_CANCEL

  • (火花- 37707)[SQL]允許存儲TimestampNTZ之間的分配和日期/時間戳

• 2022年2月23日

  • (火花- 37577)[SQL]修複ClassCastException: ArrayType不能為生成StructType修剪

• 2022年2月8日

  • (火花- 27442)[SQL]刪除檢查字段名讀/寫數據時拚花。

  • (火花- 36905)[SQL]解決閱讀蜂巢的觀點不明確的列名

  • (火花- 37859)[SQL]修複問題,創建SQL表與火花JDBC 3.1與3.2不可讀的

  • 操作係統安全更新。

• 2022年2月1日

  • 操作係統安全更新。

• 2022年1月26日

  • 固定一臭蟲,其並發事務三角洲表上可以提交順序non-serializable在某些罕見的情況下。

  • 固定一臭蟲,其優化命令啟用ANSI SQL方言時可能會失敗。

• 2022年1月19日

  • Bug修複和安全改進。

  • 操作係統安全更新。

• 2021年12月20日

  • 固定一個罕見的bug,鑲花的列索引過濾。

• 2021年11月9日

  • 引入額外的配置的旗幟,使細粒ANSI行為的控製。

• 2021年11月4日

  • 固定一個錯誤可能導致結構化流流ArrayIndexOutOfBoundsException失敗

  • 固定一個競爭條件,可能會導致一個查詢失敗這樣一個IOExceptionjava.io.IOException:沒有文件係統為計劃或者可能會導致修改sparkContext.hadoopConfiguration在查詢不生效。

  • Apache火花連接器三角洲共享是0.2.0升級。

• 2021年11月30日

  • 固定時間戳字符串解析一個時區的問題沒有一個冒號被認為是無效的。

  • 固定一個內存不足的問題在一定條件下與查詢結果緩存。

  • 固定的問題使用數據庫當用戶當前目錄切換到非默認目錄。

磚運行時9.1 LTS

看到磚運行時9.1 LTS。

• 2023年6月15日

  • (火花- 43098)[SQL]修複正確性計數錯誤當標量子查詢group by子句

  • (火花- 43156)(火花- 43098)[SQL]擴展標量子查詢統計錯誤測試decorrelateInnerQuery禁用

  • (火花- 40862)[SQL]支持非聚集在RewriteCorrelatedScalarSubquery子查詢

  • 操作係統安全更新。

• 2023年6月2日

  • 的JSON解析器failOnUnknownFields模式中的記錄下降DROPMALFORMED模式和直接失敗FAILFAST模式。

  • 修正了在數據解析JSON獲救,防止UnknownFieldException。

  • 修正了在自動加載程序,不同的源文件格式不一致,所提供的模式不包括推斷分區。這個問題可能會導致意想不到的失敗當閱讀文件缺失列推斷分區模式。

  • (火花- 37520)[SQL]添加startswith ()和endswith ()字符串函數

  • (火花- 43413)[SQL]固定在子查詢ListQuerynullability。

  • 操作係統安全更新。

• 2023年5月17日

  • 操作係統安全更新。

• 2023年4月25日

  • 沒有一個

  • 操作係統安全更新。

• 2023年4月11日

  • 固定一臭蟲,其自動加載程序模式演化可以進入無限不循環,當檢測到一個新列的模式嵌套的JSON對象。

  • (火花- 42967)(核心)修複SparkListenerTaskStart。stageAttemptId當任務開始階段後取消。

• 2023年3月29日

  • 操作係統安全更新。

• 2023年3月14日,

  • (火花- 42484)[SQL] UnsafeRowUtils更好的錯誤消息

  • 各種各樣的bug修複。

• 2023年2月28日

  • 用戶現在可以讀和寫一些三角洲表,要求讀者版本3和作家版本7,通過使用磚運行時9.1 LTS或更高版本。成功,表功能表中列出的協議必須由磚的當前版本支持運行時。

  • 操作係統安全更新。

• 2023年2月16日

  • 操作係統安全更新。

• 2023年1月31日

  • 表類型的JDBC表默認現在外部。

• 2023年1月18日

  • 操作係統安全更新。

• 2022年11月29日

  • JSON解析固定一個缺陷自動加載程序所有列左作為字符串(時cloudFiles.inferColumnTypes沒有設置或設置假)和嵌套包含的JSON對象。

  • 操作係統安全更新。

• 2022年11月15日

  • Apache commons-text 1.10.0升級。

  • 操作係統安全更新。

  • 各種各樣的bug修複。

• 2022年11月1日

  • 固定的一個問題,如果一個增量表有一個用戶定義的列命名_change_type,但改變數據提要殘疾人在表,數據列運行時錯誤地充滿NULL值嗎合並。

  • 固定的問題自動加載程序,文件可以複製在同一個micro-batch當allowOverwrites啟用了

  • (火花- 40596)(核心)填充ExecutorDecommission ExecutorDecommissionInfo消息

  • 操作係統安全更新。

• 2022年10月18日

  • 操作係統安全更新。

• 2022年10月5日

  • 各種各樣的bug修複。

  • 操作係統安全更新。

• 2022年9月22日

  • 用戶可以設置spark.conf.set (“spark.databricks.io.listKeysWithPrefix.azure。啟用”、“真實”)重新啟用本地ADLS Gen2汽車加載程序清單。本機清單之前關閉由於性能問題,但可能導致存儲成本的增加客戶。beplay体育app下载地址

  • (火花- 40315)[SQL] ArrayBasedMapData為文字添加hashCode ()

  • (火花- 40089)[SQL]修複排序十進製類型

  • (火花- 39887)[SQL] RemoveRedundantAliases應該保持獨特的別名,使投影的輸出節點

• 2022年9月6日

  • (火花- 40235)(核心)使用可中斷鎖而不是同步Executor.updateDependencies ()

  • (火花- 35542)(核心)(ML)解決辦法:Bucketizer創建多個列的參數splitsArray inputCols outputCols不能加載後保存

  • (火花- 40079)(核心)添加輸入為空inputCols驗證輸入的情況

• 2022年8月24日

  • (火花- 39666)[SQL] UnsafeProjection使用。創建尊重spark.sql.codegen.factoryMode在ExpressionEncoder

  • (火花- 39962)(PYTHON] [SQL]應用投影當組屬性是空的

  • 操作係統安全更新。

• 2022年8月9日

  • 操作係統安全更新。

• 2022年7月27日,

  • 使三角洲合並操作結果一致的來源是不確定的。

  • (火花- 39689)支持2-charslineSep在CSV數據源

  • (火花- 39575)[AVRO]添加ByteBuffer #後倒帶ByteBuffer # AvroDeserializer

  • (火花- 37392)[SQL]推斷時修複性能缺陷產生的約束

  • 操作係統安全更新。

• 2022年7月13日

  • (火花- 39419)[SQL]修複ArraySort比較器返回null時拋出異常

  • 禁用自動加載器使用本地雲api對Azure目錄清單。

  • 操作係統安全更新。

• 2022年7月5日

  • 操作係統安全更新。

  • 各種各樣的bug修複。

• 2022年6月15日

  • (火花- 39283)(核心)解決僵局TaskMemoryManager和UnsafeExternalSorter.SpillableIterator之間

• 2022年6月2日

  • (火花- 34554)[SQL]在ColumnarMap實現copy()方法

  • 操作係統安全更新。

• 2022年5月18日

  • 修複一個潛在的本機內存泄漏的自動加載程序。

  • 從1.11.655 1.11.678升級AWS SDK版本。

  • (火花- 38918)[SQL]嵌套列修剪應該過濾掉屬性不屬於當前的關係

  • (火花- 39084)[PYSPARK]修複df.rdd.isEmpty()通過使用TaskContext停止迭代器任務完成

  • 操作係統安全更新。

• 2022年4月19日

  • 操作係統安全更新。

  • 各種各樣的bug修複。

• 2022年4月6日

  • (火花- 38631)(核心)使用java實現un-tarring Utils.unpack

  • 操作係統安全更新。

• 2022年3月22日

  • 改變當前工作目錄的筆記本高並發性集群表訪問控製或憑據透傳啟用用戶的主目錄。以前,工作目錄/磚/驅動程序。

  • (火花- 38437)從數據源[SQL]寬大的序列化datetime

  • (火花- 38180)[SQL]允許安全up-cast等式謂詞表達式相關

  • (火花- 38155)[SQL]不允許不同的骨料在橫向與不支持的子查詢謂詞

  • (火花- 27442)[SQL]刪除檢查字段名讀/寫數據時拚花

• 2022年3月14日,

  • (火花- 38236)[SQL]絕對創建/修改表中指定的文件路徑被視為相對的

  • (火花- 34069)[SQL]殺死障礙任務應該尊重SPARK_JOB_INTERRUPT_ON_CANCEL

• 2022年2月23日

  • (火花- 37859)[SQL]不檢查期間為元數據模式的比較

• 2022年2月8日

  • (火花- 27442)[SQL]刪除檢查字段名讀/寫數據時拚花。

  • 操作係統安全更新。

• 2022年2月1日

  • 操作係統安全更新。

• 2022年1月26日

  • 固定一臭蟲,其並發事務三角洲表上可以提交順序non-serializable在某些罕見的情況下。

  • 固定一臭蟲,其優化命令啟用ANSI SQL方言時可能會失敗。

• 2022年1月19日

  • Bug修複和安全改進。

  • 操作係統安全更新。

• 2021年11月4日

  • 固定一個錯誤可能導致結構化流流ArrayIndexOutOfBoundsException失敗

  • 固定一個競爭條件,可能會導致一個查詢失敗這樣一個IOExceptionjava.io.IOException:沒有文件係統為計劃或者可能會導致修改sparkContext.hadoopConfiguration在查詢不生效。

  • Apache火花連接器三角洲共享是0.2.0升級。

• 2021年10月20日

  • BigQuery連接器從0.18.1 0.22.2升級。這增加了支持BigNumeric類型。

磚運行時的9.0(不支持)

看到磚運行時的9.0(不支持)。

• 2022年2月8日

  • 操作係統安全更新。

• 2022年2月1日

  • 操作係統安全更新。

• 2022年1月26日

  • 固定一臭蟲,其優化命令啟用ANSI SQL方言時可能會失敗。

• 2022年1月19日

  • Bug修複和安全改進。

  • 操作係統安全更新。

• 2021年11月4日

  • 固定一個錯誤可能導致結構化流流ArrayIndexOutOfBoundsException失敗

  • 固定一個競爭條件,可能會導致一個查詢失敗這樣一個IOExceptionjava.io.IOException:沒有文件係統為計劃或者可能會導致修改sparkContext.hadoopConfiguration在查詢不生效。

  • Apache火花連接器三角洲共享是0.2.0升級。

• 2021年9月22日

  • 固定一個錯誤引發數組與空字符串

• 2021年9月15日

  • 固定一個競爭條件,可能會導致一個查詢失敗這樣一個IOExceptionjava.io.IOException:org.apache.spark.SparkException:失敗的來得到broadcast_x_piecey的broadcast_x。

• 2021年9月8日

  • 添加支持模式名稱(databaseName.schemaName.tableName格式)的目標表名Azure突觸連接器。

  • 添加幾何和地理JDBC類型支持火花SQL。

  • (火花- 33527)[SQL]擴展解碼的功能是一致的與主流數據庫。

  • (火花- 36532)[心][3.1]固定的僵局CoarseGrainedExecutorBackend.onDisconnected為了避免executorsconnected為了防止執行人關閉掛。

• 2021年8月25日,

  • SQL服務器驅動程序庫是9.2.1.jre8升級。

  • 雪花連接器是2.9.0升級。

  • 固定失效鏈接筆記本AutoML實驗頁麵上最好的試驗。

磚運行時的8.4(不支持)

看到磚運行時的8.4(不支持)。

• 2022年1月19日

  • 操作係統安全更新。

• 2021年11月4日

  • 固定一個錯誤可能導致結構化流流ArrayIndexOutOfBoundsException失敗

  • 固定一個競爭條件,可能會導致一個查詢失敗這樣一個IOExceptionjava.io.IOException:沒有文件係統為計劃或者可能會導致修改sparkContext.hadoopConfiguration在查詢不生效。

  • Apache火花連接器三角洲共享是0.2.0升級。

• 2021年9月22日

  • 火花JDBC驅動程序是2.6.19.1030升級

  • (火花- 36734)1.5.1 [SQL]升級獸人

• 2021年9月15日

  • 固定一個競爭條件,可能會導致一個查詢失敗這樣一個IOExceptionjava.io.IOException:org.apache.spark.SparkException:失敗的來得到broadcast_x_piecey的broadcast_x。

  • 操作係統安全更新。

• 2021年9月8日

  • (火花- 36532)[心][3.1]固定的僵局CoarseGrainedExecutorBackend.onDisconnected為了避免executorsconnected為了防止執行人關閉掛。

• 2021年8月25日,

  • SQL服務器驅動程序庫是9.2.1.jre8升級。

  • 雪花連接器是2.9.0升級。

  • 修複bug造成的憑據透傳新鋪預取優化,用戶的透傳憑證文件訪問期間可能不被發現。

• 2021年8月11日,

  • 修複一個RocksDB不相容問題,防止舊磚8.4運行時。這對於自動加載器修複向前兼容性,複製成和有狀態的流媒體應用程序。

  • 修複一個缺陷與S3路徑自動加載器使用時自動加載程序沒有路徑選擇。

  • 修複一個缺陷,AWS STS配置端點亞馬遜運動運動源端點。

  • 修複一個缺陷在使用自動加載器與失配頭文件讀取CSV文件。如果列名稱不匹配,用null列會填寫。現在,如果提供了模式,它假定的模式是一樣的,隻保存列不匹配如果啟用了獲救的數據列。

  • 添加一個新選項externalDataSource到Azure突觸連接器刪除控製許可要求數據庫混合基的閱讀。

• 2021年7月29日

  • (火花- 36034)(構建)變基datetime下推過濾器拚花

  • (火花- 36163)(構建)傳播正確的JDBC提供者和JDBC連接器添加屬性connectionProvider選項

磚運行時的8.3(不支持)

看到磚運行時的8.3(不支持)。

• 2022年1月19日

  • 操作係統安全更新。

• 2021年11月4日

  • 固定一個錯誤可能導致結構化流流ArrayIndexOutOfBoundsException失敗

  • 固定一個競爭條件,可能會導致一個查詢失敗這樣一個IOExceptionjava.io.IOException:沒有文件係統為計劃或者可能會導致修改sparkContext.hadoopConfiguration在查詢不生效。

• 2021年9月22日

  • 火花JDBC驅動程序是2.6.19.1030升級

• 2021年9月15日

  • 固定一個競爭條件,可能會導致一個查詢失敗這樣一個IOExceptionjava.io.IOException:org.apache.spark.SparkException:失敗的來得到broadcast_x_piecey的broadcast_x。

  • 操作係統安全更新。

• 2021年9月8日

  • (火花- 35700)[SQL] [WARMFIX]讀char、varchar獸人表時創建並由外部係統。

  • (火花- 36532)[心][3.1]固定的僵局CoarseGrainedExecutorBackend.onDisconnected為了避免executorsconnected為了防止執行人關閉掛。

• 2021年8月25日,

  • SQL服務器驅動程序庫是9.2.1.jre8升級。

  • 雪花連接器是2.9.0升級。

  • 修複bug造成的憑據透傳新鋪預取優化,用戶的透傳憑證文件訪問期間可能不被發現。

• 2021年8月11日,

  • 修複一個缺陷,AWS STS配置端點亞馬遜運動運動源端點。

  • 修複一個缺陷在使用自動加載器與失配頭文件讀取CSV文件。如果列名稱不匹配,用null列會填寫。現在,如果提供了模式,它假定的模式是一樣的,隻保存列不匹配如果啟用了獲救的數據列。

• 2021年7月29日

  • 升級數據磚雪花火花2.9.0-spark-3.1連接器

  • (火花- 36034)(構建)變基datetime下推過濾器拚花

  • (火花- 36163)(構建)傳播正確的JDBC提供者和JDBC連接器添加屬性connectionProvider選項

• 2021年7月14日

  • 修正了在使用列名Azure突觸連接的點。

  • 介紹了database.schema.table格式突觸連接器。

  • 增加了提供的支持databaseName.schemaName.tableName格式表而不是隻作為目標schemaName.tableName或的表。

• 2021年6月15日

  • 固定一個NoSuchElementException錯誤在三角洲湖優化寫道,編寫大量數據時可能發生和遇到執行人損失

  • 添加SQL創建集團,下降集團,改變集團,顯示組,顯示用戶命令。有關詳細信息,請參見安全聲明和顯示報表。

磚運行時的8.2(不支持)

看到磚運行時的8.2(不支持)。

• 2021年9月22日

  • 操作係統安全更新。

• 2021年9月15日

  • 固定一個競爭條件,可能會導致一個查詢失敗這樣一個IOExceptionjava.io.IOException:org.apache.spark.SparkException:失敗的來得到broadcast_x_piecey的broadcast_x。

• 2021年9月8日

  • (火花- 35700)[SQL] [WARMFIX]讀char、varchar獸人表時創建並由外部係統。

  • (火花- 36532)[心][3.1]固定的僵局CoarseGrainedExecutorBackend.onDisconnected為了避免executorsconnected為了防止執行人關閉掛。

• 2021年8月25日,

  • 雪花連接器是2.9.0升級。

• 2021年8月11日,

  • 修複一個缺陷,AWS STS配置端點亞馬遜運動運動源端點。

  • (火花- 36034)[SQL]變基datetime鋪下推過濾器。

• 2021年7月29日

  • 升級數據磚雪花火花2.9.0-spark-3.1連接器

  • (火花- 36163)(構建)傳播正確的JDBC提供者和JDBC連接器添加屬性connectionProvider選項

• 2021年7月14日

  • 修正了在使用列名Azure突觸連接的點。

  • 介紹了database.schema.table格式突觸連接器。

  • 增加了提供的支持databaseName.schemaName.tableName格式表而不是隻作為目標schemaName.tableName或的表。

  • 固定防止用戶的故障時間旅行與三角洲表老版本可用。

• 2021年6月15日

  • 修複一個NoSuchElementException錯誤在三角洲湖優化寫道,編寫大量數據時可能發生和遇到執行人損失

• 2021年5月26日,

  • Python Python更新安全補丁修複安全漏洞(cve - 2021 - 3177)。

  • 磁盤緩存是默認啟用所有GCP實例的除外-highcpu -家庭。為-highcpu -情況下,緩存預配置,但默認情況下禁用。它可以使使用火花相依spark.databricks.io.cache.enabled真正的。

• 2021年4月30日

  • 操作係統安全更新。

  • (火花- 35227)(構建)更新SparkSubmit spark-packages的解析器

  • (火花- 34245)(核心)確保主刪除執行人未能發送完成狀態

  • 固定一個伯父問題時自動加載程序結構化流進展指標報告。

磚運行時的8.1(不支持)

看到磚運行時的8.1(不支持)。

• 2021年9月22日

  • 操作係統安全更新。

• 2021年9月15日

  • 固定一個競爭條件,可能會導致一個查詢失敗這樣一個IOExceptionjava.io.IOException:org.apache.spark.SparkException:失敗的來得到broadcast_x_piecey的broadcast_x。

• 2021年9月8日

  • (火花- 35700)[SQL] [WARMFIX]讀char、varchar獸人表時創建並由外部係統。

  • (火花- 36532)[心][3.1]固定的僵局CoarseGrainedExecutorBackend.onDisconnected為了避免executorsconnected為了防止執行人關閉掛。

• 2021年8月25日,

  • 雪花連接器是2.9.0升級。

• 2021年8月11日,

  • 修複一個缺陷,AWS STS配置端點亞馬遜運動運動源端點。

  • (火花- 36034)[SQL]變基datetime鋪下推過濾器。

• 2021年7月29日

  • 升級數據磚雪花火花2.9.0-spark-3.1連接器

  • (火花- 36163)(構建)傳播正確的JDBC提供者和JDBC連接器添加屬性connectionProvider選項

• 2021年7月14日

  • 修正了在使用列名Azure突觸連接的點。

  • 固定防止用戶的故障時間旅行與三角洲表老版本可用。

• 2021年6月15日

  • 修複一個NoSuchElementException錯誤在三角洲湖優化寫道,編寫大量數據時可能發生和遇到執行人損失

• 2021年5月26日,

  • Python Python更新安全補丁修複安全漏洞(cve - 2021 - 3177)。

  • 磁盤緩存是默認啟用所有GCP實例的除外-highcpu -家庭。為-highcpu -情況下,緩存預配置,但默認情況下禁用。它可以使使用火花相依spark.databricks.io.cache.enabled真正的。

• 2021年4月30日

  • 操作係統安全更新。

  • (火花- 35227)(構建)更新SparkSubmit spark-packages的解析器

  • 固定一個伯父問題時自動加載程序結構化流進展指標報告。

• 2021年4月27日

  • (火花- 34245)(核心)確保主刪除執行人未能發送完成狀態

  • (火花- 34856)[SQL] ANSI模式:允許鑄造複雜類型為字符串類型

  • (火花- 35014)修複PhysicalAggregation模式不重寫可折疊的表達式

  • (火花- 34769)[SQL] AnsiTypeCoercion: TypeCollection返回狹隘的轉換類型

  • (火花- 34614)[SQL] ANSI模式:將字符串解析錯誤布爾將拋出異常

  • (火花- 33794)[SQL] ANSI模式:修複NextDay拋出運行時表達式IllegalArgumentException當收到無效輸入

磚運行時的8.0(不支持)

看到磚運行時的8.0(不支持)。

• 2021年9月15日

  • 固定一個競爭條件,可能會導致一個查詢失敗這樣一個IOExceptionjava.io.IOException:org.apache.spark.SparkException:失敗的來得到broadcast_x_piecey的broadcast_x。

• 2021年8月25日,

  • 雪花連接器是2.9.0升級。

• 2021年8月11日,

  • 修複一個缺陷,AWS STS配置端點亞馬遜運動運動源端點。

  • (火花- 36034)[SQL]變基datetime鋪下推過濾器。

• 2021年7月29日

  • (火花- 36163)(構建)傳播正確的JDBC提供者和JDBC連接器添加屬性connectionProvider選項

• 2021年7月14日

  • 修正了在使用列名Azure突觸連接的點。

  • 固定防止用戶的故障時間旅行與三角洲表老版本可用。

• 2021年5月26日,

  • Python Python更新安全補丁修複安全漏洞(cve - 2021 - 3177)。

  • 磁盤緩存是默認啟用所有GCP實例的除外-highcpu -家庭。為-highcpu -情況下,緩存預配置,但默認情況下禁用。它可以使使用火花相依spark.databricks.io.cache.enabled真正的。

  • 使Maven庫安裝。

• 2021年4月30日

  • 操作係統安全更新。

  • (火花- 35227)(構建)更新SparkSubmit spark-packages的解析器

  • (火花- 34245)(核心)確保主刪除執行人未能發送完成狀態

• 2021年3月24日

  • (火花- 34681)[SQL]修複bug,完全外洗好的散列連接在構建左側不相等的條件

  • (火花- 34534)當使用FetchShuffleBlocks獲取塊修複blockIds秩序

  • (火花- 34613)[SQL]修複視圖不捕捉禁用提示配置

• 2021年3月9日

  • (火花- 34543)[SQL]尊重spark.sql.caseSensitive配置解決分區規範在v1集位置

  • (火花- 34392)[SQL]支持ZoneOffset + h: DateTimeUtils毫米。getZoneId

  • (UI)修複的href鏈接引發DAG可視化

  • (火花- 34436)[SQL]民進黨支持像任何/所有的表情

磚運行時的7.6(不支持)

看到磚運行時的7.6(不支持)。

• 2021年8月11日,

  • 修複一個缺陷,AWS STS配置端點亞馬遜運動運動源端點。

  • (火花- 36034)[SQL]變基datetime鋪下推過濾器。

• 2021年7月29日

  • (火花- 32998)(構建)添加能力覆蓋默認遠程回購隻與內部回購

• 2021年7月14日

  • 固定防止用戶的故障時間旅行與三角洲表老版本可用。

• 2021年5月26日,

  • Python Python更新安全補丁修複安全漏洞(cve - 2021 - 3177)。

  • 磁盤緩存是默認啟用所有GCP實例的除外-highcpu -家庭。為-highcpu -情況下,緩存預配置,但默認情況下禁用。它可以使使用火花相依spark.databricks.io.cache.enabled真正的。

  • 使Maven庫安裝。

• 2021年4月30日

  • 操作係統安全更新。

  • (火花- 35227)(構建)更新SparkSubmit spark-packages的解析器

  • (火花- 34245)(核心)確保主刪除執行人未能發送完成狀態

• 2021年3月24日

  • (火花- 34768)[SQL]尊重Univocity中的默認輸入緩衝區的大小

  • (火花- 34534)當使用FetchShuffleBlocks獲取塊修複blockIds秩序

• 2021年3月9日

  • (僅Azure)固定一個汽車加載程序錯誤會導致NullPointerException當使用磚7.6運行時的運行一個老自動加載程序流中創建數據磚7.2運行時

  • (UI)修複的href鏈接引發DAG可視化

  • 未知的葉節點在SizeInBytesOnlyStatsSparkPlanVisitor SparkPlan沒有正確處理

  • 恢複的輸出模式顯示數據庫

  • [Delta][8.0, 7.6]固定計算錯誤文件大小自動邏輯

  • 禁用過時檢查δ在磁盤高速緩存表文件

  • [SQL]使用正確的動態範圍時修剪建立關鍵連接提示

  • 禁用char類型支持非sql代碼路徑

  • 避免在DataFrameReader.schema肺水腫

  • 修複肺水腫時EventGridClient反應沒有實體

  • 修複一個讀關閉流錯誤在Azure自動加載程序

  • [SQL]不生成洗牌分區號建議啟用先進的時

• 2021年2月24日

  • 升級引發BigQuery連接器v0.18,介紹各種bug修複和支持箭頭和Avro迭代器。

  • 固定一個正確性的問題,導致火花拚花時返回不正確的結果文件的小數精度和等級是不同的火花模式。

  • 固定閱讀失敗問題Microsoft SQL Server包含空間數據類型的表,通過添加幾何和地理JDBC類型支持火花SQL。

  • 引入了一個新的配置spark.databricks.hive.metastore.init.reloadFunctions.enabled。這個配置控製建在蜂巢的初始化。當設置為true時,磚重新加載的所有功能的所有數據庫用戶FunctionRegistry。在蜂巢Metastore這是默認行為。當設置為false,磚禁用這個過程的優化。

  • (火花- 34212)固定從鋪閱讀十進製數據文件有關的問題。

  • (火花- 34260)[SQL]修複UnresolvedException創建臨時視圖時兩次。

磚運行時的7.5(不支持)

看到磚運行時的7.5(不支持)。

• 2021年5月26日,

  • Python Python更新安全補丁修複安全漏洞(cve - 2021 - 3177)。

  • 磁盤緩存是默認啟用所有GCP實例的除外-highcpu -家庭。為-highcpu -情況下,緩存預配置,但默認情況下禁用。它可以使使用火花相依spark.databricks.io.cache.enabled真正的。

  • 使Maven庫安裝。

• 2021年4月30日

  • 操作係統安全更新。

  • (火花- 35227)(構建)更新SparkSubmit spark-packages的解析器

  • (火花- 34245)(核心)確保主刪除執行人未能發送完成狀態

• 2021年3月24日

  • (火花- 34768)[SQL]尊重Univocity中的默認輸入緩衝區的大小

  • (火花- 34534)當使用FetchShuffleBlocks獲取塊修複blockIds秩序

• 2021年3月9日

  • (僅Azure)固定一個汽車加載程序錯誤會導致NullPointerException當使用磚7.5運行時的運行一個老自動加載程序流中創建數據磚7.2運行時。

  • (UI)修複的href鏈接引發DAG可視化

  • 未知的葉節點在SizeInBytesOnlyStatsSparkPlanVisitor SparkPlan沒有正確處理

  • 恢複的輸出模式顯示數據庫

  • 禁用過時檢查δ在磁盤高速緩存表文件

  • [SQL]使用正確的動態範圍時修剪建立關鍵連接提示

  • 禁用char類型支持非sql代碼路徑

  • 避免在DataFrameReader.schema肺水腫

  • 修複肺水腫時EventGridClient反應沒有實體

  • 修複一個讀關閉流錯誤在Azure自動加載程序

• 2021年2月24日

  • 升級引發BigQuery連接器v0.18,介紹各種bug修複和支持箭頭和Avro迭代器。

  • 固定一個正確性的問題,導致火花拚花時返回不正確的結果文件的小數精度和等級是不同的火花模式。

  • 固定閱讀失敗問題Microsoft SQL Server包含空間數據類型的表,通過添加幾何和地理JDBC類型支持火花SQL。

  • 引入了一個新的配置spark.databricks.hive.metastore.init.reloadFunctions.enabled。這個配置控製建在蜂巢的初始化。當設置為true時,磚重新加載的所有功能的所有數據庫用戶FunctionRegistry。在蜂巢Metastore這是默認行為。當設置為false,磚禁用這個過程的優化。

  • (火花- 34212)固定從鋪閱讀十進製數據文件有關的問題。

  • (火花- 34260)[SQL]修複UnresolvedException創建臨時視圖時兩次。

• 2021年2月4日,

  • 固定的回歸,防止增量執行查詢,設置一個全球限製等選擇*從表限製nrows。經曆的回歸是用戶運行查詢通過ODBC / JDBC啟用了箭頭序列化。

  • 介紹了寫時間檢查蜂巢客戶機來防止腐敗的蜂巢metastore三角洲的元數據表。

  • 固定一個回歸導致DBFS保險絲時無法啟動集群環境變量配置包含無效的bash語法。

• 2021年1月20日

  • 固定的回歸2021年1月12日維護版本,可能會導致一個不正確的AnalysisException說自我連接的列是模棱兩可的。這種回歸發生當一個用戶加入DataFrame及其派生DataFrame(所謂的自)與下列條件:

    • 這兩個DataFrames有常見的列,但自己加入的輸出沒有共同的列。例如,df.join (df.select(美元“上校”作為“new_col”),氣孔導度)

    • 派生DataFrame排除了一些列通過選擇、groupBy或窗口。

    • 加入後的聯接條件或以下轉換Dataframe指的是刺激列。例如,df.join (df.drop (“a”),df (“”)= = =1)

• 2021年1月12日

  • 升級存儲Azure SDK 2.3.8 2.3.9。

  • (火花- 33593)[SQL]與二進製向量讀者有不正確的數據分區的值

  • (火花- 33480)[SQL]更新char、varchar表的錯誤消息插入長度檢查

磚運行時7.3 LTS

看到磚運行時7.3 LTS。

• 2023年6月15日

  • (火花- 43413)[SQL]修複在子查詢ListQuerynullability。

  • 操作係統安全更新。

• 2023年6月2日

  • 修正了在自動加載程序,不同的源文件格式不一致,所提供的模式不包括推斷分區。這個問題可能會導致意想不到的失敗當閱讀文件缺失列推斷分區模式。

• 2023年5月17日

  • 操作係統安全更新。

• 2023年4月25日

  • 操作係統安全更新。

• 2023年4月11日

  • (火花- 42967)(核心)修複SparkListenerTaskStart。stageAttemptId當任務開始階段後取消。

  • 各種各樣的bug修複。

• 2023年3月29日

  • 操作係統安全更新。

• 2023年3月14日,

  • 各種各樣的bug修複。

• 2023年2月28日

  • 操作係統安全更新。

• 2023年2月16日

  • 操作係統安全更新。

• 2023年1月31日

  • 表類型的JDBC表默認現在外部。

• 2023年1月18日

  • 操作係統安全更新。

• 2022年11月29日

  • 各種各樣的bug修複。

• 2022年11月15日

  • Apache commons-text 1.10.0升級。

  • 操作係統安全更新。

  • 各種各樣的bug修複。

• 2022年11月1日

  • (火花- 38542)[SQL] UnsafeHashedRelation應該序列化numKeys出來

• 2022年10月18日

  • 操作係統安全更新。

• 2022年10月5日

  • 各種各樣的bug修複。

  • 操作係統安全更新。

• 2022年9月22日

  • (火花- 40089)[SQL]修複排序十進製類型

• 2022年9月6日

  • (火花- 35542)(核心)(ML)解決辦法:Bucketizer創建多個列的參數splitsArray inputCols outputCols不能加載後保存

  • (火花- 40079)(核心)添加輸入為空inputCols驗證輸入的情況

• 2022年8月24日

  • (火花- 39962)(PYTHON] [SQL]應用投影當組屬性是空的

  • 操作係統安全更新。

• 2022年8月9日

  • 操作係統安全更新。

• 2022年7月27日,

  • 使三角洲合並操作結果一致的來源是不確定的。

  • 操作係統安全更新。

  • 各種各樣的bug修複。

• 2022年7月13日

  • (火花- 32680)[SQL]不預處理V2 cta與未解決的查詢

  • 禁用自動加載器使用本地雲api對Azure目錄清單。

  • 操作係統安全更新。

• 2022年7月5日

  • 操作係統安全更新。

  • 各種各樣的bug修複。

• 2022年6月2日

  • (火花- 38918)[SQL]嵌套列修剪應該過濾掉屬性不屬於當前的關係

  • 操作係統安全更新。

• 2022年5月18日

  • 從1.11.655 1.11.678升級AWS SDK版本。

  • 操作係統安全更新。

  • 各種各樣的bug修複。

• 2022年4月19日

  • 操作係統安全更新。

  • 各種各樣的bug修複。

• 2022年4月6日

  • 操作係統安全更新。

  • 各種各樣的bug修複。

• 2022年3月14日,

  • 刪除從log4j jar 1.2.17脆弱類

  • 各種各樣的bug修複。

• 2022年2月23日

  • (火花- 37859)[SQL]不檢查期間為元數據模式的比較

• 2022年2月8日

  • 升級Ubuntu 1.8.0.312 JDK。

  • 操作係統安全更新。

• 2022年2月1日

  • 操作係統安全更新。

• 2022年1月26日

  • 固定一臭蟲,其優化命令啟用ANSI SQL方言時可能會失敗。

• 2022年1月19日

  • 從7.3毫升LTS Conda刪除默認通道

  • 操作係統安全更新。

• 2021年12月7日

  • 操作係統安全更新。

• 2021年11月4日

  • 固定一個錯誤可能導致結構化流流ArrayIndexOutOfBoundsException失敗

  • 固定一個競爭條件,可能會導致一個查詢失敗這樣一個IOExceptionjava.io.IOException:沒有文件係統為計劃或者可能會導致修改sparkContext.hadoopConfiguration在查詢不生效。

• 2021年9月15日

  • 固定一個競爭條件,可能會導致一個查詢失敗這樣一個IOExceptionjava.io.IOException:org.apache.spark.SparkException:失敗的來得到broadcast_x_piecey的broadcast_x。

  • 操作係統安全更新。

• 2021年9月8日

  • (火花- 35700)[SQL] [WARMFIX]讀char、varchar獸人表時創建並由外部係統。

  • (火花- 36532)[心][3.1]固定的僵局CoarseGrainedExecutorBackend.onDisconnected為了避免executorsconnected為了防止執行人關閉掛。

• 2021年8月25日,

  • 雪花連接器是2.9.0升級。

• 2021年7月29日

  • (火花- 36034)(構建)變基datetime下推過濾器拚花

  • (火花- 34508)(構建)跳過HiveExternalCatalogVersionsSuite如果網絡是

• 2021年7月14日

  • 介紹了database.schema.table格式Azure突觸連接器。

  • 增加了提供的支持databaseName.schemaName.tableName格式表而不是隻作為目標schemaName.tableName或的表。

  • 固定防止用戶的故障時間旅行與三角洲表老版本可用。

• 2021年6月15日

  • 修複一個NoSuchElementException錯誤在三角洲湖優化寫道,編寫大量數據時可能發生和遇到執行人損失

  • Python Python更新安全補丁修複安全漏洞(cve - 2021 - 3177)。

  • 磁盤緩存是默認啟用所有GCP實例的除外-highcpu -家庭。為-highcpu -情況下,緩存預配置,但默認情況下禁用。它可以使使用火花相依spark.databricks.io.cache.enabled真正的。

• 2021年4月30日

  • 操作係統安全更新。

  • (火花- 35227)(構建)更新SparkSubmit spark-packages的解析器

  • (火花- 34245)(核心)確保主刪除執行人未能發送完成狀態

  • (火花- 35045)[SQL]添加一個內部選項控製在univocity輸入緩衝區

• 2021年3月24日

  • (火花- 34768)[SQL]尊重Univocity中的默認輸入緩衝區的大小

  • (火花- 34534)當使用FetchShuffleBlocks獲取塊修複blockIds秩序

  • (火花- 33118)[SQL]創建臨時表失敗的位置

• 2021年3月9日

  • Azure的Azure Blob文件係統驅動程序更新數據存儲Gen2湖現在是默認啟用。它將多個穩定的改進。

  • 修複Windows上的路徑分隔符databricks-connectget-jar-dir

  • (UI)修複的href鏈接引發DAG可視化

  • [DBCONNECT]添加支持FlatMapCoGroupsInPandas磚7.3連接

  • 恢複的輸出模式顯示數據庫

  • [SQL]使用正確的動態範圍時修剪建立關鍵連接提示

  • 禁用過時檢查δ在磁盤高速緩存表文件

  • [SQL]不生成洗牌分區號建議橫穿時啟用

• 2021年2月24日

  • 升級引發BigQuery連接器v0.18,介紹各種bug修複和支持箭頭和Avro迭代器。

  • 固定一個正確性的問題,導致火花拚花時返回不正確的結果文件的小數精度和等級是不同的火花模式。

  • 固定閱讀失敗問題Microsoft SQL Server包含空間數據類型的表,通過添加幾何和地理JDBC類型支持火花SQL。

  • 引入了一個新的配置spark.databricks.hive.metastore.init.reloadFunctions.enabled。這個配置控製建在蜂巢的初始化。當設置為true時,磚重新加載的所有功能的所有數據庫用戶FunctionRegistry。在蜂巢Metastore這是默認行為。當設置為false,磚禁用這個過程的優化。

  • (火花- 34212)固定從鋪閱讀十進製數據文件有關的問題。

  • (火花- 33579)(UI)修複執行人代理背後的空白頁。

  • (火花- 20044)火花界麵(UI)支持的背後前端反向代理使用路徑前綴。

  • (火花- 33277)[PYSPARK] [SQL]使用ContextAwareIterator任務結束後停止消費。

• 2021年2月4日,

  • 固定的回歸,防止增量執行查詢,設置一個全球限製等選擇*從表限製nrows。經曆的回歸是用戶運行查詢通過ODBC / JDBC啟用了箭頭序列化。

  • 固定一個回歸導致DBFS保險絲時無法啟動集群環境變量配置包含無效的bash語法。

• 2021年1月20日

  • 固定的回歸2021年1月12日維護版本,可能會導致一個不正確的AnalysisException說自我連接的列是模棱兩可的。這種回歸發生當一個用戶加入DataFrame及其派生DataFrame(所謂的自)與下列條件:

    • 這兩個DataFrames有常見的列,但自己加入的輸出沒有共同的列。例如,df.join (df.select(美元“上校”作為“new_col”),氣孔導度)

    • 派生DataFrame排除了一些列通過選擇、groupBy或窗口。

    • 加入後的聯接條件或以下轉換Dataframe指的是刺激列。例如,df.join (df.drop (“a”),df (“”)= = =1)

• 2021年1月12日

  • 操作係統安全更新。

  • (火花- 33593)[SQL]與二進製向量讀者有不正確的數據分區的值

  • (火花- 33677)[SQL]如果模式包含任何escapeChar跳過LikeSimplification規則

  • (火花- 33592)(毫升)(PYTHON) Pyspark毫升驗證器參數estimatorParamMaps儲蓄和重載後可能會丟失

  • (火花- 33071)[火花- 33536][SQL]避免改變dataset_id LogicalPlan不打破DetectAmbiguousSelfJoin加入()

• 2020年12月8日

  • (火花- 33587)(核心)殺死執行人在嵌套的致命錯誤

  • (火花- 27421)[SQL]修複過濾器類. lang int列和價值。當修剪分區列字符串

  • (火花- 33316)[SQL]支持用戶提供nullable Avro模式非空催化劑Avro寫作模式

  • 火花工作啟動使用磚連接可以無限期地掛了遺囑執行人TaskRunner美元。anonfun copySessionState美元在執行器堆棧跟蹤

  • 操作係統安全更新。

• 2020年11月20日

  • (火花- 33404)[SQL][3.0]修正不正確的結果date_trunc表達式

  • (火花- 33339)(PYTHON) Pyspark應用程序將掛由於非異常錯誤

  • (火花- 33183)[SQL][熱修複補丁]修複優化規則EliminateSorts和添加一個物理規則刪除冗餘

  • (火花- 33371)[PYTHON][3.0]更新設置。py和Python 3.9測試

  • (火花- 33391)[SQL] element_at CreateArray不尊重一個建立索引。

  • (火花- 33306)[SQL]時區時需要把日期字符串

  • (火花- 33260)[SQL]從排序方式時SortExec流修正不正確的結果

• 2020年的11月5日

  • 修複沛富和WASB鎖定有關UserGroupInformation.getCurrentUser ()。

  • 修複一個無限循環錯誤當Avro閱讀器讀取字節。

  • 添加支持使用特權。

  • 性能改進的權限檢查訪問控製表。

• 2020年10月13日

  • 操作係統安全更新。

  • 你可以讀和寫DBFS使用FUSE掛載在/ DBFS /在高並發證書透傳啟用集群。普通坐騎但坐騎,需要支持透傳憑證還不支持。

  • (火花- 32999)[SQL]使用跑龍套。得到SimpleName to avoid hitting Malformed class name in TreeNode

  • (火花- 32585)[SQL]支持ScalaReflection scala枚舉

  • 固定在保險絲安裝包含文件名清單目錄無效的XML字符

  • 保險絲不再使用ListMultipartUploads山

• 2020年9月29日,

  • (火花- 32718)[SQL]刪除不必要的關鍵詞為間隔單位

  • (火花- 32635)[SQL]修複可折疊的傳播

  • 添加一個新的配置spark.shuffle.io.decoder.consolidateThreshold。設置配置值Long.MAX_VALUE跳過的整合網狀的framebuffer,從而防止java.lang.IndexOutOfBoundsException在角落的情況下。

• 2023年4月25日

  • 操作係統安全更新。

• 2023年4月11日

  • 各種各樣的bug修複。

• 2023年3月29日

  • 各種各樣的bug修複。

• 2023年3月14日,

  • 操作係統安全更新。

• 2023年2月28日

  • 操作係統安全更新。

• 2023年2月16日

  • 操作係統安全更新。

• 2023年1月31日

  • 各種各樣的bug修複。

• 2023年1月18日

  • 操作係統安全更新。

• 2022年11月29日

  • 操作係統安全更新。

• 2022年11月15日

  • 操作係統安全更新。

  • 各種各樣的bug修複。

• 2022年11月1日

  • 操作係統安全更新。

• 2022年10月18日

  • 操作係統安全更新。

  • 2022年10月5日

    • 操作係統安全更新。

  • 2022年8月24日

    • 操作係統安全更新。

  • 2022年8月9日

    • 操作係統安全更新。

  • 2022年7月27日,

    • 操作係統安全更新。

  • 2022年7月5日

    • 操作係統安全更新。

  • 2022年6月2日

    • 操作係統安全更新。

  • 2022年5月18日

    • 操作係統安全更新。

  • 2022年4月19日

    • 操作係統安全更新。

    • 各種各樣的bug修複。

  • 2022年4月6日

    • 操作係統安全更新。

    • 各種各樣的bug修複。

  • 2022年3月14日,

    • 各種各樣的bug修複。

  • 2022年2月23日

    • 各種各樣的bug修複。

  • 2022年2月8日

    • 升級Ubuntu 1.8.0.312 JDK。

    • 操作係統安全更新。

  • 2022年2月1日

    • 操作係統安全更新。

  • 2022年1月19日

    • 操作係統安全更新。

  • 2021年9月22日

    • 操作係統安全更新。

  • 2021年4月30日

    • 操作係統安全更新。

    • (火花- 35227)(構建)更新SparkSubmit spark-packages的解析器

  • 2021年1月12日

    • 操作係統安全更新。

  • 2020年12月8日

    • (火花- 27421)[SQL]修複過濾器類. lang int列和價值。當修剪分區列字符串

    • 操作係統安全更新。

  • 2020年11月3日

    • 從1.8.0_252 1.8.0_265升級Java版本。

    • 修複沛富和WASB鎖定對UserGroupInformation.getCurrentUser ()

  • 2020年10月13日

    • 操作係統安全更新。