Databricks運行時11.0<一個類＝"headerlink" href="//www.eheci.com/docs/release-notes/runtime/#databricks-runtime-110" title="">
以下發布說明提供了Databricks運行時11.0的信息，由Apache Spark 3.3.0提供支持。Databricks於2022年6月發布了這些圖像。
新功能和改進<一個類＝"headerlink" href="//www.eheci.com/docs/release-notes/runtime/#new-features-and-improvements" title="">
Apache Spark的新版本<一個類＝"headerlink" href="//www.eheci.com/docs/release-notes/runtime/#new-version-of-apache-spark" title="">
Databricks Runtime 11.0和Databricks Runtime 11.0 Photon包含Apache Spark 3.3.0。詳細信息請參見<一個類＝"reference internal" href="//www.eheci.com/docs/release-notes/runtime/#spark">Apache火花。
Python筆記本現在使用IPython內核<一個類＝"headerlink" href="//www.eheci.com/docs/release-notes/runtime/#python-notebooks-now-use-the-ipython-kernel" title="">
在Databricks Runtime 11.0及以上版本中，Python筆記本使用IPython內核來執行Python代碼。看到<一個類＝"reference internal" href="//www.eheci.com/docs/docs/notebooks/ipython-kernel.html">IPython內核。
支持ipywidgets<一個類＝"headerlink" href="//www.eheci.com/docs/release-notes/runtime/#support-for-ipywidgets" title="">
現在你可以使用ipywidgets使你的Databricks Python筆記本具有交互性。看到<一個類＝"reference internal" href="//www.eheci.com/docs/docs/notebooks/ipywidgets.html">ipywidgets。
Synapse連接器現在以非遺留模式寫入Parquet數據<一個類＝"headerlink" href="//www.eheci.com/docs/release-notes/runtime/#synapse-connector-now-writes-parquet-data-in-non-legacy-mode" title="">
Azure Synapse連接器現在以非遺留模式寫入Parquet數據。它保留了INT96時間戳格式，當使用PolyBase和複製批處理和流工作負載的命令。
當ABFS客戶端使用SAS令牌時，HTTPS方案現在強製執行<一個類＝"headerlink" href="//www.eheci.com/docs/release-notes/runtime/#https-scheme-now-enforced-when-abfs-client-uses-sas-token" title="">
當Azure Blob文件係統(ABFS)客戶端使用共享訪問簽名(SAS)令牌時，現在強製使用HTTPS方案。
SQL:DESC現在是一個別名描述
您現在可以使用DESC作為一個別名描述當您描述外部位置或存儲憑證時。例如:
描述一個外部位置。DESC外部位置location_name；描述一個存儲憑證。DESC存儲憑證credential_name；
SQL:新current_version函數輸出版本詳細信息<一個類＝"headerlink" href="//www.eheci.com/docs/release-notes/runtime/#sql-new-current_version-function-outputs-version-details" title="">
新current_version函數輸出當前Databricks運行時版本(如果可用)，當前Databricks SQL版本(如果可用)，以及其他相關版本詳細信息。使用此功能可以查詢版本相關信息。看到<一個類＝"reference internal" href="//www.eheci.com/docs/docs/sql/language-manual/functions/current_version.html">current_version函數。
刪除缺失的Delta表約束現在將引發錯誤<一個類＝"headerlink" href="//www.eheci.com/docs/release-notes/runtime/#dropping-a-missing-delta-table-constraint-now-raises-an-error" title="">
如果現在嚐試按名稱刪除Delta表約束，而該約束不存在，則會得到一個錯誤。方法獲取前麵的行為(如果約束不存在，該行為不會拋出錯誤)，現在必須使用如果存在聲明。看到<一個類＝"reference internal" href="//www.eheci.com/docs/docs/sql/language-manual/sql-ref-syntax-ddl-alter-table.html">ALTER TABLE。
SQL:新除了條款選擇語句從選擇中排除列<一個類＝"headerlink" href="//www.eheci.com/docs/release-notes/runtime/#sql-new-except-clause-in-select-statement-excludes-columns-from-selection" title="">
選擇語句現在支持除了子句從選擇中排除列。例如,選擇＊除了(x)從表格返回所有的表格的列除外x。還允許嵌套列。例如,選擇＊除了(x.a)從表格返回所有的表格的列，但省略了字段一個從結構x。
支持刪除Delta表中的列(公開預覽)<一個類＝"headerlink" href="//www.eheci.com/docs/release-notes/runtime/#support-for-dropping-columns-in-delta-tables-public-preview" title="">
你可以使用改變表格< table_name >下降列(如果存在)< column_name >或改變表格< table_name >下降列(如果存在)(< column_name >,*）從Delta表中分別刪除列或列列表，作為僅元數據的操作。這些列實際上是“軟刪除”的，因為它們仍然在底層Parquet文件中，但對Delta表不再可見。
你可以使用REORG表格< table_name >應用(清洗)對包含任何軟刪除數據(如刪除列)的文件觸發文件重寫。
你可以使用真空從物理存儲中刪除已刪除的文件，包括包含已刪除列和已被重寫的舊文件REORG表格。
複製成改進<一個類＝"headerlink" href="//www.eheci.com/docs/release-notes/runtime/#copy-into-improvements" title="">
您現在可以創建空的占位符Delta表，以便稍後在操作期間推斷模式複製成命令:
創建表格如果不存在my_table(評論<table_description>］(TBLPROPERTIES（<table_properties>));複製成my_table從“/道路/ /文件”FILEFORMAT＝<格式>FORMAT_OPTIONS（“mergeSchema”＝“真正的”）COPY_OPTIONS（“mergeSchema”＝“真正的”）;
前麵的SQL語句是冪等的，可以調度它隻向Delta表中攝取一次數據。
請注意
空的Delta表在外部不可用複製成。你不能使用插入成而且合並成將數據寫入無模式的Delta表。數據插入表後用複製成，則該表可查詢。
如果您正在攝取的數據由於某些損壞問題而無法讀取，您可以通過設置跳過損壞的文件ignoreCorruptFiles來真正的在FORMAT_OPTIONS：
複製成my_table從“/道路/ /文件”FILEFORMAT＝<格式>FORMAT_OPTIONS（“ignoreCorruptFiles”＝“真正的”）
的複製成命令返回因損壞而跳過的文件數num_skipped_corrupt_files列。該指標也出現在operationMetrics列下numSkippedCorruptFiles跑步之後描述曆史在Delta表上。
不跟蹤損壞的文件複製成，因此，如果損壞得到修複，它們可以在後續運行中重新加載。您可以通過運行查看哪些文件被損壞複製成在驗證模式。
轉換來δ現在支持Unity Catalog啟用的環境(公共預覽)<一個類＝"headerlink" href="//www.eheci.com/docs/release-notes/runtime/#convert-to-delta-in-now-supported-in-unity-catalog-enabled-environments-public-preview" title="">
在<一個類＝"reference internal" href="//www.eheci.com/docs/docs/data-governance/unity-catalog/index.html">Unity-Catalog-啟用的環境，使用轉換來δ你現在可以:
將外部位置的Parquet文件轉換為Delta Lake。
將Parquet外部表轉換為Delta表。
行為變化<一個類＝"headerlink" href="//www.eheci.com/docs/release-notes/runtime/#behavior-changes" title="">
SQL:lpad而且rpad函數現在支持字節序列<一個類＝"headerlink" href="//www.eheci.com/docs/release-notes/runtime/#sql-lpad-and-rpad-functions-now-support-byte-sequences" title="">
的<一個類＝"reference internal" href="//www.eheci.com/docs/docs/sql/language-manual/functions/lpad.html">lpad而且<一個類＝"reference internal" href="//www.eheci.com/docs/docs/sql/language-manual/functions/rpad.html">rpad函數已經更新，除了字符串之外，還增加了對字節序列的支持。
字符串格式format_string而且printf不再允許% 0美元
指定格式% 0美元在format_string而且printf函數現在默認拋出錯誤。此更改是為了保留Databricks Runtime和常見第三方數據庫以前版本的預期行為。第一個參數應該總是引用% 1 $使用參數索引來指示參數在參數列表中的位置。
缺省情況下，CSV文件中的空值現在被寫入不帶引號的空字符串<一個類＝"headerlink" href="//www.eheci.com/docs/release-notes/runtime/#null-values-in-csv-files-are-now-written-as-unquoted-empty-strings-by-default" title="">
CSV文件中的空值以前被寫入帶引號的空字符串。在這個版本中，缺省情況下CSV文件中的空值將被寫入不帶引號的空字符串。若要更改回以前的行為，請設置nullValue選項＂＂用於寫操作。
table屬性外部現在已被保留<一個類＝"headerlink" href="//www.eheci.com/docs/release-notes/runtime/#the-table-property-external-is-now-reserved" title="">
房地產外部現在默認為保留表屬性。屬性時拋出異常外部屬性具有創建表格.．.TBLPROPERTIES而且改變表格.．.集TBLPROPERTIES條款。
Log4j從Log4j 1升級到Log4j 2<一個類＝"headerlink" href="//www.eheci.com/docs/release-notes/runtime/#log4j-is-upgraded-from-log4j-1-to-log4j-2" title="">
Log4j 1正在升級到Log4j 2。正在刪除遺留的Log4j 1依賴項。
如果您依賴於先前包含在Databricks運行時中的Log4j 1類，那麼這些類將不再存在。您應該將依賴項升級到Log4j 2。
如果您有依賴於Log4j 2的自定義插件或配置文件，那麼它們可能不再適用於此版本中的Log4j 2版本。如需幫助，請聯係Databricks代表。
缺省情況下，從Maven安裝的庫現在在數據平麵中進行解析<一個類＝"headerlink" href="//www.eheci.com/docs/release-notes/runtime/#libraries-installed-from-maven-are-now-resolved-in-your-data-plane-by-default" title="">
在集群上安裝庫時，Maven庫現在默認在數據平麵中解析。您集群必須能夠訪問<一個類＝"reference external" href="https://maven.org">Maven中央。屬性，也可以恢複到前麵的行為<一個類＝"reference internal" href="//www.eheci.com/docs/docs/clusters/configure.html">Spark配置屬性：
spark.databricks.libraries.enableMavenResolution假
錯誤修複<一個類＝"headerlink" href="//www.eheci.com/docs/release-notes/runtime/#bug-fixes" title="">
二進製兼容性
LeafNode，UnaryNode,BinaryNodeApache Spark和Databricks Runtime之間的問題已經修複，這些類現在與Apache Spark 3.3.0及以上版本兼容。如果您在使用Databricks Runtime的第三方包時遇到以下或類似消息，請使用Apache Spark 3.3.0或以上版本重新構建包:發現接口org.apache.spark.sql.catalyst.plans.logical.UnaryNode,但類是預期。
庫升級<一個類＝"headerlink" href="//www.eheci.com/docs/release-notes/runtime/#library-upgrades" title="">
升級的Python庫:
Beplay体育安卓版本平台從2.5.1到2.5.2
Protobuf從3.20.0到3.20.1
升級的R庫:
Blob從1.2.2到1.2.3
掃帚從0.7.12到0.8.0
插入從6.0-91到6.0-92
Cli從3.2.0到3.3.0
Dplyr從1.0.8到1.0.9
未來從1.24.0到1.25.0
future.applyfrom 1.8.1 to 1.9.0
從1.5.0到1.6.0
Ggplot2從3.3.5到3.3.6
Glmnet從4.1-3到4.1-4
Haven從2.4.3到2.5.0
HTTR從1.4.2到1.4.3
針織衫從1.38到1.39
Magrittr從2.0.2到2.0.3
平行地從1.30.0到1.31.1
Ps從1.6.0到1.7.0
RColorBrewer從1.1-2到1.1-3
RcppEigen從0.3.3.9.1到0.3.3.9.2
Readxl從1.3.1到1.4.0
rmark2 .13降至2.14
Rprojroot從2.0.2到2.0.3
從2.2.11到2.2.13
從1.1.1擴展到1.2.0
從3.1.2測試到3.1.4
從3.1.6到3.1.7
Tinytex從0.37到0.38
TZDB從0.2.0到0.3.0
Uuid從1.0-4到1.1-0
VCTRS從0.3.8到0.4.1
升級的Java庫:
com.fasterxml.jackson.core。jackson-annotationsfrom 2.13.0 to 2.13.3
com.fasterxml.jackson.core。jackson-corefrom 2.13.0 to 2.13.3
com.fasterxml.jackson.core。jackson-databindfrom 2.13.0 to 2.13.3
com.fasterxml.jackson.dataformat。jackson-dataformat-cborfrom 2.13.0 to 2.13.3
com.fasterxml.jackson.datatype。jackson-datatype-jodafrom 2.13.0 to 2.13.3
com.fasterxml.jackson.module。jackson-module-paranamerfrom 2.13.0 to 2.13.3
從2.13.0到2.13.3
Com.google.crypto.tink.tink從1.6.0升級到1.6.1
Com.ning.compress-lzf從1.0.3到1.1
arpack從2.2.0到2.2.1
Dev.ludovic.netlib.blas從2.2.0到2.2.1
Dev.ludovic.netlib.lapack從2.2.0到2.2.1
Io.netty.netty-all來自4.1.73。最終到4.74
Io.netty.netty-buffer從4.1.73。最終到4.74
Io.netty.netty-codec從4.1.73。最終到4.74
Io.netty.netty-common from 4.1.73。最終到4.74
Io.netty.netty-handler來自4.1.73。最終到4.74
Io.netty.netty-resolver從4.1.73。最終到4.74
io.netty.netty- tcnnative -classes從2.0.46開始。最終到2.0.48
Io.netty.netty-transport來自4.1.73。最終到4.74
io.netty。netty-transport-classes-epoll最終到4.74
Io.netty.netty-transport-classes-kqueue from 4.1.73。最終到4.74
Io.netty.netty-transport-native-epoll-linux-aarch_64 from 4.1.73。最終到4.74
Io.netty.netty-transport-native-epoll-linux-x86_64 from 4.1.73。最終到4.74
Io.netty.netty-transport-native-kqueue-osx-aarch_64 from 4.1.73。最終到4.74
Io.netty.netty-transport-native-kqueue-osx-x86_64 from 4.1.73。最終到4.74
Io.netty.netty-transport-native-unix-common最終到4.74
joda-time。joda-timefrom 2.10.12 to 2.10.13
Org.apache.commons.commons-math3從3.4.1到3.6.1
Org.apache.httpcomponents.httpcore從4.4.12到4.4.14
org.apache.orc。orc-corefrom 1.7.3 to 1.7.4
org.apache.orc。orc-mapreducefrom 1.7.3 to 1.7.4
org.apache.orc。orc-shimsfrom 1.7.3 to 1.7.4
org.eclipse.jetty。jetty-clientfrom 9.4.43.v20210629 to 9.4.46.v20220331
org.eclipse.jetty。jetty-continuationfrom 9.4.43.v20210629 to 9.4.46.v20220331
org.eclipse.jetty。jetty-httpfrom 9.4.43.v20210629 to 9.4.46.v20220331
org.eclipse.jetty。jetty-iofrom 9.4.43.v20210629 to 9.4.46.v20220331
org.eclipse.jetty。jetty-jndifrom 9.4.43.v20210629 to 9.4.46.v20220331
org.eclipse.jetty。jetty-plusfrom 9.4.43.v20210629 to 9.4.46.v20220331
org.eclipse.jetty。jetty-proxyfrom 9.4.43.v20210629 to 9.4.46.v20220331
org.eclipse.jetty。jetty-securityfrom 9.4.43.v20210629 to 9.4.46.v20220331
org.eclipse.jetty。jetty服務器from 9.4.43.v20210629 to 9.4.46.v20220331
org.eclipse.jetty。jetty servletfrom 9.4.43.v20210629 to 9.4.46.v20220331
org.eclipse.jetty。jetty-servletsfrom 9.4.43.v20210629 to 9.4.46.v20220331
org.eclipse.jetty。jetty-utilfrom 9.4.43.v20210629 to 9.4.46.v20220331
org.eclipse.jetty。jetty-util-ajaxfrom 9.4.43.v20210629 to 9.4.46.v20220331
org.eclipse.jetty。jetty-webappfrom 9.4.43.v20210629 to 9.4.46.v20220331
org.eclipse.jetty。jetty-xmlfrom 9.4.43.v20210629 to 9.4.46.v20220331
org.eclipse.jetty.websocket。Websocket-api從9.4.43。V20210629到9.4.46.v20220331
org.eclipse.jetty.websocket。websocket-clientfrom 9.4.43.v20210629 to 9.4.46.v20220331
org.eclipse.jetty.websocket。websocket-commonfrom 9.4.43.v20210629 to 9.4.46.v20220331
org.eclipse.jetty.websocket。websocket服務器from 9.4.43.v20210629 to 9.4.46.v20220331
org.eclipse.jetty.websocket。websocket-servletfrom 9.4.43.v20210629 to 9.4.46.v20220331
org.mariadb.jdbc。Mariadb-java-client從2.2.5到2.7.4
Org.postgresql.postgresql從42.2.19到42.3.3
roaringbitmap. roaringbitmap從0.9.23到0.9.25
Org.roaringbitmap.shims從0.9.23到0.9.25
Org.rocksdb.rocksdbjni從6.20.3到6.24.2
org.slf4j。Jcl-over-slf4j從1.7.32到1.7.36
org.slf4j。july -slf4j從1.7.32到1.7.36
org.slf4j。slf4j-apifrom 1.7.30 to 1.7.36
Apache火花<一個類＝"headerlink" href="//www.eheci.com/docs/release-notes/runtime/#apache-spark" title="">
Databricks Runtime 11.0包含Apache Spark 3.3.0。
Spark SQL和Core<一個類＝"headerlink" href="//www.eheci.com/docs/release-notes/runtime/#spark-sql-and-core" title="">
ANSI模式<一個類＝"headerlink" href="//www.eheci.com/docs/release-notes/runtime/#ansi-mode" title="">
ANSI模式中新的顯式強製轉換語法規則(<一個類＝"reference external" href="https://issues.apache.org/jira/browse/SPARK-33354">火星- 33354）
如果索引在ANSI模式下為空，Elt()應該返回null (<一個類＝"reference external" href="https://issues.apache.org/jira/browse/SPARK-38304">火星- 38304）
如果數組/map中不存在元素，可選擇返回null結果(<一個類＝"reference external" href="https://issues.apache.org/jira/browse/SPARK-37750">火星- 37750）
允許在數值類型和時間戳類型之間進行強製轉換(<一個類＝"reference external" href="https://issues.apache.org/jira/browse/SPARK-37714">火星- 37714）
默認禁用ANSI保留關鍵字(<一個類＝"reference external" href="https://issues.apache.org/jira/browse/SPARK-37724">火星- 37724）
使用存儲分配規則來解析函數調用(<一個類＝"reference external" href="https://issues.apache.org/jira/browse/SPARK-37438">火星- 37438）
添加配置以允許在Datetime和Numeric (<一個類＝"reference external" href="https://issues.apache.org/jira/browse/SPARK-37179">火星- 37179）
添加配置可選地強製ANSI保留關鍵字(<一個類＝"reference external" href="https://issues.apache.org/jira/browse/SPARK-37133">火星- 37133）
禁止在Interval和String字麵值之間進行二進製操作(<一個類＝"reference external" href="https://issues.apache.org/jira/browse/SPARK-36508">火星- 36508）
功能增強<一個類＝"headerlink" href="//www.eheci.com/docs/release-notes/runtime/#feature-enhancements" title="">
支持ANSI SQL INTERVAL類型(<一個類＝"reference external" href="https://issues.apache.org/jira/browse/SPARK-27790">火星- 27790）
錯誤信息改進(<一個類＝"reference external" href="https://issues.apache.org/jira/browse/SPARK-38781">火星- 38781）
Spark SQL的隱藏文件元數據支持(<一個類＝"reference external" href="https://issues.apache.org/jira/browse/SPARK-37273">火星- 37273）
支持原始字符串文字(<一個類＝"reference external" href="https://issues.apache.org/jira/browse/SPARK-36371">火星- 36371）
批處理Dataset.observe() (<一個類＝"reference external" href="https://issues.apache.org/jira/browse/SPARK-34806">火星- 34806）
支持為重平衡指定初始分區號(<一個類＝"reference external" href="https://issues.apache.org/jira/browse/SPARK-38410">火星- 38410）
支持級聯模式
dropNamespaceAPI (<一個類＝"reference external" href="https://issues.apache.org/jira/browse/SPARK-37929">火星- 37929）允許datetime類型之間的存儲賦值和隱式強製轉換(<一個類＝"reference external" href="https://issues.apache.org/jira/browse/SPARK-37707">火星- 37707）
收集，第一個和最後一個應該是確定的聚合函數(<一個類＝"reference external" href="https://issues.apache.org/jira/browse/SPARK-32940">火星- 32940）
為具有複雜重載的函數添加ExpressionBuilder (<一個類＝"reference external" href="https://issues.apache.org/jira/browse/SPARK-37164">火星- 37164）
通過名稱向聯合添加數組支持(<一個類＝"reference external" href="https://issues.apache.org/jira/browse/SPARK-36546">火星- 36546）
添加df。withMetadata:用於更新數據幀元數據的語法糖(<一個類＝"reference external" href="https://issues.apache.org/jira/browse/SPARK-36642">火星- 36642）
支持原始字符串文字(<一個類＝"reference external" href="https://issues.apache.org/jira/browse/SPARK-36371">火星- 36371）
使用CAST解析默認模式的日期/時間戳(<一個類＝"reference external" href="https://issues.apache.org/jira/browse/SPARK-36418">火星- 36418）
支持數據集嵌套模式中的值類(<一個類＝"reference external" href="https://issues.apache.org/jira/browse/SPARK-20384">火星- 20384）
添加AS OF語法支持(<一個類＝"reference external" href="https://issues.apache.org/jira/browse/SPARK-37219">火星- 37219）
在TABLESAMPLE中添加REPEATABLE以指定種子(<一個類＝"reference external" href="https://issues.apache.org/jira/browse/SPARK-37165">火星- 37165）
添加ansi語法
集目錄xxx要更改當前目錄(<一個類＝"reference external" href="https://issues.apache.org/jira/browse/SPARK-36841">火星- 36841）支持ILIKE (ALL | ANY | SOME) -大小寫不敏感LIKE (<一個類＝"reference external" href="https://issues.apache.org/jira/browse/SPARK-36674">火星- 36674，<一個類＝"reference external" href="https://issues.apache.org/jira/browse/SPARK-36736">火星- 36736，<一個類＝"reference external" href="https://issues.apache.org/jira/browse/SPARK-36778">火星- 36778）
支持格式化解釋模式下查詢階段顯示運行時統計數據(<一個類＝"reference external" href="https://issues.apache.org/jira/browse/SPARK-38322">火星- 38322）
為排序合並連接添加溢出大小指標(<一個類＝"reference external" href="https://issues.apache.org/jira/browse/SPARK-37726">火星- 37726）
更新SHOW函數的SQL語法(<一個類＝"reference external" href="https://issues.apache.org/jira/browse/SPARK-37777">火星- 37777）
支持DROP COLUMN [IF EXISTS]語法(<一個類＝"reference external" href="https://issues.apache.org/jira/browse/SPARK-38939">火星- 38939）
新的內置函數及其擴展(<一個類＝"reference external" href="https://issues.apache.org/jira/browse/SPARK-38783">火星- 38783）
Datetime
添加TIMESTAMPADD()函數(<一個類＝"reference external" href="https://issues.apache.org/jira/browse/SPARK-38195">火星- 38195）
添加TIMESTAMPDIFF()函數(<一個類＝"reference external" href="https://issues.apache.org/jira/browse/SPARK-38284">火星- 38284）
添加
DATEDIFF ()別名TIMESTAMPDIFF ()（<一個類＝"reference external" href="https://issues.apache.org/jira/browse/SPARK-38389">火星- 38389）添加
返回()別名TIMESTAMPADD ()（<一個類＝"reference external" href="https://issues.apache.org/jira/browse/SPARK-38332">火星- 38332）添加
轉換\ _timezone ()函數(<一個類＝"reference external" href="https://issues.apache.org/jira/browse/SPARK-37552">火星- 37552，<一個類＝"reference external" href="https://issues.apache.org/jira/browse/SPARK-37568">火星- 37568）在函數中公開make_date表達式。scala (<一個類＝"reference external" href="https://issues.apache.org/jira/browse/SPARK-36554">火星- 36554）
AES功能(<一個類＝"reference external" href="https://issues.apache.org/jira/browse/SPARK-12567">火星- 12567）
增加內置函數aes_encrypt和aes_decrypt (<一個類＝"reference external" href="https://issues.apache.org/jira/browse/SPARK-12567">火星- 12567）
支持GCM模式
aes \ _encrypt ()/aes \ _decrypt ()（<一個類＝"reference external" href="https://issues.apache.org/jira/browse/SPARK-37591">火星- 37591）集
GCM中的默認模式aes \ _encrypt ()/aes \ _decrypt ()（<一個類＝"reference external" href="https://issues.apache.org/jira/browse/SPARK-37666">火星- 37666）添加
模式而且填充參數,aes \ _encrypt ()/aes \ _decrypt ()（<一個類＝"reference external" href="https://issues.apache.org/jira/browse/SPARK-37586">火星- 37586）
ANSI聚合函數(<一個類＝"reference external" href="https://issues.apache.org/jira/browse/SPARK-37671">火星- 37671）
函數:regr_count (<一個類＝"reference external" href="https://issues.apache.org/jira/browse/SPARK-37613">火星- 37613）
支持ANSI聚合函數:regr_avgx & regr_avgy (<一個類＝"reference external" href="https://issues.apache.org/jira/browse/SPARK-37614">火星- 37614）
支持ANSI聚合函數:<一個類＝"reference external" href="https://issues.apache.org/jira/browse/SPARK-37676">火星- 37676，<一個類＝"reference external" href="https://issues.apache.org/jira/browse/SPARK-38219">火星- 38219）
支持ANSI聚合函數:<一個類＝"reference external" href="https://issues.apache.org/jira/browse/SPARK-37691">火星- 37691）
函數:regr_count (<一個類＝"reference external" href="https://issues.apache.org/jira/browse/SPARK-37613">火星- 37613）
支持ANSI聚合函數:<一個類＝"reference external" href="https://issues.apache.org/jira/browse/SPARK-27974">火星- 27974）
函數:regr_r2 (<一個類＝"reference external" href="https://issues.apache.org/jira/browse/SPARK-37641">火星- 37641）
新的SQL函數:try_avg (<一個類＝"reference external" href="https://issues.apache.org/jira/browse/SPARK-38589">火星- 38589）
集合
介紹SQL函數ARRAY_SIZE<一個類＝"reference external" href="https://issues.apache.org/jira/browse/SPARK-38345">火星- 38345）
新的SQL函數:map_contains_key<一個類＝"reference external" href="https://issues.apache.org/jira/browse/SPARK-37584">火星- 37584）
新的SQL函數:try_element_at (<一個類＝"reference external" href="https://issues.apache.org/jira/browse/SPARK-37533">火星- 37533）
新的SQL函數:try_sum (<一個類＝"reference external" href="https://issues.apache.org/jira/browse/SPARK-38548">火星- 38548）
格式
添加一個新的SQL函數到_binary (<一個類＝"reference external" href="https://issues.apache.org/jira/browse/SPARK-37507">火星- 37507，<一個類＝"reference external" href="https://issues.apache.org/jira/browse/SPARK-38796">火星- 38796）
新的SQL函數:try_to_binary (<一個類＝"reference external" href="https://issues.apache.org/jira/browse/SPARK-38590">火星- 38590，<一個類＝"reference external" href="https://issues.apache.org/jira/browse/SPARK-38796">火星- 38796）
數據類型格式化功能:
到\ _number（<一個類＝"reference external" href="https://issues.apache.org/jira/browse/SPARK-28137">火星- 28137）
字符串/二進製
添加CONTAINS()字符串函數<一個類＝"reference external" href="https://issues.apache.org/jira/browse/SPARK-37508">火星- 37508）
添加
startswith ()而且endswith ()字符串函數(<一個類＝"reference external" href="https://issues.apache.org/jira/browse/SPARK-37520">火星- 37520）為二進製字符串添加lpad和rpad函數(<一個類＝"reference external" href="https://issues.apache.org/jira/browse/SPARK-37047">火星- 37047）
支持split_part函數<一個類＝"reference external" href="https://issues.apache.org/jira/browse/SPARK-38063">火星- 38063）
為地板和天花板函數添加縮放參數(<一個類＝"reference external" href="https://issues.apache.org/jira/browse/SPARK-37475">火星- 37475）
新的SQL函數:try_subtract和try_multiply (<一個類＝"reference external" href="https://issues.apache.org/jira/browse/SPARK-38164">火星- 38164）
實現了支持部分聚合的histogram_numeric聚合函數(<一個類＝"reference external" href="https://issues.apache.org/jira/browse/SPARK-16280">火星- 16280）
在sql中添加max_by/min_by。函數(<一個類＝"reference external" href="https://issues.apache.org/jira/browse/SPARK-36963">火星- 36963）
增加新的內置SQL函數:SEC和CSC (<一個類＝"reference external" href="https://issues.apache.org/jira/browse/SPARK-36683">火星- 36683）
array_intersect處理重複的Double。NaN和Float。南(<一個類＝"reference external" href="https://issues.apache.org/jira/browse/SPARK-36754">火星- 36754）
將cot添加為Scala和Python函數(<一個類＝"reference external" href="https://issues.apache.org/jira/browse/SPARK-36660">火星- 36660）
性能增強<一個類＝"headerlink" href="//www.eheci.com/docs/release-notes/runtime/#performance-enhancements" title="">
全階段代碼生成
添加代碼生成，用於排序聚合而不分組鍵(<一個類＝"reference external" href="https://issues.apache.org/jira/browse/SPARK-37564">火星- 37564）
為完整的外部排序合並連接添加代碼生成(<一個類＝"reference external" href="https://issues.apache.org/jira/browse/SPARK-35352">火星- 35352）
為完整的外部洗牌哈希連接添加代碼生成(<一個類＝"reference external" href="https://issues.apache.org/jira/browse/SPARK-32567">火星- 32567）
為存在排序合並連接添加代碼生成(<一個類＝"reference external" href="https://issues.apache.org/jira/browse/SPARK-37316">火星- 37316）
下推(濾鏡)
通過RebalancePartitions下推過濾器(<一個類＝"reference external" href="https://issues.apache.org/jira/browse/SPARK-37828">火星- 37828）
下推布爾列篩選器(<一個類＝"reference external" href="https://issues.apache.org/jira/browse/SPARK-36644">火星- 36644）
如果連接條件為空，則左半/反連接右側推下限製1 (<一個類＝"reference external" href="https://issues.apache.org/jira/browse/SPARK-37917">火星- 37917）
翻譯更多的標準聚合函數進行下推(<一個類＝"reference external" href="https://issues.apache.org/jira/browse/SPARK-37527">火星- 37527）
支持通過聚合/聯合傳播空關係(<一個類＝"reference external" href="https://issues.apache.org/jira/browse/SPARK-35442">火星- 35442）
行級運行時過濾(<一個類＝"reference external" href="https://issues.apache.org/jira/browse/SPARK-32268">火星- 32268）
支持行級運行時過濾器中的左半連接(<一個類＝"reference external" href="https://issues.apache.org/jira/browse/SPARK-38565">火星- 38565）
支持謂詞下推和列剪枝減duped cte (<一個類＝"reference external" href="https://issues.apache.org/jira/browse/SPARK-37670">火星- 37670）
向量化
實現一個ConstantColumnVector並提高隱藏文件元數據的性能(<一個類＝"reference external" href="https://issues.apache.org/jira/browse/SPARK-37896">火星- 37896）
為VectorizedPlainValuesReader啟用向量化讀取。readBooleans (<一個類＝"reference external" href="https://issues.apache.org/jira/browse/SPARK-35867">火星- 35867）
結合/刪除/替換節點
合並工會，如果他們之間有一個項目(<一個類＝"reference external" href="https://issues.apache.org/jira/browse/SPARK-37915">火星- 37915）
如果我們可以安全的向上施放兩個施放法，則合並為一個施放法(<一個類＝"reference external" href="https://issues.apache.org/jira/browse/SPARK-37922">火星- 37922）
如果Sort是RepartitionByExpression (<一個類＝"reference external" href="https://issues.apache.org/jira/browse/SPARK-36703">火星- 36703）
刪除外部連接，如果它在流側隻有DISTINCT和別名(<一個類＝"reference external" href="https://issues.apache.org/jira/browse/SPARK-37292">火星- 37292）
如果子元素已經排序(<一個類＝"reference external" href="https://issues.apache.org/jira/browse/SPARK-37455">火星- 37455）
隻有在不複製昂貴表達式時才會崩潰項目(<一個類＝"reference external" href="https://issues.apache.org/jira/browse/SPARK-36718">火星- 36718）
刪除多餘的別名後RewritePredicateSubquery (<一個類＝"reference external" href="https://issues.apache.org/jira/browse/SPARK-36280">火星- 36280）
合並不相關的標量子查詢(<一個類＝"reference external" href="https://issues.apache.org/jira/browse/SPARK-34079">火星- 34079）
分區
如果存在靜態分區修剪，則不要添加動態分區修剪(<一個類＝"reference external" href="https://issues.apache.org/jira/browse/SPARK-38148">火星- 38148）
改進優化器規則中的重平衡分區(<一個類＝"reference external" href="https://issues.apache.org/jira/browse/SPARK-37904">火星- 37904）
為重新平衡分區添加小分區因子(<一個類＝"reference external" href="https://issues.apache.org/jira/browse/SPARK-37357">火星- 37357）
加入
微調邏輯以降級廣播哈希連接在DynamicJoinSelection (<一個類＝"reference external" href="https://issues.apache.org/jira/browse/SPARK-37753">火星- 37753）
在為SEMI/ANTI洗牌散列連接建立關係時忽略重複的連接鍵(<一個類＝"reference external" href="https://issues.apache.org/jira/browse/SPARK-36794">火星- 36794）
支持優化傾斜連接，即使引入額外的shuffle (<一個類＝"reference external" href="https://issues.apache.org/jira/browse/SPARK-33832">火星- 33832）
AQE
支持消除限製在AQE優化器(<一個類＝"reference external" href="https://issues.apache.org/jira/browse/SPARK-36424">火星- 36424）
在普通和AQE優化器中優化一行計劃(<一個類＝"reference external" href="https://issues.apache.org/jira/browse/SPARK-38162">火星- 38162）
聚合。隻支持可折疊表達式(<一個類＝"reference external" href="https://issues.apache.org/jira/browse/SPARK-38489">火星- 38489）
arrayEquals應該快速跳過與未對齊平台對齊的檢查(Beplay体育安卓版本<一個類＝"reference external" href="https://issues.apache.org/jira/browse/SPARK-37796">火星- 37796）
在替換規則中添加樹型修剪(<一個類＝"reference external" href="https://issues.apache.org/jira/browse/SPARK-37379">火星- 37379）
添加更多Not運算符簡化(<一個類＝"reference external" href="https://issues.apache.org/jira/browse/SPARK-36665">火星- 36665）
在unwrapcastinbinarycompare中支持布爾類型(<一個類＝"reference external" href="https://issues.apache.org/jira/browse/SPARK-36607">火星- 36607）
聯合刪除第一個非空表達式之後的所有表達式(<一個類＝"reference external" href="https://issues.apache.org/jira/browse/SPARK-36359">火星- 36359）
添加邏輯計劃訪問器以傳播不同的屬性(<一個類＝"reference external" href="https://issues.apache.org/jira/browse/SPARK-36194">火星- 36194）
內置連接器增強功能<一個類＝"headerlink" href="//www.eheci.com/docs/release-notes/runtime/#built-in-connector-enhancements" title="">
一般
datetime從datasource (<一個類＝"reference external" href="https://issues.apache.org/jira/browse/SPARK-38437">火星- 38437）
當表路徑的第一個字母為斜杠時，將表位置視為絕對位置(<一個類＝"reference external" href="https://issues.apache.org/jira/browse/SPARK-38236">火星- 38236）
從空靜態數字類型分區(<一個類＝"reference external" href="https://issues.apache.org/jira/browse/SPARK-35561">火星- 35561）
支持
ignoreCorruptFiles而且ignoreMissingFiles在數據源選項中(<一個類＝"reference external" href="https://issues.apache.org/jira/browse/SPARK-38767">火星- 38767）添加命令
顯示目錄（<一個類＝"reference external" href="https://issues.apache.org/jira/browse/SPARK-35973">火星- 35973）
拚花
啟用根據字段id匹配模式列名(<一個類＝"reference external" href="https://issues.apache.org/jira/browse/SPARK-38094">火星- 38094）
在拚字板中讀取/寫入數據時刪除檢查字段名稱(<一個類＝"reference external" href="https://issues.apache.org/jira/browse/SPARK-27442">火星- 27442）
支持向量化讀布爾值使用RLE編碼Parquet DataPage V2 (<一個類＝"reference external" href="https://issues.apache.org/jira/browse/SPARK-37864">火星- 37864）
支持向量化路徑的Parquet v2數據頁編碼(delta_binary_packs)<一個類＝"reference external" href="https://issues.apache.org/jira/browse/SPARK-36879">火星- 36879）
更改保存在Parquet/Avro元數據中的會話時區的時間戳(<一個類＝"reference external" href="https://issues.apache.org/jira/browse/SPARK-37705">火星- 37705）
按分區列下推聚合組(<一個類＝"reference external" href="https://issues.apache.org/jira/browse/SPARK-36646">火星- 36646）
合計(最小/最大/計數)壓下拚花(<一個類＝"reference external" href="https://issues.apache.org/jira/browse/SPARK-36645">火星- 36645）
Parquet:通過字段id (<一個類＝"reference external" href="https://issues.apache.org/jira/browse/SPARK-38094">火星- 38094）
如果使用G1GC和ON_HEAP，則通過LONG_ARRAY_OFFSET減少默認頁麵大小(<一個類＝"reference external" href="https://issues.apache.org/jira/browse/SPARK-37593">火星- 37593）
為Parquet V2支持實現向量化的DELTA_BYTE_ARRAY和DELTA_LENGTH_BYTE_ARRAY編碼(<一個類＝"reference external" href="https://issues.apache.org/jira/browse/SPARK-37974">火星- 37974）
支持Parquet向量化閱讀器的複雜類型(<一個類＝"reference external" href="https://issues.apache.org/jira/browse/SPARK-34863">火星- 34863）
獸人
在Orc中讀取/寫入現有數據時刪除檢查字段名稱(<一個類＝"reference external" href="https://issues.apache.org/jira/browse/SPARK-37965">火星- 37965）
ORC的總下推(<一個類＝"reference external" href="https://issues.apache.org/jira/browse/SPARK-34960">火星- 34960）
支持從/到ORC數據源讀取和寫入ANSI間隔(<一個類＝"reference external" href="https://issues.apache.org/jira/browse/SPARK-36931">火星- 36931）
在ORC數據源中支持純數字列名(<一個類＝"reference external" href="https://issues.apache.org/jira/browse/SPARK-36663">火星- 36663）
JSON
在JSON閱讀器中解析引用NaN和Infinity值時，尊重allowNonNumericNumbers (<一個類＝"reference external" href="https://issues.apache.org/jira/browse/SPARK-38060">火星- 38060）
在CSV/JSON中，datetime默認使用CAST (<一個類＝"reference external" href="https://issues.apache.org/jira/browse/SPARK-36536">火星- 36536）
在Json閱讀器的MapType中對齊不支持的鍵類型的錯誤消息(<一個類＝"reference external" href="https://issues.apache.org/jira/browse/SPARK-35320">火星- 35320）
CSV
修複了引用CSV中的損壞記錄列的問題(<一個類＝"reference external" href="https://issues.apache.org/jira/browse/SPARK-38523">火星- 38534）
null值應該保存為空值，而不是帶引號的空字符串" "<一個類＝"reference external" href="https://issues.apache.org/jira/browse/SPARK-37575">火星- 37575）
JDBC
將IMMEDIATE語句添加到DB2方言截斷實現(<一個類＝"reference external" href="https://issues.apache.org/jira/browse/SPARK-30062">火星- 30062）
蜂巢
支持寫入Hive bucket表(Hive文件格式與Hive hash) (<一個類＝"reference external" href="https://issues.apache.org/jira/browse/SPARK-32712">火星- 32712）
使用表達式在客戶端過濾Hive分區(<一個類＝"reference external" href="https://issues.apache.org/jira/browse/SPARK-35437">火星- 35437）
支持動態分區修剪HiveTableScanExec (<一個類＝"reference external" href="https://issues.apache.org/jira/browse/SPARK-36876">火星- 36876）
InsertIntoHiveDir應該使用數據源，如果它是可轉換的(<一個類＝"reference external" href="https://issues.apache.org/jira/browse/SPARK-38215">火星- 38215）
支持寫Hive bucket表(Parquet/ORC格式，帶Hive hash) (<一個類＝"reference external" href="https://issues.apache.org/jira/browse/SPARK-32709">火星- 32709）
節點解除<一個類＝"headerlink" href="//www.eheci.com/docs/release-notes/runtime/#node-decommission" title="">
FallbackStorage不應該嚐試解析任意的“遠程”主機名(<一個類＝"reference external" href="https://issues.apache.org/jira/browse/SPARK-38062">火星- 38062）
ExecutorMonitor。onExecutorRemoved應該處理ExecutorDecommission作為完成(<一個類＝"reference external" href="https://issues.apache.org/jira/browse/SPARK-38023">火星- 38023）
其他顯著變化<一個類＝"headerlink" href="//www.eheci.com/docs/release-notes/runtime/#other-notable-changes" title="">
將細粒度鎖添加到blockinfemanager (<一個類＝"reference external" href="https://issues.apache.org/jira/browse/SPARK-37356">火星- 37356）
支持將Spark gpu/fpga資源類型映射為自定義YARN資源類型(<一個類＝"reference external" href="https://issues.apache.org/jira/browse/SPARK-37208">火星- 37208）
報告準確的shuffle塊大小，如果其傾斜(<一個類＝"reference external" href="https://issues.apache.org/jira/browse/SPARK-36967">火星- 36967）
支持網絡層的Netty日誌記錄(<一個類＝"reference external" href="https://issues.apache.org/jira/browse/SPARK-36719">火星- 36719）
結構化流<一個類＝"headerlink" href="//www.eheci.com/docs/release-notes/runtime/#structured-streaming" title="">
主要功能<一個類＝"headerlink" href="//www.eheci.com/docs/release-notes/runtime/#major-features" title="">
介紹觸發。AvailableNow用於運行像Trigger這樣的流查詢。一次在多個批次(<一個類＝"reference external" href="https://issues.apache.org/jira/browse/SPARK-36533">火星- 36533）
其他顯著變化<一個類＝"headerlink" href="//www.eheci.com/docs/release-notes/runtime/#other-notable-changes" title="">
使用statfulopclustereddistribution對有狀態操作符進行向後兼容(<一個類＝"reference external" href="https://issues.apache.org/jira/browse/SPARK-38204">火星- 38204）
修複flatMapGroupsWithState超時的批量與數據鍵(<一個類＝"reference external" href="https://issues.apache.org/jira/browse/SPARK-38320">火星- 38320）
修複了與RocksDB狀態存儲提供程序的流-流外部連接的正確性問題(<一個類＝"reference external" href="https://issues.apache.org/jira/browse/SPARK-38684">火星- 38684）
支持觸發。Kafka數據源上的AvailableNow (<一個類＝"reference external" href="https://issues.apache.org/jira/browse/SPARK-36649">火星- 36649）
優化RocksDB狀態存儲提供程序的寫路徑(<一個類＝"reference external" href="https://issues.apache.org/jira/browse/SPARK-37224">火星- 37224）
引入一個新的數據源，為每個微批提供一致的行集(<一個類＝"reference external" href="https://issues.apache.org/jira/browse/SPARK-37062">火星- 37062）
使用HashClusteredDistribution對有狀態操作符進行向後兼容(<一個類＝"reference external" href="https://issues.apache.org/jira/browse/SPARK-38204">火星- 38204）
PySpark<一個類＝"headerlink" href="//www.eheci.com/docs/release-notes/runtime/#pyspark" title="">
Spark上的Pandas API<一個類＝"headerlink" href="//www.eheci.com/docs/release-notes/runtime/#pandas-api-on-spark" title="">
重大改進<一個類＝"headerlink" href="//www.eheci.com/docs/release-notes/runtime/#major-improvements" title="">
'分布式序列'索引優化為默認值(<一個類＝"reference external" href="https://issues.apache.org/jira/browse/SPARK-36559">火星- 36559，<一個類＝"reference external" href="https://issues.apache.org/jira/browse/SPARK-36338">火星- 36338）
支持在Spark上的pandas API中指定索引類型和名稱(<一個類＝"reference external" href="https://issues.apache.org/jira/browse/SPARK-36709">火星- 36709）
在Spark上為pandas API顯示SQL計劃中的默認索引類型(<一個類＝"reference external" href="https://issues.apache.org/jira/browse/SPARK-38654">火星- 38654）
主要功能<一個類＝"headerlink" href="//www.eheci.com/docs/release-notes/runtime/#major-features" title="">
實現SparkSQL本機ps.merge_asof (<一個類＝"reference external" href="https://issues.apache.org/jira/browse/SPARK-36813">火星- 36813）
在Spark的pandas API中支持TimedeltaIndex (<一個類＝"reference external" href="https://issues.apache.org/jira/browse/SPARK-37525">火星- 37525）
支持Python的timedelta (<一個類＝"reference external" href="https://issues.apache.org/jira/browse/SPARK-37275">火星- 37275，<一個類＝"reference external" href="https://issues.apache.org/jira/browse/SPARK-37510">火星- 37510）
在CategoricalAccessor/CategoricalIndex (<一個類＝"reference external" href="https://issues.apache.org/jira/browse/SPARK-36185">火星- 36185）
在Spark上的pandas API中使用Python的SQL API標準字符串格式化器(<一個類＝"reference external" href="https://issues.apache.org/jira/browse/SPARK-37436">火星- 37436）
支持timedelta Series/Index的基本操作(<一個類＝"reference external" href="https://issues.apache.org/jira/browse/SPARK-37510">火星- 37510）
支持ps.MultiIndex.dtypes (<一個類＝"reference external" href="https://issues.apache.org/jira/browse/SPARK-36930">火星- 36930）
實現指數。地圖(<一個類＝"reference external" href="https://issues.apache.org/jira/browse/SPARK-36469">火星- 36469）
實現係列。__xor__和係列。__rxor__ (<一個類＝"reference external" href="https://issues.apache.org/jira/browse/SPARK-36653">火星- 36653）
實現一元運算符
反的積分ps.Series/Index (<一個類＝"reference external" href="https://issues.apache.org/jira/browse/SPARK-36003">火星- 36003）實現DataFrame。浸(<一個類＝"reference external" href="https://issues.apache.org/jira/browse/SPARK-36396">火星- 36396）
支持str和時間戳(Series|DataFrame).describe()<一個類＝"reference external" href="https://issues.apache.org/jira/browse/SPARK-37657">火星- 37657）
支持λ
列參數的DataFrame.rename（<一個類＝"reference external" href="https://issues.apache.org/jira/browse/SPARK-38763">火星- 38763）
其他顯著變化<一個類＝"headerlink" href="//www.eheci.com/docs/release-notes/runtime/#other-notable-changes" title="">
突發的變化<一個類＝"headerlink" href="//www.eheci.com/docs/release-notes/runtime/#breaking-changes" title="">
在docs和Python /docs中刪除對Python 3.6支持的引用(<一個類＝"reference external" href="https://issues.apache.org/jira/browse/SPARK-36977">火星- 36977）
通過將內置pickle替換為cloudpickle來刪除namedtuple hack (<一個類＝"reference external" href="https://issues.apache.org/jira/browse/SPARK-32079">火星- 32079）
將熊貓最小版本提升至1.0.5 (<一個類＝"reference external" href="https://issues.apache.org/jira/browse/SPARK-37465">火星- 37465）
重大改進
為Python/Pandas udf提供分析器(<一個類＝"reference external" href="https://issues.apache.org/jira/browse/SPARK-37443">火星- 37443）
在PySpark中使用Python的SQL API標準字符串格式化器(<一個類＝"reference external" href="https://issues.apache.org/jira/browse/SPARK-37516">火星- 37516）
在PySpark異常中公開SQL狀態和錯誤類(<一個類＝"reference external" href="https://issues.apache.org/jira/browse/SPARK-36953">火星- 36953）
嚐試在Python工作線程崩潰時捕獲faulthanlder (<一個類＝"reference external" href="https://issues.apache.org/jira/browse/SPARK-36062">火星- 36062）
主要功能<一個類＝"headerlink" href="//www.eheci.com/docs/release-notes/runtime/#major-features" title="">
實現DataFrame。mapInArrow in Python (<一個類＝"reference external" href="https://issues.apache.org/jira/browse/SPARK-37228">火星- 37228）
在PySpark中使用Python的SQL API標準字符串格式化器(<一個類＝"reference external" href="https://issues.apache.org/jira/browse/SPARK-37516">火星- 37516）
添加df。pyspark API (<一個類＝"reference external" href="https://issues.apache.org/jira/browse/SPARK-36642">火星- 36642）
支持Python的timedelta (<一個類＝"reference external" href="https://issues.apache.org/jira/browse/SPARK-37275">火星- 37275）
在pyspark.sql.catalog中暴露tableExists (<一個類＝"reference external" href="https://issues.apache.org/jira/browse/SPARK-36176">火星- 36176）
暴露pyspark.sql.catalog中的databaseExists (<一個類＝"reference external" href="https://issues.apache.org/jira/browse/SPARK-36207">火星- 36207）
暴露函數存在於pyspark sql目錄中(<一個類＝"reference external" href="https://issues.apache.org/jira/browse/SPARK-36258">火星- 36258）
添加Dataframe。觀察PySpark (<一個類＝"reference external" href="https://issues.apache.org/jira/browse/SPARK-36263">火星- 36263）
將max_by/min_by API添加到PySpark<一個類＝"reference external" href="https://issues.apache.org/jira/browse/SPARK-36972">火星- 36972）
支持在創建DataFrame時推斷嵌套的dict為結構(<一個類＝"reference external" href="https://issues.apache.org/jira/browse/SPARK-35929">火星- 35929）
添加位/octet_length api到Scala, Python和R (<一個類＝"reference external" href="https://issues.apache.org/jira/browse/SPARK-36751">火星- 36751）
支持ILIKE API的Python (<一個類＝"reference external" href="https://issues.apache.org/jira/browse/SPARK-36882">火星- 36882）
為Python DataFrame API添加isEmpty方法(<一個類＝"reference external" href="https://issues.apache.org/jira/browse/SPARK-37207">火星- 37207）
添加多個列，添加支持(<一個類＝"reference external" href="https://issues.apache.org/jira/browse/SPARK-35173">火星- 35173）
添加SparkContext。一個ddArchive in PySpark (<一個類＝"reference external" href="https://issues.apache.org/jira/browse/SPARK-38278">火星- 38278）
使sql類型reprs可計算(<一個類＝"reference external" href="https://issues.apache.org/jira/browse/SPARK-18621">火星- 18621）
python/pyspark/mllib中fpm.py的內聯類型提示(<一個類＝"reference external" href="https://issues.apache.org/jira/browse/SPARK-37396">火星- 37396）
實現
dropna參數的SeriesGroupBy.value_counts（<一個類＝"reference external" href="https://issues.apache.org/jira/browse/SPARK-38837">火星- 38837）
MLLIB<一個類＝"headerlink" href="//www.eheci.com/docs/release-notes/runtime/#mllib" title="">
主要功能<一個類＝"headerlink" href="//www.eheci.com/docs/release-notes/runtime/#major-features" title="">
為trainKMeansModel添加distancmeasure參數<一個類＝"reference external" href="https://issues.apache.org/jira/browse/SPARK-37118">火星- 37118）
暴露LogisticRegression。集在itialModel, like KMeans et al do (<一個類＝"reference external" href="https://issues.apache.org/jira/browse/SPARK-36481">火星- 36481）
支持CrossValidatorModel獲取每個paramMap的度量標準偏差(<一個類＝"reference external" href="https://issues.apache.org/jira/browse/SPARK-36425">火星- 36425）
重大改進<一個類＝"headerlink" href="//www.eheci.com/docs/release-notes/runtime/#major-improvements" title="">
通過延遲分配優化MLlib中的一些treeaggregate (<一個類＝"reference external" href="https://issues.apache.org/jira/browse/SPARK-35848">火星- 35848）
重寫_shared_params_code_gen.py為ml/param/shared.py的內聯類型提示(<一個類＝"reference external" href="https://issues.apache.org/jira/browse/SPARK-37419">火星- 37419）
其他顯著變化<一個類＝"headerlink" href="//www.eheci.com/docs/release-notes/runtime/#other-notable-changes" title="">
更新至breeze 1.2 (<一個類＝"reference external" href="https://issues.apache.org/jira/browse/SPARK-35310">火星- 35310）
SparkR<一個類＝"headerlink" href="//www.eheci.com/docs/release-notes/runtime/#sparkr" title="">
將SparkR文檔遷移到pkgdown (<一個類＝"reference external" href="https://issues.apache.org/jira/browse/SPARK-37474">火星- 37474）
在R中公開make_date表達式(<一個類＝"reference external" href="https://issues.apache.org/jira/browse/SPARK-37108">火星- 37108）
將max_by/min_by API添加到SparkR (<一個類＝"reference external" href="https://issues.apache.org/jira/browse/SPARK-36976">火星- 36976）
支持ILIKE API上的R (<一個類＝"reference external" href="https://issues.apache.org/jira/browse/SPARK-36899">火星- 36899）
加sec和csc為R函數(<一個類＝"reference external" href="https://issues.apache.org/jira/browse/SPARK-36824">火星- 36824）
添加位/octet_length api到Scala, Python和R (<一個類＝"reference external" href="https://issues.apache.org/jira/browse/SPARK-36751">火星- 36751）
添加cot作為R函數(<一個類＝"reference external" href="https://issues.apache.org/jira/browse/SPARK-36688">火星- 36688）
用戶界麵<一個類＝"headerlink" href="//www.eheci.com/docs/release-notes/runtime/#ui" title="">
階段級別的推測指標總結(<一個類＝"reference external" href="https://issues.apache.org/jira/browse/SPARK-36038">火星- 36038）
統一shuffle read block time to shuffle read fetch wait time in StagePage (<一個類＝"reference external" href="https://issues.apache.org/jira/browse/SPARK-37469">火星- 37469）
在用戶界麵中添加修改後的SQL執行配置(<一個類＝"reference external" href="https://issues.apache.org/jira/browse/SPARK-34735">火星- 34735）
使ThriftServer識別spark.sql.redaction.string.regex (<一個類＝"reference external" href="https://issues.apache.org/jira/browse/SPARK-36400">火星- 36400）
在UI中啟動應用程序後附加並啟動處理程序(<一個類＝"reference external" href="https://issues.apache.org/jira/browse/SPARK-36237">火星- 36237）
將提交持續時間添加到SQL選項卡的圖形節點(<一個類＝"reference external" href="https://issues.apache.org/jira/browse/SPARK-34399">火星- 34399）
支持RocksDB後端在Spark曆史服務器(<一個類＝"reference external" href="https://issues.apache.org/jira/browse/SPARK-37680">火星- 37680）
在UI中顯示Pandas API的選項(<一個類＝"reference external" href="https://issues.apache.org/jira/browse/SPARK-38656">火星- 38656）
在SQL UI頁麵中將“SQL”重命名為“SQL / DataFrame”(<一個類＝"reference external" href="https://issues.apache.org/jira/browse/SPARK-38657">火星- 38657）
構建<一個類＝"headerlink" href="//www.eheci.com/docs/release-notes/runtime/#build" title="">
從log4j 1遷移到log4j 2 (<一個類＝"reference external" href="https://issues.apache.org/jira/browse/SPARK-37814">火星- 37814）
將log4j2升級到2.17.2 (<一個類＝"reference external" href="https://issues.apache.org/jira/browse/SPARK-38544">火星- 38544）
升級至Py4J 0.10.9.5 (<一個類＝"reference external" href="https://issues.apache.org/jira/browse/SPARK-38563">火星- 38563）
更新ORC至1.7.4 (<一個類＝"reference external" href="https://issues.apache.org/jira/browse/SPARK-38866">火星- 38866）
更新數據表至1.10.25 (<一個類＝"reference external" href="https://issues.apache.org/jira/browse/SPARK-38924">火星- 38924）
維護更新<一個類＝"headerlink" href="//www.eheci.com/docs/release-notes/runtime/#maintenance-updates" title="">
看到<一個類＝"reference internal" href="//www.eheci.com/docs/docs/release-notes/runtime/maintenance-updates.html">Databricks運行時11.0。
係統環境<一個類＝"headerlink" href="//www.eheci.com/docs/release-notes/runtime/#system-environment" title="">
操作係統: Ubuntu 20.04.4 LTS
Java: Zulu 8.56.0.21-CA-linux64
Scala: 2.12.14
Python: 3.9.5
R: 4.1.3
三角洲湖: 1.2.1 "
已安裝的Python庫<一個類＝"headerlink" href="//www.eheci.com/docs/release-notes/runtime/#installed-python-libraries" title="">
圖書館 |
版本 |
圖書館 |
版本 |
圖書館 |
版本 |
|---|---|---|---|---|---|
Antergos Linux |
2015.10 (ISO-Rolling) |
argon2-cffi |
20.1.0 |
async-generator |
1.10 |
attrs |
21.2.0 |
backcall |
0.2.0 |
backports.entry-points-selectable |
1.1.1 |
漂白劑 |
4.0.0 |
boto3 |
1.21.18 |
botocore |
1.24.18 |
certifi |
2021.10.8 |
cffi |
1.14.6 |
chardet |
4.0.0 |
charset-normalizer |
2.0.4 |
周期計 |
0.10.0 |
Cython |
0.29.24 |
dbus-python |
1.2.16 |
debugpy |
1.4.1 |
裝飾 |
5.1.0 |
defusedxml |
是0.7.1 |
distlib |
0.3.4 |
distro-info |
0.23 ubuntu1 |
entrypoints |
0.3 |
facets-overview |
1.0.0 |
filelock |
3.6.0 |
idna |
3.2 |
ipykernel |
6.12.1 |
ipython |
7.32.0 |
ipython-genutils |
0.2.0 |
ipywidgets |
7.7.0 |
絕地武士 |
0.18.0 |
Jinja2 |
14 |
jmespath |
0.10.0 |
joblib |
1.0.1 |
jsonschema |
3.2.0 |
jupyter-client |
6.1.12 |
jupyter-core |
4.8.1 |
jupyterlab-pygments |
0.1.2 |
jupyterlab-widgets |
1.0.0 |
kiwisolver |
1.3.1 |
MarkupSafe |
2.0.1 |
matplotlib |
3.4.3 |
matplotlib-inline |
0.1.2 |
使走調 |
0.8.4 |
nbclient |
0.5.3 |
nbconvert |
6.1.0 |
nbformat |
5.1.3 |
nest-asyncio |
1.5.1 |
筆記本 |
6.4.5 |
numpy |
1.20.3 |
包裝 |
21.0 |
熊貓 |
1.3.4 |
pandocfilters |
3 |
parso |
0.8.2 |
容易受騙的人 |
0.5.2 |
pexpect |
4.8.0 |
pickleshare |
0.7.5 |
枕頭 |
8.4.0 |
皮普 |
21.2.4 |
Beplay体育安卓版本platformdirs |
2.5.2 |
情節 |
5.6.0 |
prometheus-client |
0.11.0 |
prompt-toolkit |
3.0.20 |
protobuf |
3.20.1 |
psutil |
5.8.0 |
psycopg2 |
2.9.3 |
ptyprocess |
0.7.0 |
pyarrow |
7.0.0 |
pycparser |
2.20 |
Pygments |
2.10.0 |
PyGObject |
3.36.0 |
pyodbc |
4.0.31 |
pyparsing |
3.0.4 |
pyrsistent |
0.18.0 |
python-apt |
2.0.0 + ubuntu0.20.4.7 |
python-dateutil |
2.8.2 |
pytz |
2021.3 |
pyzmq |
22.2.1 |
請求 |
2.26.0 |
requests-unixsocket |
0.2.0 |
s3transfer |
0.5.2 |
scikit-learn |
0.24.2 |
scipy |
1.7.1上 |
seaborn |
0.11.2 |
Send2Trash |
1.8.0 |
setuptools |
58.0.4 |
六個 |
1.16.0 |
ssh-import-id |
5.10 |
statsmodels |
0.12.2 |
韌性 |
8.0.1 |
terminado |
0.9.4 |
testpath |
0.5.0 |
threadpoolctl |
2.2.0 |
龍卷風 |
6.1 |
traitlets |
5.1.0 |
unattended-upgrades |
0．1 |
urllib3 |
1.26.7 |
virtualenv |
20.8.0 |
wcwidth |
0.2.5 |
webencodings |
0.5.1 |
輪 |
0.37.0 |
widgetsnbextension |
3.6.0 |
已安裝的R庫<一個類＝"headerlink" href="//www.eheci.com/docs/release-notes/runtime/#installed-r-libraries" title="">
R庫從<一個類＝"reference external" href="https://cran.microsoft.com/snapshot/2022-05-06/">微軟CRAN快照於2022-05-06。
圖書館 |
版本 |
圖書館 |
版本 |
圖書館 |
版本 |
|---|---|---|---|---|---|
askpass |
1．1 |
為了 |
0.2.1 |
補丁 |
1.4.1 |
基地 |
4.1.3 |
base64enc |
0.1 - 3 |
位 |
4.0.4 |
bit64 |
你 |
團 |
1.2.3 |
引導 |
-28 - 1.3 |
釀造 |
1.0 7 |
生動 |
1.1.3 |
掃帚 |
0.8.0 |
bslib |
0.3.1 |
cachem |
1.0.6 |
callr |
3.7.0 |
脫字符號 |
-92 - 6.0 |
cellranger |
1.1.0 |
時間 |
-56 - 2.3 |
類 |
-20 - 7.3 |
cli |
3.3.0 |
clipr |
0.8.0 |
集群 |
2.1.3 |
codetools |
-18 - 0.2 |
色彩 |
2.0 - 3 |
commonmark |
1.8.0 |
編譯器 |
4.1.3 |
配置 |
0.3.1 |
cpp11 |
0.4.2 |
蠟筆 |
1.5.1 |
憑證 |
1.3.2 |
旋度 |
4.3.2 |
data.table |
1.14.2 |
數據集 |
4.1.3 |
DBI |
1.1.2 |
dbplyr |
2.1.1 |
desc |
1.4.1 |
devtools |
2.4.3 |
diffobj |
0.3.5 |
消化 |
0.6.29 |
dplyr |
1.0.9 |
dtplyr |
1.2.1 " |
e1071 |
1.7 9 |
省略 |
0.3.2 |
評估 |
0.15 |
fansi |
1.0.3 |
farver |
魅惑 |
fastmap |
1.1.0 |
fontawesome |
0.2.2 |
forcats |
0.5.1 |
foreach |
1.5.2 |
外國 |
-82 - 0.8 |
打造 |
0.2.0 |
fs |
1.5.2 |
未來 |
1.25.0 |
future.apply |
1.9.0 |
含漱劑 |
1.2.0 |
泛型 |
0.1.2 |
哥特 |
1.6.0 |
ggplot2 |
3.3.6 |
“大酒店” |
1.3.0 |
gitcreds |
0.1.1 |
glmnet |
4.1 - 4 |
全局變量 |
0.14.0 |
膠水 |
1.6.2 |
googledrive |
2.0.0 |
googlesheets4 |
1.0.0 |
高爾 |
1.0.0 |
圖形 |
4.1.3 |
grDevices |
4.1.3 |
網格 |
4.1.3 |
gridExtra |
2．3 |
gsubfn |
0.7 |
gtable |
0.3.0 |
需要戴安全帽的 |
0.2.0 |
還 |
2.5.0 |
highr |
0.9 |
hms |
1.1.1 |
htmltools |
0.5.2 |
htmlwidgets |
1.5.4 |
httpuv |
1.6.5 |
httr |
3 |
id |
1.0.1 |
ini |
0.3.1 |
不小 |
-12 - 0.9 |
isoband |
0.2.5 |
迭代器 |
1.0.14 |
jquerylib |
0.1.4 |
jsonlite |
1.8.0 |
KernSmooth |
-20 - 2.23 |
knitr |
1.39 |
標簽 |
0.4.2 |
晚些時候 |
1.3.0 |
晶格 |
-45 - 0.20 |
熔岩 |
1.6.10 |
生命周期 |
1.0.1 |
listenv |
0.8.0 |
lubridate |
1.8.0 |
magrittr |
2.0.3 |
減價 |
1．1 |
質量 |
-56 - 7.3 |
矩陣 |
1.4 - 1 |
memoise |
2.0.1 |
方法 |
4.1.3 |
mgcv |
-40 - 1.8 |
mime |
0.12 |
ModelMetrics |
1.2.2.2 |
modelr |
0.1.8 |
孟塞爾 |
0.5.0 |
nlme |
-157 - 3.1 |
nnet |
-17 - 7.3 |
numDeriv |
2016.8 - -1.1 |
openssl |
2.0.0 |
平行 |
4.1.3 |
平行 |
1.31.1 |
支柱 |
1.7.0 |
pkgbuild |
1.3.1 |
pkgconfig |
2.0.3 |
pkgload |
1.2.4 |
plogr |
0.2.0 |
plyr |
1.8.7 |
讚美 |
1.0.0 |
prettyunits |
1.1.1 |
pROC |
1.18.0 |
processx |
3.5.3 |
prodlim |
2019.11.13 |
進步 |
1.2.2 |
progressr |
0.10.0 |
承諾 |
1.2.0.1 |
原型 |
1.0.0 |
代理 |
-26 - 0.4 |
ps |
1.7.0 |
purrr |
0.3.4 |
r2d3 |
0.2.6雖然隻是 |
R6 |
2.5.1 |
randomForest |
4.7 - 1 |
rappdirs |
0.3.3 |
rcmdcheck |
1.4.0 |
RColorBrewer |
1.1 - 3 |
Rcpp |
1.0.8.3 |
RcppEigen |
0.3.3.9.2 |
readr |
2.1.2 |
readxl |
1.4.0 |
食譜 |
0.2.0 |
複賽 |
1.0.1 |
rematch2 |
2.1.2 |
遙控器 |
2.4.2 |
reprex |
2.0.1 |
reshape2 |
1.4.4 |
rlang |
1.0.2中 |
rmarkdown |
2.14 |
RODBC |
-19 - 1.3 |
roxygen2 |
7.1.2 |
rpart |
4.1.16 |
rprojroot |
2.0.3 |
Rserve |
-10 - 1.8 |
RSQLite |
2.2.13 |
rstudioapi |
0.13 |
rversions |
2.1.1 |
房車 |
1.0.2中 |
薩斯 |
0.4.1 |
尺度 |
1.2.0 |
selectr |
0.4 - 2 |
sessioninfo |
1.2.2 |
形狀 |
1.4.6 |
閃亮的 |
1.7.1上 |
sourcetools |
0.1.7 |
sparklyr |
1.7.5 |
SparkR |
3.3.0 |
空間 |
-11 - 7.3 |
樣條函數 |
4.1.3 |
sqldf |
-11 - 0.4 |
SQUAREM |
2021.1 |
統計數據 |
4.1.3 |
stats4 |
4.1.3 |
stringi |
1.7.6 |
stringr |
1.4.0 |
生存 |
-13 - 3.2 |
sys |
3.4 |
tcltk |
4.1.3 |
testthat |
3.1.4 |
寵物貓 |
3.1.7 |
tidyr |
1.2.0 |
tidyselect |
1.1.2 |
tidyverse |
1.3.1 |
timeDate |
3043.102 |
tinytex |
0.38 |
工具 |
4.1.3 |
tzdb |
0.3.0 |
usethis |
2.1.5 |
use utf8 |
1.2.2 |
跑龍套 |
4.1.3 |
uuid |
1.1 0 |
vctrs |
0.4.1 |
viridisLite |
0.4.0 |
發嗚嗚聲 |
1.5.7 |
沃爾多 |
0.4.0 |
晶須 |
0.4 |
withr |
2.5.0 |
xfun |
0.30 |
xml2 |
1.3.3 |
xopen |
1.0.0 |
xtable |
1.8 - 4 |
yaml |
2.3.5 |
郵政編碼 |
2.2.0 |
安裝Java和Scala庫(Scala 2.12集群版本)<一個類＝"headerlink" href="//www.eheci.com/docs/release-notes/runtime/#installed-java-and-scala-libraries-scala-212-cluster-version" title="">
組ID |
工件ID |
版本 |
|---|---|---|
antlr |
antlr |
2.7.7 |
com.amazonaws |
amazon-kinesis-client |
1.12.0 |
com.amazonaws |
aws-java-sdk-autoscaling |
1.12.189 |
com.amazonaws |
aws-java-sdk-cloudformation |
1.12.189 |
com.amazonaws |
aws-java-sdk-cloudfront |
1.12.189 |
com.amazonaws |
aws-java-sdk-cloudhsm |
1.12.189 |
com.amazonaws |
aws-java-sdk-cloudsearch |
1.12.189 |
com.amazonaws |
aws-java-sdk-cloudtrail |
1.12.189 |
com.amazonaws |
aws-java-sdk-cloudwatch |
1.12.189 |
com.amazonaws |
aws-java-sdk-cloudwatchmetrics |
1.12.189 |
com.amazonaws |
aws-java-sdk-codedeploy |
1.12.189 |
com.amazonaws |
aws-java-sdk-cognitoidentity |
1.12.189 |
com.amazonaws |
aws-java-sdk-cognitosync |
1.12.189 |
com.amazonaws |
aws-java-sdk-config |
1.12.189 |
com.amazonaws |
aws-java-sdk-core |
1.12.189 |
com.amazonaws |
aws-java-sdk-datapipeline |
1.12.189 |
com.amazonaws |
aws-java-sdk-directconnect |
1.12.189 |
com.amazonaws |
aws-java-sdk-directory |
1.12.189 |
com.amazonaws |
aws-java-sdk-dynamodb |
1.12.189 |
com.amazonaws |
aws-java-sdk-ec2 |
1.12.189 |
com.amazonaws |
aws-java-sdk-ecs |
1.12.189 |
com.amazonaws |
aws-java-sdk-efs |
1.12.189 |
com.amazonaws |
aws-java-sdk-elasticache |
1.12.189 |
com.amazonaws |
aws-java-sdk-elasticbeanstalk |
1.12.189 |
com.amazonaws |
aws-java-sdk-elasticloadbalancing |
1.12.189 |
com.amazonaws |
aws-java-sdk-elastictranscoder |
1.12.189 |
com.amazonaws |
aws-java-sdk-emr |
1.12.189 |
com.amazonaws |
aws-java-sdk-glacier |
1.12.189 |
com.amazonaws |
aws-java-sdk-glue |
1.12.189 |
com.amazonaws |
aws-java-sdk-iam |
1.12.189 |
com.amazonaws |
aws-java-sdk-importexport |
1.12.189 |
com.amazonaws |
aws-java-sdk-kinesis |
1.12.189 |
com.amazonaws |
aws-java-sdk-kms |
1.12.189 |
com.amazonaws |
aws-java-sdk-lambda |
1.12.189 |
com.amazonaws |
aws-java-sdk-logs |
1.12.189 |
com.amazonaws |
aws-java-sdk-machinelearning |
1.12.189 |
com.amazonaws |
aws-java-sdk-opsworks |
1.12.189 |
com.amazonaws |
aws-java-sdk-rds |
1.12.189 |
com.amazonaws |
aws-java-sdk-redshift |
1.12.189 |
com.amazonaws |
aws-java-sdk-route53 |
1.12.189 |
com.amazonaws |
aws-java-sdk-s3 |
1.12.189 |
com.amazonaws |
aws-java-sdk-ses |
1.12.189 |
com.amazonaws |
aws-java-sdk-simpledb |
1.12.189 |
com.amazonaws |
aws-java-sdk-simpleworkflow |
1.12.189 |
com.amazonaws |
aws-java-sdk-sns |
1.12.189 |
com.amazonaws |
aws-java-sdk-sqs |
1.12.189 |
com.amazonaws |
aws-java-sdk-ssm |
1.12.189 |
com.amazonaws |
aws-java-sdk-storagegateway |
1.12.189 |
com.amazonaws |
aws-java-sdk-sts |
1.12.189 |
com.amazonaws |
aws-java-sdk-support |
1.12.189 |
com.amazonaws |
aws-java-sdk-swf-libraries |
1.11.22 |
com.amazonaws |
aws-java-sdk-workspaces |
1.12.189 |
com.amazonaws |
jmespath-java |
1.12.189 |
com.chuusai |
shapeless_2.12 |
2.3.3 |
com.clearspring.analytics |
流 |
2.9.6 |
com.databricks |
Rserve |
1.8 - 3 |
com.databricks |
jets3t |
0.7.1-0 |
com.databricks.scalapb |
compilerplugin_2.12 |
0.4.15-10 |
com.databricks.scalapb |
scalapb-runtime_2.12 |
0.4.15-10 |
com.esotericsoftware |
kryo-shaded |
4.0.2 |
com.esotericsoftware |
minlog |
1.3.0 |
com.fasterxml |
同學 |
1.3.4 |
com.fasterxml.jackson.core |
jackson-annotations |
2.13.3 |
com.fasterxml.jackson.core |
jackson-core |
2.13.3 |
com.fasterxml.jackson.core |
jackson-databind |
2.13.3 |
com.fasterxml.jackson.dataformat |
jackson-dataformat-cbor |
2.13.3 |
com.fasterxml.jackson.datatype |
jackson-datatype-joda |
2.13.3 |
com.fasterxml.jackson.module |
jackson-module-paranamer |
2.13.3 |
com.fasterxml.jackson.module |
jackson-module-scala_2.12 |
2.13.3 |
com.github.ben-manes.caffeine |
咖啡因 |
2.3.4 |
com.github.fommil |
jniloader |
1．1 |
com.github.fommil.netlib |
核心 |
1.1.2 |
com.github.fommil.netlib |
native_ref-java |
1．1 |
com.github.fommil.netlib |
native_ref-java-natives |
1．1 |
com.github.fommil.netlib |
native_system-java |
1．1 |
com.github.fommil.netlib |
native_system-java-natives |
1．1 |
com.github.fommil.netlib |
netlib-native_ref-linux-x86_64-natives |
1．1 |
com.github.fommil.netlib |
netlib-native_system-linux-x86_64-natives |
1．1 |
com.github.luben |
zstd-jni |
1.5.2-1 |
com.github.wendykierp |
JTransforms |
3．1 |
com.google.code.findbugs |
jsr305 |
3.0.0 |
com.google.code.gson |
gson |
2.8.6 |
com.google.crypto.tink |
叮叮鈴 |
1.6.1 |
com.google.flatbuffers |
flatbuffers-java |
1.12.0 |
com.google.guava |
番石榴 |
15.0 |
com.google.protobuf |
protobuf-java |
2.6.1 |
com.h2database |
h2 |
2.0.204 |
com.helger |
分析器 |
1.1.1 |
com.jcraft |
jsch |
0.1.50 |
com.jolbox |
bonecp |
0.8.0.RELEASE |
com.lihaoyi |
sourcecode_2.12 |
0.1.9 |
com.microsoft.azure |
azure-data-lake-store-sdk |
2.3.9 |
com.ning |
compress-lzf |
1．1 |
com.sun.mail |
javax.mail |
1.5.2 |
com.tdunning |
json |
1．8 |
com.thoughtworks.paranamer |
paranamer |
2.8 |
com.trueaccord.lenses |
lenses_2.12 |
0.4.12 |
com.twitter |
chill-java |
0.10.0 |
com.twitter |
chill_2.12 |
0.10.0 |
com.twitter |
util-app_2.12 |
7.1.0 |
com.twitter |
util-core_2.12 |
7.1.0 |
com.twitter |
util-function_2.12 |
7.1.0 |
com.twitter |
util-jvm_2.12 |
7.1.0 |
com.twitter |
util-lint_2.12 |
7.1.0 |
com.twitter |
util-registry_2.12 |
7.1.0 |
com.twitter |
util-stats_2.12 |
7.1.0 |
com.typesafe |
配置 |
1.2.1 " |
com.typesafe.scala-logging |
scala-logging_2.12 |
3.7.2章 |
com.univocity |
univocity-parsers |
2.9.1 |
com.zaxxer |
HikariCP |
4.0.3 |
commons-cli |
commons-cli |
1.5.0 |
commons-codec |
commons-codec |
1.15 |
commons-collections |
commons-collections |
3.2.2 |
commons-dbcp |
commons-dbcp |
1．4 |
commons-fileupload |
commons-fileupload |
1.3.3 |
commons-httpclient |
commons-httpclient |
3．1 |
commons-io |
commons-io |
2.11.0 |
commons lang |
commons lang |
2.6 |
通用日誌 |
通用日誌 |
1.1.3 |
commons-pool |
commons-pool |
1.5.4 |
dev.ludovic.netlib |
arpack |
2.2.1 |
dev.ludovic.netlib |
布拉斯特區 |
2.2.1 |
dev.ludovic.netlib |
lapack |
2.2.1 |
蜂巢3.2 - 2.3 - __hadoop - |
jets3t - 0.7 |
liball_deps_2.12 |
info.ganglia.gmetric4j |
gmetric4j |
1.0.10 |
io.airlift |
aircompressor |
0.21 |
io.delta |
delta-sharing-spark_2.12 |
0.4.0 |
io.dropwizard.metrics |
metrics-core |
以下4.4.1 |
io.dropwizard.metrics |
metrics-graphite |
以下4.4.1 |
io.dropwizard.metrics |
metrics-healthchecks |
以下4.4.1 |
io.dropwizard.metrics |
metrics-jetty9 |
以下4.4.1 |
io.dropwizard.metrics |
metrics-jmx |
以下4.4.1 |
io.dropwizard.metrics |
metrics-json |
以下4.4.1 |
io.dropwizard.metrics |
metrics-jvm |
以下4.4.1 |
io.dropwizard.metrics |
metrics-servlets |
以下4.4.1 |
io.netty |
netty-all |
4.1.74.Final |
io.netty |
netty-buffer |
4.1.74.Final |
io.netty |
netty-codec |
4.1.74.Final |
io.netty |
netty-common |
4.1.74.Final |
io.netty |
netty-handler |
4.1.74.Final |
io.netty |
netty-resolver |
4.1.74.Final |
io.netty |
netty-tcnative-classes |
2.0.48.Final |
io.netty |
netty-transport |
4.1.74.Final |
io.netty |
netty-transport-classes-epoll |
4.1.74.Final |
io.netty |
netty-transport-classes-kqueue |
4.1.74.Final |
io.netty |
netty-transport-native-epoll-linux-aarch_64 |
4.1.74.Final |
io.netty |
netty-transport-native-epoll-linux-x86_64 |
4.1.74.Final |
io.netty |
netty-transport-native-kqueue-osx-aarch_64 |
4.1.74.Final |
io.netty |
netty-transport-native-kqueue-osx-x86_64 |
4.1.74.Final |
io.netty |
netty-transport-native-unix-common |
4.1.74.Final |
io.prometheus |
simpleclient |
0.7.0 |
io.prometheus |
simpleclient_common |
0.7.0 |
io.prometheus |
simpleclient_dropwizard |
0.7.0 |
io.prometheus |
simpleclient_pushgateway |
0.7.0 |
io.prometheus |
simpleclient_servlet |
0.7.0 |
io.prometheus.jmx |
收集器 |
0.12.0 |
jakarta.annotation |
jakarta.annotation-api |
1.3.5 |
jakarta.servlet |
jakarta.servlet-api |
4.0.3 |
jakarta.validation |
jakarta.validation-api |
2.0.2 |
jakarta.ws.rs |
jakarta.ws.rs-api |
2.1.6 |
javax.activation |
激活 |
1.1.1 |
javax.annotation |
javax.annotation-api |
1.3.2 |
javax.el |
javax.el-api |
2.2.4 |
javax.jdo |
jdo api |
3.0.1 |
javax.transaction |
jta |
1．1 |
javax.transaction |
事務api |
1．1 |
javax.xml.bind |
jaxb-api |
. 2.2.11 |
javolution |
javolution |
5.5.1 |
jline |
jline |
2.14.6 |
joda-time |
joda-time |
2.10.13 |
maven-trees |
蜂巢3.2 - 2.3 - __hadoop - |
liball_deps_2.12 |
net.java.dev.jna |
jna |
5.8.0 |
net.razorvine |
泡菜 |
1．2 |
net.sf.jpam |
jpam |
1．1 |
net.sf.opencsv |
opencsv |
2．3 |
net.sf.supercsv |
super-csv |
2.2.0 |
net.snowflake |
snowflake-ingest-sdk |
0.9.6 |
net.snowflake |
snowflake-jdbc |
3.13.14 |
net.snowflake |
spark-snowflake_2.12 |
2.10.0-spark_3.1 |
net.sourceforge.f2j |
arpack_combined_all |
0．1 |
org.acplt.remotetea |
remotetea-oncrpc |
1.1.2 |
org.antlr |
ST4 |
4.0.4 |
org.antlr |
antlr-runtime |
3.5.2 |
org.antlr |
antlr4-runtime |
4.8 |
org.antlr |
stringtemplate |
3.2.1之上 |
org.apache.ant |
螞蟻 |
1.9.2 |
org.apache.ant |
ant-jsch |
1.9.2 |
org.apache.ant |
ant-launcher |
1.9.2 |
org.apache.arrow |
arrow-format |
7.0.0 |
org.apache.arrow |
arrow-memory-core |
7.0.0 |
org.apache.arrow |
arrow-memory-netty |
7.0.0 |
org.apache.arrow |
arrow-vector |
7.0.0 |
org.apache.avro |
avro |
1.11.0 |
org.apache.avro |
avro-ipc |
1.11.0 |
org.apache.avro |
avro-mapred |
1.11.0 |
org.apache.commons |
commons-collections4 |
4.4 |
org.apache.commons |
commons-compress |
1.21 |
org.apache.commons |
commons-crypto |
1.1.0 |
org.apache.commons |
commons-lang3 |
3.12.0 |
org.apache.commons |
commons-math3 |
3.6.1 |
org.apache.commons |
commons-text |
1.9 |
org.apache.curator |
curator-client |
2.13.0 |
org.apache.curator |
curator-framework |
2.13.0 |
org.apache.curator |
curator-recipes |
2.13.0 |
org.apache.derby |
德比 |
10.14.2.0 |
org.apache.hadoop |
hadoop-client-api |
3.3.2-databricks |
org.apache.hadoop |
hadoop-client-runtime |
3.3.2 |
org.apache.hive |
hive-beeline |
2.3.9 |
org.apache.hive |
hive-cli |
2.3.9 |
org.apache.hive |
hive-jdbc |
2.3.9 |
org.apache.hive |
hive-llap-client |
2.3.9 |
org.apache.hive |
hive-llap-common |
2.3.9 |
org.apache.hive |
hive-serde |
2.3.9 |
org.apache.hive |
hive-shims |
2.3.9 |
org.apache.hive |
hive-storage-api |
2.7.2 |
org.apache.hive.shims |
蜂巢0.23 -墊片 |
2.3.9 |
org.apache.hive.shims |
hive-shims-common |
2.3.9 |
org.apache.hive.shims |
hive-shims-scheduler |
2.3.9 |
org.apache.httpcomponents |
httpclient |
4.5.13 |
org.apache.httpcomponents |
httpcore |
4.4.14 |
org.apache.ivy |
艾薇 |
2.5.0 |
org.apache.logging.log4j |
log4j - 1.2 api |
2.17.2 |
org.apache.logging.log4j |
log4j api |
2.17.2 |
org.apache.logging.log4j |
log4j-core |
2.17.2 |
org.apache.logging.log4j |
log4j-slf4j-impl |
2.17.2 |
org.apache.mesos |
mesos-shaded-protobuf |
1.4.0 |
org.apache.orc |
orc-core |
1.7.4 |
org.apache.orc |
orc-mapreduce |
1.7.4 |
org.apache.orc |
orc-shims |
1.7.4 |
org.apache.parquet |
parquet-column |
1.12.0-databricks-0004 |
org.apache.parquet |
parquet-common |
1.12.0-databricks-0004 |
org.apache.parquet |
parquet-encoding |
1.12.0-databricks-0004 |
org.apache.parquet |
parquet-format-structures |
1.12.0-databricks-0004 |
org.apache.parquet |
parquet-hadoop |
1.12.0-databricks-0004 |
org.apache.parquet |
parquet-jackson |
1.12.0-databricks-0004 |
org.apache.thrift |
libfb303 |
0.9.3 |
org.apache.thrift |
libthrift |
0.12.0 |
org.apache.xbean |
xbean-asm9-shaded |
4.20 |
org.apache.yetus |
audience-annotations |
0.5.0 |
org.apache.zookeeper |
動物園管理員 |
操作 |
org.apache.zookeeper |
zookeeper-jute |
操作 |
org.checkerframework |
checker-qual |
3.5.0 |
org.codehaus.jackson |
jackson-core-asl |
1.9.13 |
org.codehaus.jackson |
jackson-mapper-asl |
1.9.13 |
org.codehaus.janino |
commons-compiler |
3.0.16 |
org.codehaus.janino |
janino |
3.0.16 |
org.datanucleus |
datanucleus-api-jdo |
4.2.4 |
org.datanucleus |
datanucleus-core |
4.1.17 |
org.datanucleus |
datanucleus-rdbms |
4.1.19 |
org.datanucleus |
javax.jdo |
3.2.0-m3 |
org.eclipse.jetty |
jetty-client |
9.4.46.v20220331 |
org.eclipse.jetty |
jetty-continuation |
9.4.46.v20220331 |
org.eclipse.jetty |
jetty-http |
9.4.46.v20220331 |
org.eclipse.jetty |
jetty-io |
9.4.46.v20220331 |
org.eclipse.jetty |
jetty-jndi |
9.4.46.v20220331 |
org.eclipse.jetty |
jetty-plus |
9.4.46.v20220331 |
org.eclipse.jetty |
jetty-proxy |
9.4.46.v20220331 |
org.eclipse.jetty |
jetty-security |
9.4.46.v20220331 |
org.eclipse.jetty |
jetty服務器 |
9.4.46.v20220331 |
org.eclipse.jetty |
jetty servlet |
9.4.46.v20220331 |
org.eclipse.jetty |
jetty-servlets |
9.4.46.v20220331 |
org.eclipse.jetty |
jetty-util |
9.4.46.v20220331 |
org.eclipse.jetty |
jetty-util-ajax |
9.4.46.v20220331 |
org.eclipse.jetty |
jetty-webapp |
9.4.46.v20220331 |
org.eclipse.jetty |
jetty-xml |
9.4.46.v20220331 |
org.eclipse.jetty.websocket |
websocket-api |
9.4.46.v20220331 |
org.eclipse.jetty.websocket |
websocket-client |
9.4.46.v20220331 |
org.eclipse.jetty.websocket |
websocket-common |
9.4.46.v20220331 |
org.eclipse.jetty.websocket |
websocket服務器 |
9.4.46.v20220331 |
org.eclipse.jetty.websocket |
websocket-servlet |
9.4.46.v20220331 |
org.fusesource.leveldbjni |
leveldbjni-all |
1．8 |
org.glassfish.hk2 |
hk2-api |
2.6.1 |
org.glassfish.hk2 |
hk2-locator |
2.6.1 |
org.glassfish.hk2 |
hk2-utils |
2.6.1 |
org.glassfish.hk2 |
osgi-resource-locator |
1.0.3 |
org.glassfish.hk2.external |
aopalliance-repackaged |
2.6.1 |
org.glassfish.hk2.external |
jakarta.inject |
2.6.1 |
org.glassfish.jersey.containers |
jersey-container-servlet |
2.34 |
org.glassfish.jersey.containers |
jersey-container-servlet-core |
2.34 |
org.glassfish.jersey.core |
jersey客戶端 |
2.34 |
org.glassfish.jersey.core |
jersey-common |
2.34 |
org.glassfish.jersey.core |
jersey-server |
2.34 |
org.glassfish.jersey.inject |
jersey-hk2 |
2.34 |
org.hibernate.validator |
hibernate驗證框架 |
6.1.0.Final |
org.javassist |
javassist |
3.25.0-GA |
org.jboss.logging |
jboss-logging |
3.3.2.Final |
org.jdbi |
jdbi |
2.63.1 |
org.jetbrains |
注釋 |
17.0.0 |
org.joda |
joda-convert |
1.7 |
org.jodd |
jodd-core |
3.5.2 |
org.json4s |
json4s-ast_2.12 |
3.7.0-M11 |
org.json4s |
json4s-core_2.12 |
3.7.0-M11 |
org.json4s |
json4s-jackson_2.12 |
3.7.0-M11 |
org.json4s |
json4s-scalap_2.12 |
3.7.0-M11 |
org.lz4 |
lz4-java |
1.8.0 |
org.mariadb.jdbc |
mariadb-java-client |
第2.7.4 |
org.objenesis |
objenesis |
2.5.1 |
org.postgresql |
postgresql |
42.3.3 |
org.roaringbitmap |
RoaringBitmap |
0.9.25 |
org.roaringbitmap |
墊片 |
0.9.25 |
org.rocksdb |
rocksdbjni |
6.24.2 |
org.rosuda.REngine |
REngine |
魅惑 |
org.scala-lang |
scala-compiler_2.12 |
2.12.14 |
org.scala-lang |
scala-library_2.12 |
2.12.14 |
org.scala-lang |
scala-reflect_2.12 |
2.12.14 |
org.scala-lang.modules |
scala-collection-compat_2.12 |
2.4.3 |
org.scala-lang.modules |
scala-parser-combinators_2.12 |
1.1.2 |
org.scala-lang.modules |
scala-xml_2.12 |
1.2.0 |
org.scala-sbt |
測試界麵 |
1．0 |
org.scalacheck |
scalacheck_2.12 |
1.14.2 |
org.scalactic |
scalactic_2.12 |
3.0.8 |
org.scalanlp |
breeze-macros_2.12 |
1．2 |
org.scalanlp |
breeze_2.12 |
1．2 |
org.scalatest |
scalatest_2.12 |
3.0.8 |
org.slf4j |
jcl-over-slf4j |
1.7.36 |
org.slf4j |
jul-to-slf4j |
1.7.36 |
org.slf4j |
slf4j-api |
1.7.36 |
org.spark-project.spark |
未使用的 |
1.0.0 |
org.threeten |
threeten-extra |
1.5.0 |
org.tukaani |
xz |
1．8 |
org.typelevel |
algebra_2.12 |
2.0.1 |
org.typelevel |
cats-kernel_2.12 |
2.1.1 |
org.typelevel |
macro-compat_2.12 |
1.1.1 |
org.typelevel |
spire-macros_2.12 |
0.17.0 |
org.typelevel |
spire-Beplay体育安卓版本platform_2.12 |
0.17.0 |
org.typelevel |
spire-util_2.12 |
0.17.0 |
org.typelevel |
spire_2.12 |
0.17.0 |
org.wildfly.openssl |
wildfly-openssl |
1.0.7.Final |
org.xerial |
sqlite-jdbc |
3.8.11.2 |
org.xerial.snappy |
snappy-java |
1.1.8.4 |
org.yaml |
snakeyaml |
1.24 |
奧羅 |
奧羅 |
2.0.8 |
pl.edu.icm |
JLargeArrays |
1．5 |
software.amazon.ion |
ion-java |
1.0.2中 |
stax |
stax-api |
1.0.1 |