磚運行時的11.0(不支持)<一個類="headerlink" href="//www.eheci.com/docs.gcp/release-notes/runtime/#databricks-runtime-110-unsupported" title="">
以下版本注釋提供信息數據磚11.0運行時,由Apache 3.3.0火花。2022年6月磚發布這些圖片。
請注意
這些版本注釋可能包括引用功能不可用這個版本的穀歌雲。
新特性和改進<一個類="headerlink" href="//www.eheci.com/docs.gcp/release-notes/runtime/#new-features-and-improvements" title="">
新版本的Apache火花<一個類="headerlink" href="//www.eheci.com/docs.gcp/release-notes/runtime/#new-version-of-apache-spark" title="">
磚運行時的11.0和11.0磚運行時的光子包括Apache 3.3.0火花。有關詳細信息,請參見<一個類="reference internal" href="//www.eheci.com/docs.gcp/release-notes/runtime/#spark">Apache火花。
Python現在筆記本使用IPython內核<一個類="headerlink" href="//www.eheci.com/docs.gcp/release-notes/runtime/#python-notebooks-now-use-the-ipython-kernel" title="">
在磚運行時的11.0及以上,Python筆記本使用IPython內核執行Python代碼。看到<一個類="reference internal" href="//www.eheci.com/docs.gcp/notebooks/ipython-kernel.html">IPython內核。
突觸連接器現在寫拚花non-legacy模式中的數據<一個類="headerlink" href="//www.eheci.com/docs.gcp/release-notes/runtime/#synapse-connector-now-writes-parquet-data-in-non-legacy-mode" title="">
Azure突觸連接器現在寫拚花non-legacy模式中的數據。它保留了INT96當使用混合基和時間戳格式複製命令批處理和流媒體的工作負載。
HTTPS方案現在執行當沛富客戶機使用SAS令牌<一個類="headerlink" href="//www.eheci.com/docs.gcp/release-notes/runtime/#https-scheme-now-enforced-when-abfs-client-uses-sas-token" title="">
當Azure Blob文件係統(沛富)客戶機使用共享訪問簽名(SAS)令牌,HTTPS計劃正在實施。
SQL:DESC現在是一個別名嗎描述
您現在可以使用DESC作為一個別名描述當你描述外部位置或存儲憑證。例如:
——描述一個外部的位置。DESC外部位置location_name;——描述一個存儲憑證。DESC存儲憑證credential_name;
SQL:新current_version函數輸出版本細節<一個類="headerlink" href="//www.eheci.com/docs.gcp/release-notes/runtime/#sql-new-current_version-function-outputs-version-details" title="">
新current_version如果可用函數輸出當前磚運行時版本,當前磚SQL版本如果可用,和其他相關版本的細節。使用這個新函數查詢version-related信息。看到<一個類="reference internal" href="//www.eheci.com/docs.gcp/sql/language-manual/functions/current_version.html">current_version函數。
刪除失蹤三角洲表約束現在提出了一個錯誤<一個類="headerlink" href="//www.eheci.com/docs.gcp/release-notes/runtime/#dropping-a-missing-delta-table-constraint-now-raises-an-error" title="">
如果你現在想刪除一個增量表約束的名字,不存在約束,你會得到一個錯誤。之前的行為,也不會拋出錯誤如果約束條件不存在,你現在必須使用如果存在聲明。看到<一個類="reference internal" href="//www.eheci.com/docs.gcp/sql/language-manual/sql-ref-syntax-ddl-alter-table.html">ALTER TABLE。
SQL:新除了條款選擇聲明不包括列選擇<一個類="headerlink" href="//www.eheci.com/docs.gcp/release-notes/runtime/#sql-new-except-clause-in-select-statement-excludes-columns-from-selection" title="">
選擇語句現在支持除了條款排除列選擇。例如,選擇*除了(x)從表返回所有的表列的除外x。嵌套列也是允許的。例如,選擇*除了(x.a)從表返回所有的表但省略了字段的列一個從結構x。
支持增量表中刪除列(公共預覽版)<一個類="headerlink" href="//www.eheci.com/docs.gcp/release-notes/runtime/#support-for-dropping-columns-in-delta-tables-public-preview" title="">
您可以使用改變表<表名稱>下降列(如果存在)<列名稱>或改變表<表名稱>下降列(如果存在)(<列名稱>,*)放棄一個列或一組列,分別從三角洲表僅元數據操作。soft-deleted列是有效的”,“他們仍在底層鋪文件但三角洲表不再可見。
您可以使用REORG表<表名稱>應用(清洗)觸發一個文件改寫的文件包含任何soft-deleted等數據列。
您可以使用真空從物理存儲刪除刪除文件,包括舊的文件,包含了列和重寫了REORG表。
複製成改進<一個類="headerlink" href="//www.eheci.com/docs.gcp/release-notes/runtime/#copy-into-improvements" title="">
您現在可以創建空的占位符三角洲表模式後推斷出在一個複製成命令:
創建表如果不存在my_table(評論<表- - - - - -描述>](TBLPROPERTIES(<表- - - - - -屬性>));複製成my_table從“/道路/ /文件”FILEFORMAT=<格式>FORMAT_OPTIONS(“mergeSchema”=“真正的”)COPY_OPTIONS(“mergeSchema”=“真正的”);
前麵的SQL語句是冪等的,可以將確切地攝取數據運行一次差值表。
請注意
空三角洲表之外不是可用的複製成。你不能使用插入成和合並成將數據寫入的非模式化三角洲表。在數據插入到表中複製成,桌子是可查詢。
如果你攝取的數據無法讀取由於一些腐敗問題,通過設置您可以跳過損壞文件ignoreCorruptFiles來真正的在FORMAT_OPTIONS:
複製成my_table從“/道路/ /文件”FILEFORMAT=<格式>FORMAT_OPTIONS(“ignoreCorruptFiles”=“真正的”)
的複製成命令返回文件的數量由於腐敗的跳過num_skipped_corrupt_files列。這個指標也出現在operationMetrics列下numSkippedCorruptFiles在你運行描述曆史在三角洲表。
腐敗不跟蹤文件複製成可以加載,所以他們在隨後的運行,如果腐敗是固定的。你可以看到哪些文件是腐敗的運行複製成在驗證模式。
行為變化<一個類="headerlink" href="//www.eheci.com/docs.gcp/release-notes/runtime/#behavior-changes" title="">
SQL:lpad和rpad現在支持字節序列的功能<一個類="headerlink" href="//www.eheci.com/docs.gcp/release-notes/runtime/#sql-lpad-and-rpad-functions-now-support-byte-sequences" title="">
的<一個類="reference internal" href="//www.eheci.com/docs.gcp/sql/language-manual/functions/lpad.html">lpad和<一個類="reference internal" href="//www.eheci.com/docs.gcp/sql/language-manual/functions/rpad.html">rpad功能已被更新,添加對字節序列除了字符串的支持。
字符串格式format_string和printf不再允許% 0美元
指定的格式% 0美元在format_string和printf默認功能現在拋出一個錯誤。這種變化是保持與以前版本的磚運行時的預期行為和常見的第三方數據庫。第一個參數應該參考% 1 $當您使用一個參數指數表示的位置參數的參數列表。
CSV文件的Null值現在寫成非上市默認空字符串<一個類="headerlink" href="//www.eheci.com/docs.gcp/release-notes/runtime/#null-values-in-csv-files-are-now-written-as-unquoted-empty-strings-by-default" title="">
Null值在CSV文件以前寫成引用空字符串。在這個版本中,null值在CSV文件寫成非上市默認空字符串。改變回以前的行為,設置nullValue選項”“寫操作。
該表屬性外部現在保留<一個類="headerlink" href="//www.eheci.com/docs.gcp/release-notes/runtime/#the-table-property-external-is-now-reserved" title="">
房地產外部現在是一個保留默認表屬性。現在你使用時拋出異常外部財產的創建表…TBLPROPERTIES和改變表…集TBLPROPERTIES條款。
Log4j從Log4j 1升級到Log4j 2<一個類="headerlink" href="//www.eheci.com/docs.gcp/release-notes/runtime/#log4j-is-upgraded-from-log4j-1-to-log4j-2" title="">
Log4j 1被升級到Log4j 2。遺留Log4j 1依賴性被移除。
如果你依賴於以前的Log4j 1類包括磚內運行時,這些類不再存在。你應該升級你的依賴性Log4j 2。
如果你有自定義插件或依賴Log4j配置文件2,他們可能不再使用Log4j的版本在這個版本2。尋求幫助,請聯係您的磚的代表。
現在從Maven庫安裝默認數據平麵上得到解決<一個類="headerlink" href="//www.eheci.com/docs.gcp/release-notes/runtime/#libraries-installed-from-maven-are-now-resolved-in-your-data-plane-by-default" title="">
Maven庫現在解決在數據平麵在默認情況下,當你安裝圖書館集群上。你集群必須能夠訪問<一個類="reference external" href="https://maven.org">Maven中央。另外,您可以通過設置恢複到先前的行為<一個類="reference internal" href="//www.eheci.com/docs.gcp/clusters/configure.html">火花配置屬性:
spark.databricks.libraries。enableMavenResolution假
錯誤修複<一個類="headerlink" href="//www.eheci.com/docs.gcp/release-notes/runtime/#bug-fixes" title="">
二進製兼容性的
LeafNode,UnaryNode,BinaryNodeApache火花和磚之間運行時已經固定,現在的類與Apache火花3.3.0以上兼容。如果你遇到以下或類似的消息與磚運行時使用一個第三方的包時,重建包與Apache火花3.3.0或以上:發現接口org.apache.spark.sql.catalyst.plans.logical.UnaryNode,但類是預期。
庫升級<一個類="headerlink" href="//www.eheci.com/docs.gcp/release-notes/runtime/#library-upgrades" title="">
升級的Python庫:
Beplay体育安卓版本platformdirs 2.5.1 2.5.2
protobuf 3.20.0 3.20.1
升級R庫:
團從1.2.2 1.2.3
掃帚0.7.12 0.8.0
脫字符號從6.0 -91 6.0 -92
cli 3.2.0 3.3.0
dplyr 1.0.8 1.0.9
未來1.24.0 1.25.0
future.applyfrom 1.8.1 to 1.9.0
哥特1.6.0 1.5.0
從3.3.5 ggplot2 3.3.6
從4.1 glmnet 3到4.1 - 4
還從2.4.3 2.5.0
httr 1.4.2 3
knitr從1.38到1.39
magrittr 2.0.2 2.0.3
平行1.30.0 1.31.1
ps 1.6.0 1.7.0
RColorBrewer從1.1 - 2到1.1 - 3
RcppEigen 0.3.3.9.1 0.3.3.9.2
readxl 1.4.0 1.3.1
rmarkdown從2.13到2.14
rprojroot 2.0.2 2.0.3
RSQLite . 2.2.11 2.2.13
尺度從1.1.1 1.2.0
3.1.4 testthat從3.1.2
寵物貓3.1.6 3.1.7
tinytex從0.37到0.38
tzdb 0.2.0 0.3.0
uuid從1.0 4到1.1 0
vctrs 0.3.8 0.4.1
升級Java庫:
com.fasterxml.jackson.core。jackson-annotationsfrom 2.13.0 to 2.13.3
com.fasterxml.jackson.core。jackson-corefrom 2.13.0 to 2.13.3
com.fasterxml.jackson.core。jackson-databindfrom 2.13.0 to 2.13.3
com.fasterxml.jackson.dataformat。jackson-dataformat-cborfrom 2.13.0 to 2.13.3
com.fasterxml.jackson.datatype。jackson-datatype-jodafrom 2.13.0 to 2.13.3
com.fasterxml.jackson.module。jackson-module-paranamerfrom 2.13.0 to 2.13.3
com.fasterxml.jackson.module.jackson-module-scala_2.12 2.13.0 2.13.3
com.google.crypto.tink。叮叮鈴from 1.6.0 to 1.6.1
從1.0.3 com.ning.compress-lzf 1.1
dev.ludovic.netlib.arpack 2.2.0 2.2.1
dev.ludovic.netlib.blas 2.2.0 2.2.1
dev.ludovic.netlib.lapack 2.2.0 2.2.1
從4.1.73 io.netty.netty-all。決賽4.1.74.Final
從4.1.73 io.netty.netty-buffer。決賽4.1.74.Final
從4.1.73 io.netty.netty-codec。決賽4.1.74.Final
從4.1.73 io.netty.netty-common。決賽4.1.74.Final
從4.1.73 io.netty.netty-handler。決賽4.1.74.Final
從4.1.73 io.netty.netty-resolver。決賽4.1.74.Final
從2.0.46 io.netty.netty-tcnative-classes。決賽2.0.48.Final
從4.1.73 io.netty.netty-transport。決賽4.1.74.Final
從4.1.73 io.netty.netty-transport-classes-epoll。決賽4.1.74.Final
從4.1.73 io.netty.netty-transport-classes-kqueue。決賽4.1.74.Final
從4.1.73 io.netty.netty-transport-native-epoll-linux-aarch_64。決賽4.1.74.Final
從4.1.73 io.netty.netty-transport-native-epoll-linux-x86_64。決賽4.1.74.Final
從4.1.73 io.netty.netty-transport-native-kqueue-osx-aarch_64。決賽4.1.74.Final
從4.1.73 io.netty.netty-transport-native-kqueue-osx-x86_64。決賽4.1.74.Final
從4.1.73 io.netty.netty-transport-native-unix-common。決賽4.1.74.Final
joda-time。joda-timefrom 2.10.12 to 2.10.13
org.apache.commons.commons-math3 3.4.1 3.6.1
org.apache.httpcomponents。httpcorefrom 4.4.12 to 4.4.14
org.apache.orc。orc-corefrom 1.7.3 to 1.7.4
org.apache.orc。orc-mapreducefrom 1.7.3 to 1.7.4
org.apache.orc。orc-shimsfrom 1.7.3 to 1.7.4
org.eclipse.jetty。jetty-clientfrom 9.4.43.v20210629 to 9.4.46.v20220331
org.eclipse.jetty。jetty-continuationfrom 9.4.43.v20210629 to 9.4.46.v20220331
org.eclipse.jetty。jetty-httpfrom 9.4.43.v20210629 to 9.4.46.v20220331
org.eclipse.jetty。jetty-iofrom 9.4.43.v20210629 to 9.4.46.v20220331
org.eclipse.jetty。jetty-jndifrom 9.4.43.v20210629 to 9.4.46.v20220331
org.eclipse.jetty。jetty-plusfrom 9.4.43.v20210629 to 9.4.46.v20220331
org.eclipse.jetty。jetty-proxyfrom 9.4.43.v20210629 to 9.4.46.v20220331
org.eclipse.jetty。jetty-securityfrom 9.4.43.v20210629 to 9.4.46.v20220331
org.eclipse.jetty。jetty服務器from 9.4.43.v20210629 to 9.4.46.v20220331
org.eclipse.jetty。jetty servletfrom 9.4.43.v20210629 to 9.4.46.v20220331
org.eclipse.jetty。jetty-servletsfrom 9.4.43.v20210629 to 9.4.46.v20220331
org.eclipse.jetty。jetty-utilfrom 9.4.43.v20210629 to 9.4.46.v20220331
org.eclipse.jetty。jetty-util-ajaxfrom 9.4.43.v20210629 to 9.4.46.v20220331
org.eclipse.jetty。jetty-webappfrom 9.4.43.v20210629 to 9.4.46.v20220331
org.eclipse.jetty。jetty-xmlfrom 9.4.43.v20210629 to 9.4.46.v20220331
org.eclipse.jetty.websocket。從9.4.43 websocket-api。v20210629, 9.4.46.v20220331
org.eclipse.jetty.websocket。websocket-clientfrom 9.4.43.v20210629 to 9.4.46.v20220331
org.eclipse.jetty.websocket。websocket-commonfrom 9.4.43.v20210629 to 9.4.46.v20220331
org.eclipse.jetty.websocket。websocket服務器from 9.4.43.v20210629 to 9.4.46.v20220331
org.eclipse.jetty.websocket。websocket-servletfrom 9.4.43.v20210629 to 9.4.46.v20220331
org.mariadb.jdbc。mariadb-java-client 2.2.5第2.7.4
org.postgresql。postgresqlfrom 42.2.19 to 42.3.3
org.roaringbitmap。RoaringBitmapfrom 0.9.23 to 0.9.25
org.roaringbitmap。墊片from 0.9.23 to 0.9.25
org.rocksdb。rocksdbjnifrom 6.20.3 to 6.24.2
org.slf4j。jcl-over-slf4j 1.7.32 1.7.36
org.slf4j。jul-to-slf4j 1.7.32 1.7.36
org.slf4j。slf4j-apifrom 1.7.30 to 1.7.36
Apache火花<一個類="headerlink" href="//www.eheci.com/docs.gcp/release-notes/runtime/#apache-spark" title="">
磚11.0運行時包含Apache 3.3.0火花。
火花SQL和核心<一個類="headerlink" href="//www.eheci.com/docs.gcp/release-notes/runtime/#spark-sql-and-core" title="">
ANSI模式<一個類="headerlink" href="//www.eheci.com/docs.gcp/release-notes/runtime/#ansi-mode" title="">
新的明確的語法規則在ANSI模式(<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-33354">火星- 33354)
英語教學()方法應該返回null如果指數是零在ANSI模式(<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-38304">火星- 38304)
選擇返回null結果如果元素不存在於數組/地圖(<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-37750">火星- 37750)
允許鑄造數值類型和時間戳之間的類型(<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-37714">火星- 37714)
默認禁用ANSI保留關鍵字(<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-37724">火星- 37724)
使用存儲分配規則解決函數調用(<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-37438">火星- 37438)
Datetime之間添加一個配置允許鑄造和數字(<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-37179">火星- 37179)
添加一個配置可選擇性地執行ANSI保留關鍵字(<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-37133">火星- 37133)
不允許二進製操作之間的時間間隔和字符串(<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-36508">火星- 36508)
功能增強<一個類="headerlink" href="//www.eheci.com/docs.gcp/release-notes/runtime/#feature-enhancements" title="">
支持ANSI SQL間隔類型(<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-27790">火星- 27790)
錯誤消息的改進(<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-38781">火星- 38781)
隱藏文件元數據支持SQL(火花<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-37273">火星- 37273)
支持原始字符串(<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-36371">火星- 36371)
批Dataset.observe助手類()(<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-34806">火星- 34806)
支持指定初始分區號平衡(<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-38410">火星- 38410)
支持級聯模式
dropNamespaceAPI (<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-37929">火星- 37929)允許存儲分配和隱式鑄datetime類型(<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-37707">火星- 37707)
收集、第一個和最後一個應該是確定的聚合函數(<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-32940">火星- 32940)
添加ExpressionBuilder函數複雜過載(<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-37164">火星- 37164)
添加數組支持聯盟的名字(<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-36546">火星- 36546)
添加df。withMetadata:語法糖dataframe更新元數據(<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-36642">火星- 36642)
支持原始字符串(<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-36371">火星- 36371)
使用在解析日期/時間戳與默認模式(<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-36418">火星- 36418)
支持價值類嵌套模式的數據集(<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-20384">火星- 20384)
增加語法的支持(<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-37219">火星- 37219)
添加重複TABLESAMPLE指定種子(<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-37165">火星- 37165)
添加ansi語法
集目錄xxx改變當前目錄(<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-36841">火星- 36841)支持我喜歡(所有| |)——不分大小寫(<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-36674">火星- 36674,<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-36736">火星- 36736,<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-36778">火星- 36778)
支持查詢階段顯示格式化的解釋模式(運行時統計數據<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-38322">火星- 38322)
添加泄漏規模指標排序合並連接(<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-37726">火星- 37726)
更新顯示函數的SQL語法(<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-37777">火星- 37777)
支持刪除列(如果存在)語法(<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-38939">火星- 38939)
新的內置函數和他們的擴展(<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-38783">火星- 38783)
Datetime
添加TIMESTAMPADD()函數(<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-38195">火星- 38195)
添加TIMESTAMPDIFF()函數(<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-38284">火星- 38284)
添加
DATEDIFF ()別名TIMESTAMPDIFF ()(<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-38389">火星- 38389)添加
返回()別名TIMESTAMPADD ()(<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-38332">火星- 38332)添加
轉換\ _timezone ()函數(<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-37552">火星- 37552,<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-37568">火星- 37568)暴露make_date表達功能。scala (<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-36554">火星- 36554)
AES函數(<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-12567">火星- 12567)
添加aes_encrypt和aes_decrypt裝入的函數(<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-12567">火星- 12567)
支持GCM模式
aes \ _encrypt ()/aes \ _decrypt ()(<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-37591">火星- 37591)集
GCM為默認模式aes \ _encrypt ()/aes \ _decrypt ()(<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-37666">火星- 37666)添加
模式和填充參數,aes \ _encrypt ()/aes \ _decrypt ()(<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-37586">火星- 37586)
ANSI聚合函數(<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-37671">火星- 37671)
支持ANSI聚合函數:regr_count (<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-37613">火星- 37613)
支持ANSI聚合函數:regr_avgx & regr_avgy (<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-37614">火星- 37614)
支持ANSI聚合函數:percentile_cont (<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-37676">火星- 37676,<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-38219">火星- 38219)
支持ANSI聚合函數:percentile_disc (<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-37691">火星- 37691)
支持ANSI聚合函數:regr_count (<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-37613">火星- 37613)
支持ANSI聚合函數:array_agg (<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-27974">火星- 27974)
支持ANSI聚合函數:regr_r2 (<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-37641">火星- 37641)
新的SQL函數:try_avg (<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-38589">火星- 38589)
集合
介紹SQL函數ARRAY_SIZE (<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-38345">火星- 38345)
新的SQL函數:map_contains_key (<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-37584">火星- 37584)
新的SQL函數:try_element_at (<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-37533">火星- 37533)
新的SQL函數:try_sum (<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-38548">火星- 38548)
格式
添加一個新的SQL函數to_binary (<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-37507">火星- 37507,<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-38796">火星- 38796)
新的SQL函數:try_to_binary (<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-38590">火星- 38590,<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-38796">火星- 38796)
數據類型格式功能:
到\ _number(<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-28137">火星- 28137)
字符串/二進製
添加包含字符串()函數(<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-37508">火星- 37508)
添加
startswith ()和endswith ()字符串函數(<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-37520">火星- 37520)為二進製字符串(添加lpad和rpad功能<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-37047">火星- 37047)
支持split_part函數(<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-38063">火星- 38063)
尺度參數添加到地板上,裝天花板函數(<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-37475">火星- 37475)
新的SQL函數:try_subtract和try_multiply (<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-38164">火星- 38164)
實現histogram_numeric聚合函數支持部分聚合(<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-16280">火星- 16280)
添加max_by / min_by sql。函數(<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-36963">火星- 36963)
添加新的內置SQL函數:SEC和CSC (<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-36683">火星- 36683)
array_intersect處理重複的雙。南和浮動。南(<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-36754">火星- 36754)
添加床Scala和Python函數(<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-36660">火星- 36660)
性能增強<一個類="headerlink" href="//www.eheci.com/docs.gcp/release-notes/runtime/#performance-enhancements" title="">
舞台的代碼生成
為類添加代碼生成聚合不分組關鍵字(<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-37564">火星- 37564)
添加代碼生成完整的外排序合並連接(<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-35352">火星- 35352)
添加代碼生成完整的外洗好的散列連接(<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-32567">火星- 32567)
添加代碼生成存在排序合並連接(<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-37316">火星- 37316)
下推(過濾器)
通過RebalancePartitions壓低過濾器(<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-37828">火星- 37828)
下推布爾列過濾器(<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-36644">火星- 36644)
壓低限製1右邊的左邊半/反連接如果連接條件是空的(<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-37917">火星- 37917)
翻譯標準聚合函數疊加(<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-37527">火星- 37527)
支持傳播空關係通過聚合/聯盟(<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-35442">火星- 35442)
行級運行時過濾(<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-32268">火星- 32268)
支持行級運行時左半連接過濾器(<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-38565">火星- 38565)
支持謂詞下推和列修剪de-duped ct (<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-37670">火星- 37670)
向量化
實現一個ConstantColumnVector和提高性能的隱藏文件元數據(<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-37896">火星- 37896)
支持矢量化VectorizedPlainValuesReader閱讀。readBooleans (<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-35867">火星- 35867)
結合/刪除/替換節點
結合工會如果它們之間有一個項目(<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-37915">火星- 37915)
結合一個演員如果我們可以安全地up-cast又甩了兩次鉤(<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-37922">火星- 37922)
刪除如果是RepartitionByExpression的孩子(<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-36703">火星- 36703)
刪除外連接如果它隻有不同的流與別名(<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-37292">火星- 37292)
總如果孩子已經取代哈希排序排序(<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-37455">火星- 37455)
隻有崩潰項目如果我們不重複的昂貴的表達式(<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-36718">火星- 36718)
刪除多餘的別名RewritePredicateSubquery後(<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-36280">火星- 36280)
合並不相關的標量子查詢(<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-34079">火星- 34079)
分區
不添加動態分區修剪如果存在靜態分區修剪(<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-38148">火星- 38148)
改善RebalancePartitions規則優化器(<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-37904">火星- 37904)
添加小分區因素調整分區(<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-37357">火星- 37357)
加入
調整邏輯降級廣播DynamicJoinSelection散列連接(<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-37753">火星- 37753)
忽略重複的連接鍵在構建關係半/反洗好的散列連接(<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-36794">火星- 36794)
支持優化傾斜加入即使引入額外的洗牌(<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-33832">火星- 33832)
AQE
支持消除限製AQE優化器(<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-36424">火星- 36424)
優化一行計劃在正常和AQE優化器(<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-38162">火星- 38162)
聚合。groupon支持可折疊的表達式(<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-38489">火星- 38489)
ByteArrayMethods arrayEquals應該快速跳過檢查校準對齊平台(Beplay体育安卓版本<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-37796">火星- 37796)
添加樹模式修剪CTESubstitution規則(<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-37379">火星- 37379)
添加更多的不是運營商簡化(<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-36665">火星- 36665)
支持BooleanType UnwrapCastInBinaryComparison (<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-36607">火星- 36607)
合並後刪除所有表達式第一個非可空表達式(<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-36359">火星- 36359)
添加一個邏輯計劃遊客傳播不同的屬性(<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-36194">火星- 36194)
內置連接器的增強<一個類="headerlink" href="//www.eheci.com/docs.gcp/release-notes/runtime/#built-in-connector-enhancements" title="">
一般
寬大的序列化datetime從數據源(<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-38437">火星- 38437)
治療表位置時絕對路徑是削減的第一個字母創建/修改表(<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-38236">火星- 38236)
從空靜態類型分區數量(刪除前導零<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-35561">火星- 35561)
支持
ignoreCorruptFiles和ignoreMissingFiles在數據源的選擇(<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-38767">火星- 38767)添加命令
顯示目錄(<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-35973">火星- 35973)
拚花
使匹配模式由字段id列名稱(<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-38094">火星- 38094)
刪除檢查字段名稱拚花(讀/寫數據時<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-27442">火星- 27442)
支持矢量化讀取布爾值使用RLE編碼與拚花DataPage V2 (<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-37864">火星- 37864)
支持拚花v2數據頁麵編碼(DELTA_BINARY_PACKED)矢量化路徑(<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-36879">火星- 36879)
變基時間戳在會話時區保存在拚花/ Avro元數據(<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-37705">火星- 37705)
壓低總集團通過分區列(<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-36646">火星- 36646)
總(最小/最大/數)壓低拚花(<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-36645">火星- 36645)
拚花:啟用匹配模式列字段id (<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-38094">火星- 38094)
默認的頁麵大小減少LONG_ARRAY_OFFSET如果G1GC和ON_HEAP使用(<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-37593">火星- 37593)
實現矢量化DELTA_BYTE_ARRAY和拚花V2 DELTA_LENGTH_BYTE_ARRAY編碼支持(<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-37974">火星- 37974)
拚花矢量化讀者支持複雜類型(<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-34863">火星- 34863)
獸人
刪除現有讀/寫數據時檢查字段名獸人(<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-37965">火星- 37965)
獸人總壓低(<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-34960">火星- 34960)
閱讀和寫作支持ANSI間隔從/到獸人數據源(<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-36931">火星- 36931)
支持在獸人數據源(頭號列名<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-36663">火星- 36663)
JSON
尊重allowNonNumericNumbers當解析JSON讀者引用南和無窮值(<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-38060">火星- 38060)
默認使用投給datetime CSV / JSON (<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-36536">火星- 36536)
對齊錯誤消息不支持的關鍵類型在MapType Json讀者(<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-35320">火星- 35320)
CSV
修複指的腐敗記錄列從CSV (<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-38523">火星- 38534)
null值應該保存什麼而不是引用默認空字符串" " (<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-37575">火星- 37575)
JDBC
直接聲明添加到DB2方言截斷實現(<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-30062">火星- 30062)
蜂巢
支持寫蜂巢桶表(蜂巢與蜂巢散列文件格式)(<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-32712">火星- 32712)
在客戶端使用表達式過濾蜂巢分區(<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-35437">火星- 35437)
支持動態分區修剪HiveTableScanExec (<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-36876">火星- 36876)
InsertIntoHiveDir應該使用數據源的轉換(<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-38215">火星- 38215)
支持寫蜂巢桶表(拚花/獸人與蜂巢散列格式)(<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-32709">火星- 32709)
節點解除<一個類="headerlink" href="//www.eheci.com/docs.gcp/release-notes/runtime/#node-decommission" title="">
FallbackStorage不應該試圖解決任意“遠程”主機名(<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-38062">火星- 38062)
ExecutorMonitor。onExecutorRemoved應該處理ExecutorDecommission完成(<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-38023">火星- 38023)
其他值得注意的變化<一個類="headerlink" href="//www.eheci.com/docs.gcp/release-notes/runtime/#other-notable-changes" title="">
添加細粒度鎖BlockInfoManager (<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-37356">火星- 37356)
支持映射火花gpu / fpga資源類型定製紗線資源類型(<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-37208">火星- 37208)
報告準確洗牌塊大小如果其傾斜(<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-36967">火星- 36967)
在網絡層(支持網狀的日誌<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-36719">火星- 36719)
結構化流<一個類="headerlink" href="//www.eheci.com/docs.gcp/release-notes/runtime/#structured-streaming" title="">
主要功能<一個類="headerlink" href="//www.eheci.com/docs.gcp/release-notes/runtime/#major-features" title="">
介紹觸發。AvailableNow等運行流查詢觸發。一旦在多個批次(<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-36533">火星- 36533)
其他值得注意的變化<一個類="headerlink" href="//www.eheci.com/docs.gcp/release-notes/runtime/#other-notable-changes" title="">
使用有狀態的運營商StatefulOpClusteredDistribution尊重向後兼容性(<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-38204">火星- 38204)
修複flatMapGroupsWithState超時鍵(在批處理數據<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-38320">火星- 38320)
修複正確性問題與RocksDB stream-stream外連接狀態存儲提供商(<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-38684">火星- 38684)
支持觸發。AvailableNow卡夫卡數據源(<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-36649">火星- 36649)
優化路徑寫在RocksDB狀態存儲提供商(<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-37224">火星- 37224)
引入一個新的數據源提供一套一致的每microbatch行(<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-37062">火星- 37062)
使用有狀態的運營商HashClusteredDistribution尊重向後兼容性(<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-38204">火星- 38204)
PySpark<一個類="headerlink" href="//www.eheci.com/docs.gcp/release-notes/runtime/#pyspark" title="">
熊貓API火花<一個類="headerlink" href="//www.eheci.com/docs.gcp/release-notes/runtime/#pandas-api-on-spark" title="">
重大改進<一個類="headerlink" href="//www.eheci.com/docs.gcp/release-notes/runtime/#major-improvements" title="">
“distributed-sequence”指數優化與違約(<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-36559">火星- 36559,<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-36338">火星- 36338)
支持指定指數在熊貓火花API(類型和名稱<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-36709">火星- 36709)
顯示默認的索引類型在SQL火花熊貓API(計劃<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-38654">火星- 38654)
主要功能<一個類="headerlink" href="//www.eheci.com/docs.gcp/release-notes/runtime/#major-features" title="">
實現SparkSQL本機ps.merge_asof (<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-36813">火星- 36813)
在熊貓API支持TimedeltaIndex火花(<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-37525">火星- 37525)
支持Python的timedelta (<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-37275">火星- 37275,<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-37510">火星- 37510)
在CategoricalAccessor / CategoricalIndex(實現功能<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-36185">火星- 36185)
使用Python的標準字符串格式化程序SQL API在熊貓API火花(<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-37436">火星- 37436)
支持timedelta係列的基本操作/指數(<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-37510">火星- 37510)
支持ps.MultiIndex。dtypes (<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-36930">火星- 36930)
實現指數。地圖(<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-36469">火星- 36469)
實現係列。__xor__和係列。__rxor__ (<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-36653">火星- 36653)
實現一元運算符
反積分ps.Series /指數(<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-36003">火星- 36003)實現DataFrame。浸(<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-36396">火星- 36396)
支持str和時間戳(係列| DataFrame) .describe () (<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-37657">火星- 37657)
支持λ
列參數的DataFrame.rename(<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-38763">火星- 38763)
其他值得注意的變化<一個類="headerlink" href="//www.eheci.com/docs.gcp/release-notes/runtime/#other-notable-changes" title="">
突發的變化<一個類="headerlink" href="//www.eheci.com/docs.gcp/release-notes/runtime/#breaking-changes" title="">
減少引用Python 3.6的支持文檔和Python / docs (<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-36977">火星- 36977)
刪除namedtuple黑客通過替換內置泡菜cloudpickle (<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-32079">火星- 32079)
撞最低熊貓版本1.0.5 (<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-37465">火星- 37465)
重大改進
提供一個分析器Python /熊貓udf (<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-37443">火星- 37443)
使用Python的標準SQL API在PySpark字符串格式化程序(<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-37516">火星- 37516)
暴露SQL PySpark異常狀態和錯誤類(<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-36953">火星- 36953)
試圖捕捉faulthanlder當Python工人崩潰(<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-36062">火星- 36062)
主要功能<一個類="headerlink" href="//www.eheci.com/docs.gcp/release-notes/runtime/#major-features" title="">
實現DataFrame。在Python mapInArrow (<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-37228">火星- 37228)
使用Python的標準SQL API在PySpark字符串格式化程序(<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-37516">火星- 37516)
添加df。withMetadata pyspark API (<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-36642">火星- 36642)
支持Python的timedelta (<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-37275">火星- 37275)
暴露在pyspark.sql tableExists。目錄(<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-36176">火星- 36176)
暴露在pyspark.sql databaseExists。目錄(<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-36207">火星- 36207)
暴露在pyspark functionExists sql目錄(<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-36258">火星- 36258)
添加Dataframe。觀察PySpark (<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-36263">火星- 36263)
添加max_by / min_by API PySpark (<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-36972">火星- 36972)
支持嵌套來推斷dict創建DataFrame時結構(<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-35929">火星- 35929)
添加位/ octet_length Scala api, Python和R (<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-36751">火星- 36751)
支持我喜歡Python API (<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-36882">火星- 36882)
添加Python DataFrame isEmpty方法API (<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-37207">火星- 37207)
添加多個列添加支持(<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-35173">火星- 35173)
添加SparkContext。一個ddArchive in PySpark (<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-38278">火星- 38278)
使sql類型repr eval-able (<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-18621">火星- 18621)
fpm的內聯類型提示。py在python / pyspark / mllib (<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-37396">火星- 37396)
實現
dropna參數的SeriesGroupBy.value_counts(<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-38837">火星- 38837)
MLLIB<一個類="headerlink" href="//www.eheci.com/docs.gcp/release-notes/runtime/#mllib" title="">
主要功能<一個類="headerlink" href="//www.eheci.com/docs.gcp/release-notes/runtime/#major-features" title="">
添加distanceMeasure param trainKMeansModel (<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-37118">火星- 37118)
暴露LogisticRegression。集InitialModel, like KMeans et al do (<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-36481">火星- 36481)
支持為每個paramMap CrossValidatorModel得到標準差指標(<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-36425">火星- 36425)
重大改進<一個類="headerlink" href="//www.eheci.com/docs.gcp/release-notes/runtime/#major-improvements" title="">
優化一些treeAggregates MLlib推遲分配(<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-35848">火星- 35848)
重寫_shared_params_code_gen。py內聯類型提示毫升/參數/共享。py (<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-37419">火星- 37419)
其他值得注意的變化<一個類="headerlink" href="//www.eheci.com/docs.gcp/release-notes/runtime/#other-notable-changes" title="">
更新至1.2微風(<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-35310">火星- 35310)
SparkR<一個類="headerlink" href="//www.eheci.com/docs.gcp/release-notes/runtime/#sparkr" title="">
遷移SparkR pkgdown文檔(<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-37474">火星- 37474)
暴露make_date R的表達(<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-37108">火星- 37108)
添加max_by / min_by API SparkR (<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-36976">火星- 36976)
支持我喜歡API R (<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-36899">火星- 36899)
添加sec和csc R函數(<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-36824">火星- 36824)
添加位/ octet_length Scala api, Python和R (<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-36751">火星- 36751)
添加床作為一個R函數(<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-36688">火星- 36688)
用戶界麵<一個類="headerlink" href="//www.eheci.com/docs.gcp/release-notes/runtime/#ui" title="">
投機指標總結階段(<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-36038">火星- 36038)
統一洗牌讀塊洗牌時間讀取回StagePage等待時間(<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-37469">火星- 37469)
添加修改配置SQL執行的UI (<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-34735">火星- 34735)
使ThriftServer承認spark.sql.redaction.string。正則表達式(<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-36400">火星- 36400)
連接並開始處理程序在UI應用程序開始後(<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-36237">火星- 36237)
提交時間添加到SQL選項卡的圖節點(<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-34399">火星- 34399)
支持RocksDB火花曆史上的後端服務器(<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-37680">火星- 37680)
火花在UI上顯示選項熊貓API (<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-38656">火星- 38656)
重命名“SQL”到“SQL / DataFrame”SQL UI頁麵(<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-38657">火星- 38657)
構建<一個類="headerlink" href="//www.eheci.com/docs.gcp/release-notes/runtime/#build" title="">
從log4j 1遷移到log4j 2 (<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-37814">火星- 37814)
升級log4j2 2.17.2 (<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-38544">火星- 38544)
升級到Py4J 0.10.9.5 (<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-38563">火星- 38563)
更新獸人1.7.4 (<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-38866">火星- 38866)
更新的datatable 1.10.25 (<一個類="reference external" href="https://issues.apache.org/jira/browse/SPARK-38924">火星- 38924)
維護更新<一個類="headerlink" href="//www.eheci.com/docs.gcp/release-notes/runtime/#maintenance-updates" title="">
看到<一個類="reference internal" href="//www.eheci.com/docs.gcp/release-notes/runtime/maintenance-updates.html">磚11.0運行時。
係統環境<一個類="headerlink" href="//www.eheci.com/docs.gcp/release-notes/runtime/#system-environment" title="">
操作係統:Ubuntu 20.04.4 LTS
Java:祖魯8.56.0.21-CA-linux64
Scala:2.12.14
Python:3.9.5
R:4.1.3
三角洲湖:1.2.1 "
安裝Python庫<一個類="headerlink" href="//www.eheci.com/docs.gcp/release-notes/runtime/#installed-python-libraries" title="">
圖書館 |
版本 |
圖書館 |
版本 |
圖書館 |
版本 |
|---|---|---|---|---|---|
Antergos Linux |
2015.10 (ISO-Rolling) |
argon2-cffi |
20.1.0 |
async-generator |
1.10 |
attrs |
21.2.0 |
backcall |
0.2.0 |
backports.entry-points-selectable |
1.1.1 |
漂白劑 |
4.0.0 |
boto3 |
1.21.18 |
botocore |
1.24.18 |
certifi |
2021.10.8 |
cffi |
1.14.6 |
chardet |
4.0.0 |
charset-normalizer |
2.0.4 |
周期計 |
0.10.0 |
Cython |
0.29.24 |
dbus-python |
1.2.16 |
debugpy |
1.4.1 |
裝飾 |
5.1.0 |
defusedxml |
是0.7.1 |
distlib |
0.3.4 |
distro-info |
0.23 ubuntu1 |
entrypoints |
0.3 |
facets-overview |
1.0.0 |
filelock |
3.6.0 |
idna |
3.2 |
ipykernel |
6.12.1 |
ipython |
7.32.0 |
ipython-genutils |
0.2.0 |
ipywidgets |
7.7.0 |
絕地武士 |
0.18.0 |
Jinja2 |
14 |
jmespath |
0.10.0 |
joblib |
1.0.1 |
jsonschema |
3.2.0 |
jupyter-client |
6.1.12 |
jupyter-core |
4.8.1 |
jupyterlab-pygments |
0.1.2 |
jupyterlab-widgets |
1.0.0 |
kiwisolver |
1.3.1 |
MarkupSafe |
2.0.1 |
matplotlib |
3.4.3 |
matplotlib-inline |
0.1.2 |
使走調 |
0.8.4 |
nbclient |
0.5.3 |
nbconvert |
6.1.0 |
nbformat |
5.1.3 |
nest-asyncio |
1.5.1 |
筆記本 |
6.4.5 |
numpy |
1.20.3 |
包裝 |
21.0 |
熊貓 |
1.3.4 |
pandocfilters |
3 |
parso |
0.8.2 |
容易受騙的人 |
0.5.2 |
pexpect |
4.8.0 |
pickleshare |
0.7.5 |
枕頭 |
8.4.0 |
皮普 |
21.2.4 |
Beplay体育安卓版本platformdirs |
2.5.2 |
情節 |
5.6.0 |
prometheus-client |
0.11.0 |
prompt-toolkit |
3.0.20 |
protobuf |
3.20.1 |
psutil |
5.8.0 |
psycopg2 |
2.9.3 |
ptyprocess |
0.7.0 |
pyarrow |
7.0.0 |
pycparser |
2.20 |
Pygments |
2.10.0 |
PyGObject |
3.36.0 |
pyodbc |
4.0.31 |
pyparsing |
3.0.4 |
pyrsistent |
0.18.0 |
python-apt |
2.0.0 + ubuntu0.20.4.7 |
python-dateutil |
2.8.2 |
pytz |
2021.3 |
pyzmq |
22.2.1 |
請求 |
2.26.0 |
requests-unixsocket |
0.2.0 |
s3transfer |
0.5.2 |
scikit-learn |
0.24.2 |
scipy |
1.7.1上 |
seaborn |
0.11.2 |
Send2Trash |
1.8.0 |
setuptools |
58.0.4 |
六個 |
1.16.0 |
ssh-import-id |
5.10 |
statsmodels |
0.12.2 |
韌性 |
8.0.1 |
terminado |
0.9.4 |
testpath |
0.5.0 |
threadpoolctl |
2.2.0 |
龍卷風 |
6.1 |
traitlets |
5.1.0 |
unattended-upgrades |
0.1 |
urllib3 |
1.26.7 |
virtualenv |
20.8.0 |
wcwidth |
0.2.5 |
webencodings |
0.5.1 |
輪 |
0.37.0 |
widgetsnbextension |
3.6.0 |
安裝R庫<一個類="headerlink" href="//www.eheci.com/docs.gcp/release-notes/runtime/#installed-r-libraries" title="">
R庫的安裝<一個類="reference external" href="https://cran.microsoft.com/snapshot/2022-05-06/">微軟在2022-05-06凹口快照。
圖書館 |
版本 |
圖書館 |
版本 |
圖書館 |
版本 |
|---|---|---|---|---|---|
askpass |
1.1 |
為了 |
0.2.1 |
補丁 |
1.4.1 |
基地 |
4.1.3 |
base64enc |
0.1 - 3 |
位 |
4.0.4 |
bit64 |
你 |
團 |
1.2.3 |
引導 |
-28 - 1.3 |
釀造 |
1.0 7 |
生動 |
1.1.3 |
掃帚 |
0.8.0 |
bslib |
0.3.1 |
cachem |
1.0.6 |
callr |
3.7.0 |
脫字符號 |
-92 - 6.0 |
cellranger |
1.1.0 |
時間 |
-56 - 2.3 |
類 |
-20 - 7.3 |
cli |
3.3.0 |
clipr |
0.8.0 |
集群 |
2.1.3 |
codetools |
-18 - 0.2 |
色彩 |
2.0 - 3 |
commonmark |
1.8.0 |
編譯器 |
4.1.3 |
配置 |
0.3.1 |
cpp11 |
0.4.2 |
蠟筆 |
1.5.1 |
憑證 |
1.3.2 |
旋度 |
4.3.2 |
data.table |
1.14.2 |
數據集 |
4.1.3 |
DBI |
1.1.2 |
dbplyr |
2.1.1 |
desc |
1.4.1 |
devtools |
2.4.3 |
diffobj |
0.3.5 |
消化 |
0.6.29 |
dplyr |
1.0.9 |
dtplyr |
1.2.1 " |
e1071 |
1.7 9 |
省略 |
0.3.2 |
評估 |
0.15 |
fansi |
1.0.3 |
farver |
魅惑 |
fastmap |
1.1.0 |
fontawesome |
0.2.2 |
forcats |
0.5.1 |
foreach |
1.5.2 |
外國 |
-82 - 0.8 |
打造 |
0.2.0 |
fs |
1.5.2 |
未來 |
1.25.0 |
future.apply |
1.9.0 |
含漱劑 |
1.2.0 |
泛型 |
0.1.2 |
哥特 |
1.6.0 |
ggplot2 |
3.3.6 |
“大酒店” |
1.3.0 |
gitcreds |
0.1.1 |
glmnet |
4.1 - 4 |
全局變量 |
0.14.0 |
膠水 |
1.6.2 |
googledrive |
2.0.0 |
googlesheets4 |
1.0.0 |
高爾 |
1.0.0 |
圖形 |
4.1.3 |
grDevices |
4.1.3 |
網格 |
4.1.3 |
gridExtra |
2.3 |
gsubfn |
0.7 |
gtable |
0.3.0 |
需要戴安全帽的 |
0.2.0 |
還 |
2.5.0 |
highr |
0.9 |
hms |
1.1.1 |
htmltools |
0.5.2 |
htmlwidgets |
1.5.4 |
httpuv |
1.6.5 |
httr |
3 |
id |
1.0.1 |
ini |
0.3.1 |
不小 |
-12 - 0.9 |
isoband |
0.2.5 |
迭代器 |
1.0.14 |
jquerylib |
0.1.4 |
jsonlite |
1.8.0 |
KernSmooth |
-20 - 2.23 |
knitr |
1.39 |
標簽 |
0.4.2 |
晚些時候 |
1.3.0 |
晶格 |
-45 - 0.20 |
熔岩 |
1.6.10 |
生命周期 |
1.0.1 |
listenv |
0.8.0 |
lubridate |
1.8.0 |
magrittr |
2.0.3 |
減價 |
1.1 |
質量 |
-56 - 7.3 |
矩陣 |
1.4 - 1 |
memoise |
2.0.1 |
方法 |
4.1.3 |
mgcv |
-40 - 1.8 |
mime |
0.12 |
ModelMetrics |
1.2.2.2 |
modelr |
0.1.8 |
孟塞爾 |
0.5.0 |
nlme |
-157 - 3.1 |
nnet |
-17 - 7.3 |
numDeriv |
2016.8 - -1.1 |
openssl |
2.0.0 |
平行 |
4.1.3 |
平行 |
1.31.1 |
支柱 |
1.7.0 |
pkgbuild |
1.3.1 |
pkgconfig |
2.0.3 |
pkgload |
1.2.4 |
plogr |
0.2.0 |
plyr |
1.8.7 |
讚美 |
1.0.0 |
prettyunits |
1.1.1 |
pROC |
1.18.0 |
processx |
3.5.3 |
prodlim |
2019.11.13 |
進步 |
1.2.2 |
progressr |
0.10.0 |
承諾 |
1.2.0.1 |
原型 |
1.0.0 |
代理 |
-26 - 0.4 |
ps |
1.7.0 |
purrr |
0.3.4 |
r2d3 |
0.2.6雖然隻是 |
R6 |
2.5.1 |
randomForest |
4.7 - 1 |
rappdirs |
0.3.3 |
rcmdcheck |
1.4.0 |
RColorBrewer |
1.1 - 3 |
Rcpp |
1.0.8.3 |
RcppEigen |
0.3.3.9.2 |
readr |
2.1.2 |
readxl |
1.4.0 |
食譜 |
0.2.0 |
複賽 |
1.0.1 |
rematch2 |
2.1.2 |
遙控器 |
2.4.2 |
reprex |
2.0.1 |
reshape2 |
1.4.4 |
rlang |
1.0.2中 |
rmarkdown |
2.14 |
RODBC |
-19 - 1.3 |
roxygen2 |
7.1.2 |
rpart |
4.1.16 |
rprojroot |
2.0.3 |
Rserve |
-10 - 1.8 |
RSQLite |
2.2.13 |
rstudioapi |
0.13 |
rversions |
2.1.1 |
房車 |
1.0.2中 |
薩斯 |
0.4.1 |
尺度 |
1.2.0 |
selectr |
0.4 - 2 |
sessioninfo |
1.2.2 |
形狀 |
1.4.6 |
閃亮的 |
1.7.1上 |
sourcetools |
0.1.7 |
sparklyr |
1.7.5 |
SparkR |
3.3.0 |
空間 |
-11 - 7.3 |
樣條函數 |
4.1.3 |
sqldf |
-11 - 0.4 |
SQUAREM |
2021.1 |
統計數據 |
4.1.3 |
stats4 |
4.1.3 |
stringi |
1.7.6 |
stringr |
1.4.0 |
生存 |
-13 - 3.2 |
sys |
3.4 |
tcltk |
4.1.3 |
testthat |
3.1.4 |
寵物貓 |
3.1.7 |
tidyr |
1.2.0 |
tidyselect |
1.1.2 |
tidyverse |
1.3.1 |
timeDate |
3043.102 |
tinytex |
0.38 |
工具 |
4.1.3 |
tzdb |
0.3.0 |
usethis |
2.1.5 |
use utf8 |
1.2.2 |
跑龍套 |
4.1.3 |
uuid |
1.1 0 |
vctrs |
0.4.1 |
viridisLite |
0.4.0 |
發嗚嗚聲 |
1.5.7 |
沃爾多 |
0.4.0 |
晶須 |
0.4 |
withr |
2.5.0 |
xfun |
0.30 |
xml2 |
1.3.3 |
xopen |
1.0.0 |
xtable |
1.8 - 4 |
yaml |
2.3.5 |
郵政編碼 |
2.2.0 |
安裝了Java和Scala庫(Scala 2.12集群版)<一個類="headerlink" href="//www.eheci.com/docs.gcp/release-notes/runtime/#installed-java-and-scala-libraries-scala-212-cluster-version" title="">
組ID |
工件ID |
版本 |
|---|---|---|
antlr |
antlr |
2.7.7 |
com.amazonaws |
amazon-kinesis-client |
1.12.0 |
com.amazonaws |
aws-java-sdk-autoscaling |
1.12.189 |
com.amazonaws |
aws-java-sdk-cloudformation |
1.12.189 |
com.amazonaws |
aws-java-sdk-cloudfront |
1.12.189 |
com.amazonaws |
aws-java-sdk-cloudhsm |
1.12.189 |
com.amazonaws |
aws-java-sdk-cloudsearch |
1.12.189 |
com.amazonaws |
aws-java-sdk-cloudtrail |
1.12.189 |
com.amazonaws |
aws-java-sdk-cloudwatch |
1.12.189 |
com.amazonaws |
aws-java-sdk-cloudwatchmetrics |
1.12.189 |
com.amazonaws |
aws-java-sdk-codedeploy |
1.12.189 |
com.amazonaws |
aws-java-sdk-cognitoidentity |
1.12.189 |
com.amazonaws |
aws-java-sdk-cognitosync |
1.12.189 |
com.amazonaws |
aws-java-sdk-config |
1.12.189 |
com.amazonaws |
aws-java-sdk-core |
1.12.189 |
com.amazonaws |
aws-java-sdk-datapipeline |
1.12.189 |
com.amazonaws |
aws-java-sdk-directconnect |
1.12.189 |
com.amazonaws |
aws-java-sdk-directory |
1.12.189 |
com.amazonaws |
aws-java-sdk-dynamodb |
1.12.189 |
com.amazonaws |
aws-java-sdk-ec2 |
1.12.189 |
com.amazonaws |
aws-java-sdk-ecs |
1.12.189 |
com.amazonaws |
aws-java-sdk-efs |
1.12.189 |
com.amazonaws |
aws-java-sdk-elasticache |
1.12.189 |
com.amazonaws |
aws-java-sdk-elasticbeanstalk |
1.12.189 |
com.amazonaws |
aws-java-sdk-elasticloadbalancing |
1.12.189 |
com.amazonaws |
aws-java-sdk-elastictranscoder |
1.12.189 |
com.amazonaws |
aws-java-sdk-emr |
1.12.189 |
com.amazonaws |
aws-java-sdk-glacier |
1.12.189 |
com.amazonaws |
aws-java-sdk-glue |
1.12.189 |
com.amazonaws |
aws-java-sdk-iam |
1.12.189 |
com.amazonaws |
aws-java-sdk-importexport |
1.12.189 |
com.amazonaws |
aws-java-sdk-kinesis |
1.12.189 |
com.amazonaws |
aws-java-sdk-kms |
1.12.189 |
com.amazonaws |
aws-java-sdk-lambda |
1.12.189 |
com.amazonaws |
aws-java-sdk-logs |
1.12.189 |
com.amazonaws |
aws-java-sdk-machinelearning |
1.12.189 |
com.amazonaws |
aws-java-sdk-opsworks |
1.12.189 |
com.amazonaws |
aws-java-sdk-rds |
1.12.189 |
com.amazonaws |
aws-java-sdk-redshift |
1.12.189 |
com.amazonaws |
aws-java-sdk-route53 |
1.12.189 |
com.amazonaws |
aws-java-sdk-s3 |
1.12.189 |
com.amazonaws |
aws-java-sdk-ses |
1.12.189 |
com.amazonaws |
aws-java-sdk-simpledb |
1.12.189 |
com.amazonaws |
aws-java-sdk-simpleworkflow |
1.12.189 |
com.amazonaws |
aws-java-sdk-sns |
1.12.189 |
com.amazonaws |
aws-java-sdk-sqs |
1.12.189 |
com.amazonaws |
aws-java-sdk-ssm |
1.12.189 |
com.amazonaws |
aws-java-sdk-storagegateway |
1.12.189 |
com.amazonaws |
aws-java-sdk-sts |
1.12.189 |
com.amazonaws |
aws-java-sdk-support |
1.12.189 |
com.amazonaws |
aws-java-sdk-swf-libraries |
1.11.22 |
com.amazonaws |
aws-java-sdk-workspaces |
1.12.189 |
com.amazonaws |
jmespath-java |
1.12.189 |
com.chuusai |
shapeless_2.12 |
2.3.3 |
com.clearspring.analytics |
流 |
2.9.6 |
com.databricks |
Rserve |
1.8 - 3 |
com.databricks |
jets3t |
0.7.1-0 |
com.databricks.scalapb |
compilerplugin_2.12 |
0.4.15-10 |
com.databricks.scalapb |
scalapb-runtime_2.12 |
0.4.15-10 |
com.esotericsoftware |
kryo-shaded |
4.0.2 |
com.esotericsoftware |
minlog |
1.3.0 |
com.fasterxml |
同學 |
1.3.4 |
com.fasterxml.jackson.core |
jackson-annotations |
2.13.3 |
com.fasterxml.jackson.core |
jackson-core |
2.13.3 |
com.fasterxml.jackson.core |
jackson-databind |
2.13.3 |
com.fasterxml.jackson.dataformat |
jackson-dataformat-cbor |
2.13.3 |
com.fasterxml.jackson.datatype |
jackson-datatype-joda |
2.13.3 |
com.fasterxml.jackson.module |
jackson-module-paranamer |
2.13.3 |
com.fasterxml.jackson.module |
jackson-module-scala_2.12 |
2.13.3 |
com.github.ben-manes.caffeine |
咖啡因 |
2.3.4 |
com.github.fommil |
jniloader |
1.1 |
com.github.fommil.netlib |
核心 |
1.1.2 |
com.github.fommil.netlib |
native_ref-java |
1.1 |
com.github.fommil.netlib |
native_ref-java-natives |
1.1 |
com.github.fommil.netlib |
native_system-java |
1.1 |
com.github.fommil.netlib |
native_system-java-natives |
1.1 |
com.github.fommil.netlib |
netlib-native_ref-linux-x86_64-natives |
1.1 |
com.github.fommil.netlib |
netlib-native_system-linux-x86_64-natives |
1.1 |
com.github.luben |
zstd-jni |
1.5.2-1 |
com.github.wendykierp |
JTransforms |
3.1 |
com.google.code.findbugs |
jsr305 |
3.0.0 |
com.google.code.gson |
gson |
2.8.6 |
com.google.crypto.tink |
叮叮鈴 |
1.6.1 |
com.google.flatbuffers |
flatbuffers-java |
1.12.0 |
com.google.guava |
番石榴 |
15.0 |
com.google.protobuf |
protobuf-java |
2.6.1 |
com.h2database |
h2 |
2.0.204 |
com.helger |
分析器 |
1.1.1 |
com.jcraft |
jsch |
0.1.50 |
com.jolbox |
bonecp |
0.8.0.RELEASE |
com.lihaoyi |
sourcecode_2.12 |
0.1.9 |
com.microsoft.azure |
azure-data-lake-store-sdk |
2.3.9 |
com.ning |
compress-lzf |
1.1 |
com.sun.mail |
javax.mail |
1.5.2 |
com.tdunning |
json |
1.8 |
com.thoughtworks.paranamer |
paranamer |
2.8 |
com.trueaccord.lenses |
lenses_2.12 |
0.4.12 |
com.twitter |
chill-java |
0.10.0 |
com.twitter |
chill_2.12 |
0.10.0 |
com.twitter |
util-app_2.12 |
7.1.0 |
com.twitter |
util-core_2.12 |
7.1.0 |
com.twitter |
util-function_2.12 |
7.1.0 |
com.twitter |
util-jvm_2.12 |
7.1.0 |
com.twitter |
util-lint_2.12 |
7.1.0 |
com.twitter |
util-registry_2.12 |
7.1.0 |
com.twitter |
util-stats_2.12 |
7.1.0 |
com.typesafe |
配置 |
1.2.1 " |
com.typesafe.scala-logging |
scala-logging_2.12 |
3.7.2章 |
com.univocity |
univocity-parsers |
2.9.1 |
com.zaxxer |
HikariCP |
4.0.3 |
commons-cli |
commons-cli |
1.5.0 |
commons-codec |
commons-codec |
1.15 |
commons-collections |
commons-collections |
3.2.2 |
commons-dbcp |
commons-dbcp |
1.4 |
commons-fileupload |
commons-fileupload |
1.3.3 |
commons-httpclient |
commons-httpclient |
3.1 |
commons-io |
commons-io |
2.11.0 |
commons lang |
commons lang |
2.6 |
通用日誌 |
通用日誌 |
1.1.3 |
commons-pool |
commons-pool |
1.5.4 |
dev.ludovic.netlib |
arpack |
2.2.1 |
dev.ludovic.netlib |
布拉斯特區 |
2.2.1 |
dev.ludovic.netlib |
lapack |
2.2.1 |
蜂巢3.2 - 2.3 - __hadoop - |
jets3t - 0.7 |
liball_deps_2.12 |
info.ganglia.gmetric4j |
gmetric4j |
1.0.10 |
io.airlift |
aircompressor |
0.21 |
io.delta |
delta-sharing-spark_2.12 |
0.4.0 |
io.dropwizard.metrics |
metrics-core |
以下4.4.1 |
io.dropwizard.metrics |
metrics-graphite |
以下4.4.1 |
io.dropwizard.metrics |
metrics-healthchecks |
以下4.4.1 |
io.dropwizard.metrics |
metrics-jetty9 |
以下4.4.1 |
io.dropwizard.metrics |
metrics-jmx |
以下4.4.1 |
io.dropwizard.metrics |
metrics-json |
以下4.4.1 |
io.dropwizard.metrics |
metrics-jvm |
以下4.4.1 |
io.dropwizard.metrics |
metrics-servlets |
以下4.4.1 |
io.netty |
netty-all |
4.1.74.Final |
io.netty |
netty-buffer |
4.1.74.Final |
io.netty |
netty-codec |
4.1.74.Final |
io.netty |
netty-common |
4.1.74.Final |
io.netty |
netty-handler |
4.1.74.Final |
io.netty |
netty-resolver |
4.1.74.Final |
io.netty |
netty-tcnative-classes |
2.0.48.Final |
io.netty |
netty-transport |
4.1.74.Final |
io.netty |
netty-transport-classes-epoll |
4.1.74.Final |
io.netty |
netty-transport-classes-kqueue |
4.1.74.Final |
io.netty |
netty-transport-native-epoll-linux-aarch_64 |
4.1.74.Final |
io.netty |
netty-transport-native-epoll-linux-x86_64 |
4.1.74.Final |
io.netty |
netty-transport-native-kqueue-osx-aarch_64 |
4.1.74.Final |
io.netty |
netty-transport-native-kqueue-osx-x86_64 |
4.1.74.Final |
io.netty |
netty-transport-native-unix-common |
4.1.74.Final |
io.prometheus |
simpleclient |
0.7.0 |
io.prometheus |
simpleclient_common |
0.7.0 |
io.prometheus |
simpleclient_dropwizard |
0.7.0 |
io.prometheus |
simpleclient_pushgateway |
0.7.0 |
io.prometheus |
simpleclient_servlet |
0.7.0 |
io.prometheus.jmx |
收集器 |
0.12.0 |
jakarta.annotation |
jakarta.annotation-api |
1.3.5 |
jakarta.servlet |
jakarta.servlet-api |
4.0.3 |
jakarta.validation |
jakarta.validation-api |
2.0.2 |
jakarta.ws.rs |
jakarta.ws.rs-api |
2.1.6 |
javax.activation |
激活 |
1.1.1 |
javax.annotation |
javax.annotation-api |
1.3.2 |
javax.el |
javax.el-api |
2.2.4 |
javax.jdo |
jdo api |
3.0.1 |
javax.transaction |
jta |
1.1 |
javax.transaction |
事務api |
1.1 |
javax.xml.bind |
jaxb-api |
. 2.2.11 |
javolution |
javolution |
5.5.1 |
jline |
jline |
2.14.6 |
joda-time |
joda-time |
2.10.13 |
maven-trees |
蜂巢3.2 - 2.3 - __hadoop - |
liball_deps_2.12 |
net.java.dev.jna |
jna |
5.8.0 |
net.razorvine |
泡菜 |
1.2 |
net.sf.jpam |
jpam |
1.1 |
net.sf.opencsv |
opencsv |
2.3 |
net.sf.supercsv |
super-csv |
2.2.0 |
net.snowflake |
snowflake-ingest-sdk |
0.9.6 |
net.snowflake |
snowflake-jdbc |
3.13.14 |
net.snowflake |
spark-snowflake_2.12 |
2.10.0-spark_3.1 |
net.sourceforge.f2j |
arpack_combined_all |
0.1 |
org.acplt.remotetea |
remotetea-oncrpc |
1.1.2 |
org.antlr |
ST4 |
4.0.4 |
org.antlr |
antlr-runtime |
3.5.2 |
org.antlr |
antlr4-runtime |
4.8 |
org.antlr |
stringtemplate |
3.2.1之上 |
org.apache.ant |
螞蟻 |
1.9.2 |
org.apache.ant |
ant-jsch |
1.9.2 |
org.apache.ant |
ant-launcher |
1.9.2 |
org.apache.arrow |
arrow-format |
7.0.0 |
org.apache.arrow |
arrow-memory-core |
7.0.0 |
org.apache.arrow |
arrow-memory-netty |
7.0.0 |
org.apache.arrow |
arrow-vector |
7.0.0 |
org.apache.avro |
avro |
1.11.0 |
org.apache.avro |
avro-ipc |
1.11.0 |
org.apache.avro |
avro-mapred |
1.11.0 |
org.apache.commons |
commons-collections4 |
4.4 |
org.apache.commons |
commons-compress |
1.21 |
org.apache.commons |
commons-crypto |
1.1.0 |
org.apache.commons |
commons-lang3 |
3.12.0 |
org.apache.commons |
commons-math3 |
3.6.1 |
org.apache.commons |
commons-text |
1.9 |
org.apache.curator |
curator-client |
2.13.0 |
org.apache.curator |
curator-framework |
2.13.0 |
org.apache.curator |
curator-recipes |
2.13.0 |
org.apache.derby |
德比 |
10.14.2.0 |
org.apache.hadoop |
hadoop-client-api |
3.3.2-databricks |
org.apache.hadoop |
hadoop-client-runtime |
3.3.2 |
org.apache.hive |
hive-beeline |
2.3.9 |
org.apache.hive |
hive-cli |
2.3.9 |
org.apache.hive |
hive-jdbc |
2.3.9 |
org.apache.hive |
hive-llap-client |
2.3.9 |
org.apache.hive |
hive-llap-common |
2.3.9 |
org.apache.hive |
hive-serde |
2.3.9 |
org.apache.hive |
hive-shims |
2.3.9 |
org.apache.hive |
hive-storage-api |
2.7.2 |
org.apache.hive.shims |
蜂巢0.23 -墊片 |
2.3.9 |
org.apache.hive.shims |
hive-shims-common |
2.3.9 |
org.apache.hive.shims |
hive-shims-scheduler |
2.3.9 |
org.apache.httpcomponents |
httpclient |
4.5.13 |
org.apache.httpcomponents |
httpcore |
4.4.14 |
org.apache.ivy |
艾薇 |
2.5.0 |
org.apache.logging.log4j |
log4j - 1.2 api |
2.17.2 |
org.apache.logging.log4j |
log4j api |
2.17.2 |
org.apache.logging.log4j |
log4j-core |
2.17.2 |
org.apache.logging.log4j |
log4j-slf4j-impl |
2.17.2 |
org.apache.mesos |
mesos-shaded-protobuf |
1.4.0 |
org.apache.orc |
orc-core |
1.7.4 |
org.apache.orc |
orc-mapreduce |
1.7.4 |
org.apache.orc |
orc-shims |
1.7.4 |
org.apache.parquet |
parquet-column |
1.12.0-databricks-0004 |
org.apache.parquet |
parquet-common |
1.12.0-databricks-0004 |
org.apache.parquet |
parquet-encoding |
1.12.0-databricks-0004 |
org.apache.parquet |
parquet-format-structures |
1.12.0-databricks-0004 |
org.apache.parquet |
parquet-hadoop |
1.12.0-databricks-0004 |
org.apache.parquet |
parquet-jackson |
1.12.0-databricks-0004 |
org.apache.thrift |
libfb303 |
0.9.3 |
org.apache.thrift |
libthrift |
0.12.0 |
org.apache.xbean |
xbean-asm9-shaded |
4.20 |
org.apache.yetus |
audience-annotations |
0.5.0 |
org.apache.zookeeper |
動物園管理員 |
操作 |
org.apache.zookeeper |
zookeeper-jute |
操作 |
org.checkerframework |
checker-qual |
3.5.0 |
org.codehaus.jackson |
jackson-core-asl |
1.9.13 |
org.codehaus.jackson |
jackson-mapper-asl |
1.9.13 |
org.codehaus.janino |
commons-compiler |
3.0.16 |
org.codehaus.janino |
janino |
3.0.16 |
org.datanucleus |
datanucleus-api-jdo |
4.2.4 |
org.datanucleus |
datanucleus-core |
4.1.17 |
org.datanucleus |
datanucleus-rdbms |
4.1.19 |
org.datanucleus |
javax.jdo |
3.2.0-m3 |
org.eclipse.jetty |
jetty-client |
9.4.46.v20220331 |
org.eclipse.jetty |
jetty-continuation |
9.4.46.v20220331 |
org.eclipse.jetty |
jetty-http |
9.4.46.v20220331 |
org.eclipse.jetty |
jetty-io |
9.4.46.v20220331 |
org.eclipse.jetty |
jetty-jndi |
9.4.46.v20220331 |
org.eclipse.jetty |
jetty-plus |
9.4.46.v20220331 |
org.eclipse.jetty |
jetty-proxy |
9.4.46.v20220331 |
org.eclipse.jetty |
jetty-security |
9.4.46.v20220331 |
org.eclipse.jetty |
jetty服務器 |
9.4.46.v20220331 |
org.eclipse.jetty |
jetty servlet |
9.4.46.v20220331 |
org.eclipse.jetty |
jetty-servlets |
9.4.46.v20220331 |
org.eclipse.jetty |
jetty-util |
9.4.46.v20220331 |
org.eclipse.jetty |
jetty-util-ajax |
9.4.46.v20220331 |
org.eclipse.jetty |
jetty-webapp |
9.4.46.v20220331 |
org.eclipse.jetty |
jetty-xml |
9.4.46.v20220331 |
org.eclipse.jetty.websocket |
websocket-api |
9.4.46.v20220331 |
org.eclipse.jetty.websocket |
websocket-client |
9.4.46.v20220331 |
org.eclipse.jetty.websocket |
websocket-common |
9.4.46.v20220331 |
org.eclipse.jetty.websocket |
websocket服務器 |
9.4.46.v20220331 |
org.eclipse.jetty.websocket |
websocket-servlet |
9.4.46.v20220331 |
org.fusesource.leveldbjni |
leveldbjni-all |
1.8 |
org.glassfish.hk2 |
hk2-api |
2.6.1 |
org.glassfish.hk2 |
hk2-locator |
2.6.1 |
org.glassfish.hk2 |
hk2-utils |
2.6.1 |
org.glassfish.hk2 |
osgi-resource-locator |
1.0.3 |
org.glassfish.hk2.external |
aopalliance-repackaged |
2.6.1 |
org.glassfish.hk2.external |
jakarta.inject |
2.6.1 |
org.glassfish.jersey.containers |
jersey-container-servlet |
2.34 |
org.glassfish.jersey.containers |
jersey-container-servlet-core |
2.34 |
org.glassfish.jersey.core |
jersey客戶端 |
2.34 |
org.glassfish.jersey.core |
jersey-common |
2.34 |
org.glassfish.jersey.core |
jersey-server |
2.34 |
org.glassfish.jersey.inject |
jersey-hk2 |
2.34 |
org.hibernate.validator |
hibernate驗證框架 |
6.1.0.Final |
org.javassist |
javassist |
3.25.0-GA |
org.jboss.logging |
jboss-logging |
3.3.2.Final |
org.jdbi |
jdbi |
2.63.1 |
org.jetbrains |
注釋 |
17.0.0 |
org.joda |
joda-convert |
1.7 |
org.jodd |
jodd-core |
3.5.2 |
org.json4s |
json4s-ast_2.12 |
3.7.0-M11 |
org.json4s |
json4s-core_2.12 |
3.7.0-M11 |
org.json4s |
json4s-jackson_2.12 |
3.7.0-M11 |
org.json4s |
json4s-scalap_2.12 |
3.7.0-M11 |
org.lz4 |
lz4-java |
1.8.0 |
org.mariadb.jdbc |
mariadb-java-client |
第2.7.4 |
org.objenesis |
objenesis |
2.5.1 |
org.postgresql |
postgresql |
42.3.3 |
org.roaringbitmap |
RoaringBitmap |
0.9.25 |
org.roaringbitmap |
墊片 |
0.9.25 |
org.rocksdb |
rocksdbjni |
6.24.2 |
org.rosuda.REngine |
REngine |
魅惑 |
org.scala-lang |
scala-compiler_2.12 |
2.12.14 |
org.scala-lang |
scala-library_2.12 |
2.12.14 |
org.scala-lang |
scala-reflect_2.12 |
2.12.14 |
org.scala-lang.modules |
scala-collection-compat_2.12 |
2.4.3 |
org.scala-lang.modules |
scala-parser-combinators_2.12 |
1.1.2 |
org.scala-lang.modules |
scala-xml_2.12 |
1.2.0 |
org.scala-sbt |
測試界麵 |
1.0 |
org.scalacheck |
scalacheck_2.12 |
1.14.2 |
org.scalactic |
scalactic_2.12 |
3.0.8 |
org.scalanlp |
breeze-macros_2.12 |
1.2 |
org.scalanlp |
breeze_2.12 |
1.2 |
org.scalatest |
scalatest_2.12 |
3.0.8 |
org.slf4j |
jcl-over-slf4j |
1.7.36 |
org.slf4j |
jul-to-slf4j |
1.7.36 |
org.slf4j |
slf4j-api |
1.7.36 |
org.spark-project.spark |
未使用的 |
1.0.0 |
org.threeten |
threeten-extra |
1.5.0 |
org.tukaani |
xz |
1.8 |
org.typelevel |
algebra_2.12 |
2.0.1 |
org.typelevel |
cats-kernel_2.12 |
2.1.1 |
org.typelevel |
macro-compat_2.12 |
1.1.1 |
org.typelevel |
spire-macros_2.12 |
0.17.0 |
org.typelevel |
spire-Beplay体育安卓版本platform_2.12 |
0.17.0 |
org.typelevel |
spire-util_2.12 |
0.17.0 |
org.typelevel |
spire_2.12 |
0.17.0 |
org.wildfly.openssl |
wildfly-openssl |
1.0.7.Final |
org.xerial |
sqlite-jdbc |
3.8.11.2 |
org.xerial.snappy |
snappy-java |
1.1.8.4 |
org.yaml |
snakeyaml |
1.24 |
奧羅 |
奧羅 |
2.0.8 |
pl.edu.icm |
JLargeArrays |
1.5 |
software.amazon.ion |
ion-java |
1.0.2中 |
stax |
stax-api |
1.0.1 |