Databricks Runtime 11.3 LTS

以下版本說明提供了由Apache Spark 3.3.0支持的Databricks Runtime 11.3 LTS的相關信息。數據ricks在2022年10月發布了這些圖片。

新功能和改進

Databricks Kinesis連接器現在支持在EFO模式下從Kinesis數據流讀取

您現在可以在Databricks Runtime 11.3 LTS中使用Databricks Kinesis結構化流源,以增強的扇出模式運行從Kinesis數據流讀取的查詢。這允許每個碎片、每個消費者和推模式下的記錄交付專用吞吐量。

新的H3地理空間功能,並為所有H3功能添加了Photon支持

引入4個新的H3功能,h3_maxchildh3_minchildh3_pointash3,h3_pointash3string.這些函數可以在SQL、Scala和Python中使用。Photon現在支持所有H3表達式。看到H3地理空間功能

增加初始分區以掃描選擇性查詢

要掃描的初始分區的值已增加到10,以進行選擇性查詢/尾/限製在光子激活的集群中限製在磚SQL。使用10個分區,您可以避免啟動多個小作業的開銷和緩慢的擴展。您也可以通過此配置spark.sql.limit.selectiveInitialNumPartitions

新的AQE計劃版本可視化

引入允許您從自適應查詢執行(AQE)可視化運行時計劃更新的AQE計劃版本。

新的異步進度跟蹤和日誌清除模式

引入結構化流模式,稱為異步進度跟蹤和異步日誌清除。異步日誌清除模式通過在後台刪除用於進度跟蹤的日誌,降低了流查詢的延遲。

現在支持Unity目錄上的結構化流媒體顯示()

你現在可以使用顯示()當你使用結構化流處理在Unity Catalog中注冊的表時。

管道事件現在以JSON格式記錄

Databricks現在將管道事件以JSON格式寫入驅動日誌。雖然每個事件都是json可解析的,但大事件可能不包含所有字段,或者字段可能被截斷。每個事件都記錄在帶有前綴的一行中事件收到:.下麵是一個示例事件。

事件received: {"id":"some-event-id","origin":{"pipeline_id":"some-pipeline-id","cluster_id":"some-cluster id"},"message":"simple [truncated] message","level":"WARN"}

Python結構化流中的任意狀態處理

介紹了applyInPandasWithState函數,該函數可用於在PySpark中執行任意狀態處理。這等價於flatMapGroupsWithState函數。

CSV文件中的日期推斷

在CSV文件中引入改進的日期類型列推理。當某個列的記錄的日期格式一致時,這些列可以推斷為DateType.您還可以在不同的列中組合使用日期格式。數據庫可以自動推斷每一列的日期格式。在Databricks Runtime 11.3 LTS之前的CSV文件中,日期列保留為StringType

對Apache Parquet和Apache Iceberg表的克隆支持(公開預覽)

現在可以使用Clone創建和增量更新鏡像Apache Parquet和Apache Iceberg表的Delta表。您可以更新源Parquet表,並使用clone命令將更改增量地應用到其克隆的Delta表。看到增量克隆拚花和冰山表三角洲湖

行為變化

更新了Databricks雪花連接器

Databricks Snowflake連接器已經從開源存儲庫中更新到最新版本的代碼,用於Apache Spark的雪花數據源.它現在完全兼容Databricks Runtime 11.3 LTS,包括謂詞下推和內部查詢計劃下推,同時保持了開源版本的所有特性。

S3A的Hadoop緩存現在被禁用

Hadoop緩存(文件係統Apache Hadoop Main 3.3.4 API)的S3A現在被禁用。這是為了與其他雲存儲連接器保持一致。對於依賴於文件係統緩存的工作負載,請確保新創建的文件係統提供了正確的Hadoop配置,包括憑據提供程序。

Delta Lake統計信息收集模式現在與表模式定義中的列順序匹配

此更改解決了Delta Lake協議中的一個錯誤,即由於DataFrame和表列順序不匹配,無法收集列的統計信息。在某些情況下,由於之前未跟蹤字段的統計信息收集,可能會導致寫入性能下降。看到Delta Lake的z階指數數據跳過

如果查詢在運算符之後有一個打亂,applyInPandasWithState會拋出一個錯誤

操作員applyInPandasWithState如果查詢有,則拋出錯誤洗牌後的操作符。這發生在用戶添加時洗牌操作之後,或者優化器或接收器添加洗牌隱式。

庫升級

  • 升級的Python庫:

    • 從0.3.5到0.3.6

  • 升級R庫:

    • 掃帚從1.0.0到1.0.1

    • 從3.7.1到3.7.2的調用

    • Dplyr從1.0.9到1.0.10

    • Dtplyr從1.2.1到1.2.2

    • 從0.5.1到0.5.2的格式化

    • 從1.27.0到1.28.0的未來

    • future.applyfrom 1.9.0 to 1.9.1

    • Gert從1.7.0到1.8.0

    • 從0.16.0到0.16.1的全局變量

    • Gtable從0.3.0到0.3.1

    • Haven從2.5.0到2.5.1

    • HMS從1.1.1到1.1.2

    • 從1.4.3到1.4.4的http

    • 針織率從1.39降至1.40

    • Modelr從0.1.8到0.1.9

    • 支柱從1.8.0到1.8.1

    • 進度從0.10.1到0.11.0

    • Readxl從1.4.0到1.4.1

    • 從2.0.1重新prex到2.0.2

    • Rlang從1.0.4到1.0.5

    • 從2.14降至2.16

    • 從2.2.15到2.2.16

    • Rstudioapi從0.13到0.14

    • 從2.1.1恢複到2.1.2

    • 從1.0.2投資到1.0.3

    • 從1.2.0擴展到1.2.1

    • Sparklyr從1.7.7降到1.7.8

    • Stringr從1.4.0到1.4.1

    • 存活率從3.2-13降到3.4-0

    • Tinytex從0.40降到0.41

    • viridisLite從0.4.0到0.4.1

  • 升級Java庫:

    • com.fasterxml.jackson.core。jackson-annotationsfrom 2.13.3 to 2.13.4

    • com.fasterxml.jackson.core。jackson-corefrom 2.13.3 to 2.13.4

    • com.fasterxml.jackson.core。jackson-databindfrom 2.13.3 to 2.13.4

    • com.fasterxml.jackson.dataformat。jackson-dataformat-cborfrom 2.13.3 to 2.13.4

    • com.fasterxml.jackson.datatype。jackson-datatype-jodafrom 2.13.3 to 2.13.4

    • com.fasterxml.jackson.datatype。jackson-datatype-jsr310from 2.13.3 to 2.13.4

    • com.fasterxml.jackson.module。jackson-module-paranamerfrom 2.13.3 to 2.13.4

    • 從2.13.3到2.13.4的scala_2.12

    • org.apache.hadoop。hadoop-client-apifrom 3.3.2-databricks to 3.3.4-databricks

    • org.apache.hadoop。Hadoop-client-runtime從3.3.2到3.3.4

    • org.apache.orc。orc-corefrom 1.7.5 to 1.7.6

    • org.apache.orc。orc-mapreducefrom 1.7.5 to 1.7.6

    • org.apache.orc。orc-shimsfrom 1.7.5 to 1.7.6

    • org.apache.parquet。parquet-columnfrom 1.12.0-databricks-0004 to 1.12.0-databricks-0007

    • org.apache.parquet。parquet-commonfrom 1.12.0-databricks-0004 to 1.12.0-databricks-0007

    • org.apache.parquet。parquet-encodingfrom 1.12.0-databricks-0004 to 1.12.0-databricks-0007

    • org.apache.parquet。Parquet-format-structures從1.12.0-databricks-0004到1.12.0-databricks-0007

    • org.apache.parquet。parquet-hadoopfrom 1.12.0-databricks-0004 to 1.12.0-databricks-0007

    • org.apache.parquet。parquet-jacksonfrom 1.12.0-databricks-0004 to 1.12.0-databricks-0007

    • org.glassfish.jersey.containers。jersey-container-servletfrom 2.34 to 2.36

    • org.glassfish.jersey.containers。jersey-container-servlet-corefrom 2.34 to 2.36

    • org.glassfish.jersey.core。jersey客戶端from 2.34 to 2.36

    • org.glassfish.jersey.core。jersey-commonfrom 2.34 to 2.36

    • org.glassfish.jersey.core。jersey-serverfrom 2.34 to 2.36

    • org.glassfish.jersey.inject。Jersey-hk2從2.34到2.36

Apache火花

Databricks Runtime 11.3 LTS包含Apache Spark 3.3.0。該版本包括所有Spark修複和改進磚11.2運行時,以及對Spark進行的以下額外bug修複和改進:

  • (火花- 39957)[WARMFIX][SC-111425][CORE]延遲onDisconnected使驅動程序接收ExecutorExitCode

  • (火花- 39955)[WARMFIX][SC-111424][CORE]改進LaunchTask進程,以避免由於發送LaunchTask消息失敗而導致的Stage失敗

  • (火花- 40474)[SC-106248][Cherry-Pick]糾正datetime列的CSV模式推斷行為,並引入Date字段的自動檢測

  • (火花- 40535)[SC-111243][SQL]修複了當輸入行為空時AggregatingAccumulator的緩衝區不會被創建的問題

  • (火花- 40434)[SC-111125][SC-111144][SC-111138][SPARK-40435][11.3][SS][PYTHON]在PySpark中實現applyInPandasWithState

  • (火花- 40460)[SC-110832][SS]修正選擇時的流指標_metadata

  • (火花- 40324)[SC-109943][SQL]提供的查詢上下文拋出ParseException

  • (火花- 40466)[SC-110899][SS]改進了當DSv2被禁用而DSv1不可用時的錯誤消息

  • (火花- 40456)(sc - 110848) [SQL] PartitionIterator。hasNext應該很容易重複調用

  • (火花- 40169)[SC-110772][SQL]不要在沒有引用數據模式的情況下下推Parquet過濾器

  • (火花- 40467)[SC-110759][SS]將FlatMapGroupsWithState拆分為多個測試套件

  • (火花- 40468)[SC-110813][SQL]修複CSV中的列修剪腐敗的記錄被選中

  • (火花- 40291)[SC-110085][SQL]根據子句錯誤改進列不在組中的消息

  • (火花- 40398)[SC-110762][CORE][SQL]使用循環代替數組。流api

  • (火花- 40433)[SC-110684][SS][PYTHON]在PythonSQLUtils中添加toJVMRow將pickle的PySpark行轉換為JVM行

  • (火花- 40414)[c -110568][SQL][PYTHON] PythonArrowInput和PythonArrowOutput的更多泛型類型

  • (火花- 40352)[SC-109945][SQL]添加函數別名:len, datepart, dateadd, date_diff和curdate

  • (火花- 40470)[SC-110761][SQL]處理" arrays_zip "函數中的GetArrayStructFields和GetMapValue

  • (火花- 40387)[SC-110685][SQL]改進Spark Decimal的實現

  • (火花- 40429)[SC-110675][SQL]隻在輸出中有引用列時設置KeyGroupedPartitioning

  • (火花- 40432)[SC-110716][SS][PYTHON]在PySpark中引入GroupStateImpl和GroupStateTimeout

  • (火花- 39915)[SC-110496][SQL]確保輸出分區是用戶在AQE中指定的

  • (火花- 29260)[SQL]支持改變數據庫位置如果HMS支持

  • (火花- 40185)[SC-110056][SQL]當候選列表為空時刪除列建議

  • (火花- 40362)[SC-110401][SQL]修複BinaryComparison規範化問題

  • (火花- 40411)[SC-110381][SS]重構FlatMapGroupsWithStateExec有一個父trait

  • (火花- 40293)[SC-110084][SQL]使V2表錯誤消息更有意義

  • (火花- 38734)[SC-110383][SQL]刪除錯誤類INDEX_OUT_OF_BOUNDS

  • (火花- 40292)[SC-110300][SQL]修複" arrays_zip "函數中從嵌套結構引用數組時的列名問題

  • (火花- 40276)[SC-109674][CORE]減小RDD.takeOrdered的結果大小

  • (火花- 40197)[SC-109176][SQL]用MULTI_VALUE_SUBQUERY_ERROR的上下文替換查詢計劃

  • (火花- 40300)[SC-109942][SQL] Migrate to the .遷移到DATATYPE_MISMATCH錯誤類

  • (火花- 40149)[SC-110055][SQL]通過Project傳播元數據列

  • (火花- 40280)[SC-110146][SQL]增加對帶注釋的int和long的parquet下推支持

  • (火花- 40220)[SC-110143][SC-109175][SQL]不輸出錯誤消息參數的空映射

  • (火花- 40295)[SC-110070][SQL]允許v2函數在寫分配/順序中使用文字參數

  • (火花- 40156)(sc - 109264] [SQL]url_decode ()是否應該返回一個錯誤類

  • (火花- 39195)當提交的文件與任務狀態不一致時,Spark OutputCommitCoordinator應中止階段

  • (火花- 40260)[SC-109424][SQL]在GROUP BY的編譯錯誤中使用錯誤類

  • (火花- 40205)[SC-110144][SC-109082][SQL]提供ELEMENT_AT_BY_INDEX_ZERO的查詢上下文

  • (火花- 40112)改進TO_BINARY()函數

  • (火花- 40209)[SC-109081][SQL]不要更改Decimal in的interval值changePrecision ()在錯誤

  • (火花- 40319)[SC-109873][SQL]刪除PARSE_DATETIME_BY_NEW_PARSER重複的查詢執行錯誤方法

  • (火花- 40222)[SC-109209][SQL]數值try_add/try_divide/try_subtract/try_multiply會從它們的子函數中拋出錯誤

  • (火花- 40183)[SQL]使用錯誤類NUMERIC_VALUE_OUT_OF_RANGE在十進製轉換中溢出

  • (火花- 40180)[SC-109069][SQL]格式化錯誤消息spark-sql

  • (火花- 40153)[SC-109165][SQL]統一解析函數和表值函數

  • (火花- 40308)[SC-109880][SQL]允許不可折疊的分隔符參數str_to_map函數

  • (火花- 40219)[SC-110052][SC-109663][SQL]已解析視圖邏輯計劃應保存模式以避免冗餘查找

  • (火花- 40098)[SC-109939][SC-108693][SQL]在Thrift Server中格式化錯誤消息

  • (火花- 39917)[SC-109038][SQL]對數值/間隔算術溢出使用不同的錯誤類

  • (火花- 40033)[SC-109875][SQL]通過element_at支持嵌套模式修剪

  • (火花- 40194)[SC-109660][SQL] SPLIT函數在空正則表達式上應該截斷尾隨空字符串。

  • (火花- 40228)[SC-109835][SQL]如果child不是一個廉價的表達式,就不要簡化multiLike

  • (火花- 40039)[SC-109896][SC-109260][SS]引入基於Hadoop Abortable接口的流檢查點文件管理器

  • (火花- 40285)(sc - 109679) [SQL]簡化roundTo[數字]的火花小數

  • (火花- 39896)[SC-109658][SQL] UnwrapCastInBinaryComparison在In/InSet向下轉換失敗時應該工作

  • (火花- 40040)[SC-109662][SQL]如果連接條件為空,則將本地限製推到兩邊

  • (火花- 40055)[SC-109075][SQL] listCatalogs也應該返回spark_catalog,即使spark_catalog實現為defaultSessionCatalog

  • (火花- 39915)[SC-109391][SQL] Dataset.repartition(N)可能不創建N個分區

  • (火花- 40207)[SC-109401][SQL]當數據源不支持數據類型時,指定列名

  • (火花- 40245)[SC-109295][SQL]修複當分區或數據過濾器列未被讀取時,文件可以進行相等檢查的問題

  • (火花- 40113)[SC-109405][SQL] Reactor ParquetScanBuilder DataSourceV2接口實現

  • (火花- 40211)[SC-109226][CORE][SQL]允許在take()行為中自定義初始分區數

  • (火花- 40252)(sc - 109379] [SQL]替換Stream.collect (Collectors.joining)StringJoinerApi

  • (火花- 40247)[SC-109272][SQL]修複BitSet相等性檢查

  • (火花- 40067)使用Table#name()而不是Scan#name()來填充SparkUI中的BatchScan節點中的表名

  • (火花- 39966)[SQL] SupportsDelete中使用V2過濾器

  • (火花- 39607)[SC-109268][SQL][DSV2]分發和訂購在寫入時支持V2功能

  • (火花- 40224)[SC-109271][SQL]使ObjectHashAggregateExec在回退到基於排序時主動釋放內存

  • (火花- 40013)[SQL] DS V2表達式應該有默認值toString

  • (火花- 40214)[SC-109079][PYTHON][SQL]添加' get '到函數

  • (火花- 40192)[SC-109089][SQL][ML]刪除冗餘分組

  • (火花- 40146)[SC-108694][SQL]簡單來說就是獲取地圖值的代碼

  • (火花- 40109)新的SQL函數:get()

  • (火花- 39929)[SQL] DS V2支持下推字符串函數(非ANSI)

  • (火花- 39819)[SQL] DS V2聚合下推可以使用Top N或分頁(用表達式排序)

  • (火花- 40213)[SC-109077][SQL]支持Latin-1字符的ASCII值轉換

  • (火花- 39887)RemoveRedundantAliases應該保留使投影節點的輸出唯一的別名

  • (火花- 39764)[SQL]使PhysicalOperation與ScanOperation相同

  • (火花- 39964)DS V2下推應該統一翻譯路徑

  • (火花- 39528)[SQL]在supportsrtimefiltering中使用V2 Filter

  • (火花- 40066)[SQL] ANSI模式:對映射列的非法訪問總是返回null

  • (火花- 39912)[火花- 39828][SQL]完善CatalogImpl

  • (火花- 39833)[SC-108736][SQL]在DSv1中禁用Parquet列索引,以修複分區和數據列重疊時的正確性問題

  • (火花- 39880)[SQL] V2 SHOW FUNCTIONS命令應該打印像v1這樣的限定函數名

  • (火花- 39767)[SQL]刪除UnresolvedDBObjectName並添加UnresolvedIdentifier

  • (火花- 40163)(sc - 108740) [SQL]的壯舉:SparkSession.config(地圖)

  • (火花- 40136)[SQL]修複SQL查詢上下文的片段

  • (火花- 40107)[SC-108689][SQL]從FileFormatWriter中取出empty2null轉換

  • (火花- 40121)[PYTHON][SQL]用於PYTHON UDF的初始化投影

  • (火花- 40128)[SQL]使VectorizedColumnReader識別DELTA_LENGTH_BYTE_ARRAY作為獨立的列編碼

  • (火花- 40132)[ML]恢複rawPredictionCol到MultilayerPerceptronClassifier.setParams

  • (火花- 40050)(sc - 108696) [SQL]增強EliminateSorts來支持通過刪除排序LocalLimit

  • (火花- 39629)[SQL]支持v2 SHOW函數

  • (火花- 39925)[SC-108734][SQL]為DataFrame操作添加array_sort(列,比較器)過載

  • (火花- 40117)[PYTHON][SQL]在DataFrameWriterV2.overwrite中將條件轉換為java

  • (火花- 40105)改進ReplaceCTERefWithRepartition中的重分區

  • (火花- 39503)[SQL]為v1數據庫表和函數添加會話目錄名稱

  • (火花- 39889)[SQL]對數值/間隔除以0使用不同的錯誤類

  • (火花- 39741)[SQL]支持url編碼/解碼作為內置函數,並整理url相關函數

  • (火花- 40102)[SQL]使用SparkException代替SparkPlan中的IllegalStateException

  • (火花- 40014)[SQL]支持將小數轉換為ANSI間隔

  • (火花- 39776)[SQL][FOLLOW]在ANSI模式下更新PlanStabilitySuite的UT

  • (火花- 39963)[SQL]簡化SimplifyCasts.isWiderCast

係統環境

  • 操作係統: Ubuntu 20.04.5 LTS

  • Java:祖魯8.56.0.21-CA-linux64

  • Scala: 2.12.14

  • Python: 3.9.5

  • R: 4.1.3

  • 三角洲湖:魅惑

安裝Python庫

圖書館

版本

圖書館

版本

圖書館

版本

argon2-cffi

20.1.0

async-generator

1.10

attrs

21.2.0

backcall

0.2.0

backports.entry-points-selectable

1.1.1

黑色的

22.3.0

漂白劑

4.0.0

boto3

1.21.18

botocore

1.24.18

certifi

2021.10.8

cffi

1.14.6

chardet

4.0.0

charset-normalizer

2.0.4

點擊

8.0.3

密碼學

3.4.8

周期計

0.10.0

Cython

0.29.24

dbus-python

1.2.16

debugpy

1.4.1

裝飾

5.1.0

defusedxml

是0.7.1

distlib

0.3.6

entrypoints

0.3

facets-overview

1.0.0

filelock

3.8.0

idna

3.2

ipykernel

6.12.1

ipython

7.32.0

ipython-genutils

0.2.0

ipywidgets

7.7.0

絕地武士

0.18.0

Jinja2

14

jmespath

0.10.0

joblib

1.0.1

jsonschema

3.2.0

jupyter-client

6.1.12

jupyter-core

4.8.1

jupyterlab-pygments

0.1.2

jupyterlab-widgets

1.0.0

kiwisolver

1.3.1

MarkupSafe

2.0.1

matplotlib

3.4.3

matplotlib-inline

0.1.2

使走調

0.8.4

mypy-extensions

0.4.3

nbclient

0.5.3

nbconvert

6.1.0

nbformat

5.1.3

nest-asyncio

1.5.1

筆記本

6.4.5

numpy

1.20.3

包裝

21.0

熊貓

1.3.4

pandocfilters

3

parso

0.8.2

pathspec

0.9.0

容易受騙的人

0.5.2

pexpect

4.8.0

pickleshare

0.7.5

枕頭

8.4.0

皮普

21.2.4

Beplay体育安卓版本platformdirs

2.5.2

情節

5.9.0

prometheus-client

0.11.0

prompt-toolkit

3.0.20

protobuf

4.21.5

psutil

5.8.0

psycopg2

2.9.3

ptyprocess

0.7.0

pyarrow

7.0.0

pycparser

2.20

Pygments

2.10.0

PyGObject

3.36.0

pyodbc

4.0.31

pyparsing

3.0.4

pyrsistent

0.18.0

python-dateutil

2.8.2

pytz

2021.3

pyzmq

22.2.1

請求

2.26.0

requests-unixsocket

0.2.0

s3transfer

0.5.2

scikit-learn

0.24.2

scipy

1.7.1上

seaborn

0.11.2

Send2Trash

1.8.0

setuptools

58.0.4

六個

1.16.0

ssh-import-id

5.10

statsmodels

0.12.2

韌性

8.0.1

terminado

0.9.4

testpath

0.5.0

threadpoolctl

2.2.0

tokenize-rt

4.2.1

tomli

2.0.1

龍卷風

6.1

traitlets

5.1.0

typing-extensions

3.10.0.2

unattended-upgrades

0.1

urllib3

1.26.7

virtualenv

20.8.0

wcwidth

0.2.5

webencodings

0.5.1

0.37.0

widgetsnbextension

3.6.0

安裝R庫

R庫從Microsoft CRAN快照於2012-09-08發布

圖書館

版本

圖書館

版本

圖書館

版本

askpass

1.1

為了

0.2.1

補丁

1.4.1

基地

4.1.3

base64enc

0.1 - 3

4.0.4

bit64

1.2.3

引導

-28 - 1.3

釀造

1.0 7

生動

1.1.3

掃帚

1.0.1

bslib

0.4.0

cachem

1.0.6

callr

3.7.2章

脫字符號

-93 - 6.0

cellranger

1.1.0

時間

-57 - 2.3

-20 - 7.3

cli

3.3.0

clipr

0.8.0

集群

2.1.3

codetools

-18 - 0.2

色彩

2.0 - 3

commonmark

1.8.0

編譯器

4.1.3

配置

0.3.1

cpp11

0.4.2

蠟筆

1.5.1

憑證

1.3.2

旋度

4.3.2

data.table

1.14.2

數據集

4.1.3

DBI

1.1.3

dbplyr

2.2.1

desc

1.4.1

devtools

2.4.4

diffobj

0.3.5

消化

0.6.29

downlit

0.4.2

dplyr

1.0.10

dtplyr

1.2.2

e1071

-11 - 1.7

省略

0.3.2

評估

0.16

fansi

1.0.3

farver

2.1.1

fastmap

1.1.0

fontawesome

0.3.0

forcats

0.5.2

foreach

1.5.2

外國

-82 - 0.8

打造

0.2.0

fs

1.5.2

未來

1.28.0

future.apply

1.9.1

含漱劑

1.2.0

泛型

0.1.3

哥特

1.8.0

ggplot2

3.3.6

“大酒店”

1.3.0

gitcreds

0.1.1

glmnet

4.1 - 4

全局變量

0.16.1

膠水

1.6.2

googledrive

2.0.0

googlesheets4

1.0.1

高爾

1.0.0

圖形

4.1.3

grDevices

4.1.3

網格

4.1.3

gridExtra

2.3

gsubfn

0.7

gtable

0.3.1

需要戴安全帽的

1.2.0

2.5.1

highr

0.9

hms

1.1.2

htmltools

0.5.3

htmlwidgets

1.5.4

httpuv

1.6.5

httr

1.4.4

id

1.0.1

ini

0.3.1

不小

-13 - 0.9

isoband

0.2.5

迭代器

1.0.14

jquerylib

0.1.4

jsonlite

1.8.0

KernSmooth

-20 - 2.23

knitr

1.40

標簽

0.4.2

晚些時候

1.3.0

晶格

-45 - 0.20

熔岩

1.6.10

生命周期

1.0.1

listenv

0.8.0

lubridate

1.8.0

magrittr

2.0.3

減價

1.1

質量

-56 - 7.3

矩陣

1.4 - 1

memoise

2.0.1

方法

4.1.3

mgcv

-40 - 1.8

mime

0.12

miniUI

0.1.1.1

ModelMetrics

1.2.2.2

modelr

0.1.9

孟塞爾

0.5.0

nlme

-157 - 3.1

nnet

-17 - 7.3

numDeriv

2016.8 - -1.1

openssl

2.0.2

平行

4.1.3

平行

1.32.1

支柱

1.8.1

pkgbuild

1.3.1

pkgconfig

2.0.3

pkgdown

2.0.6

pkgload

1.3.0

plogr

0.2.0

plyr

1.8.7

讚美

1.0.0

prettyunits

1.1.1

pROC

1.18.0

processx

3.7.0

prodlim

2019.11.13

profvis

0.3.7

進步

1.2.2

progressr

0.11.0

承諾

1.2.0.1

原型

1.0.0

代理

-27 - 0.4

ps

1.7.1上

purrr

0.3.4

r2d3

0.2.6雖然隻是

R6

2.5.1

ragg

1.2.2

randomForest

4.7 - -1.1

rappdirs

0.3.3

rcmdcheck

1.4.0

RColorBrewer

1.1 - 3

Rcpp

1.0.9

RcppEigen

0.3.3.9.2

readr

2.1.2

readxl

1.4.1

食譜

1.0.1

複賽

1.0.1

rematch2

2.1.2

遙控器

2.4.2

reprex

2.0.2

reshape2

1.4.4

rlang

1.0.5

rmarkdown

2.16

RODBC

-19 - 1.3

roxygen2

7.2.1

rpart

4.1.16

rprojroot

2.0.3

Rserve

-11 - 1.8

RSQLite

2.2.16

rstudioapi

0.14

rversions

2.1.2

房車

1.0.3

薩斯

0.4.2

尺度

1.2.1 "

selectr

0.4 - 2

sessioninfo

1.2.2

形狀

1.4.6

閃亮的

1.7.2

sourcetools

0.1.7

sparklyr

1.7.8

SparkR

3.3.0

空間

-11 - 7.3

樣條函數

4.1.3

sqldf

-11 - 0.4

SQUAREM

2021.1

統計數據

4.1.3

stats4

4.1.3

stringi

1.7.8

stringr

1.4.1

生存

3.4 0

sys

3.4

systemfonts

1.0.4

tcltk

4.1.3

testthat

3.1.4

textshaping

0.3.6

寵物貓

3.1.8中

tidyr

1.2.0

tidyselect

1.1.2

tidyverse

1.3.2

timeDate

4021.104

tinytex

0.41

工具

4.1.3

tzdb

0.3.0

urlchecker

1.0.1

usethis

2.1.6

use utf8

1.2.2

跑龍套

4.1.3

uuid

1.1 0

vctrs

0.4.1

viridisLite

0.4.1

發嗚嗚聲

1.5.7

沃爾多

0.4.0

晶須

0.4

withr

2.5.0

xfun

0.32

xml2

1.3.3

xopen

1.0.0

xtable

1.8 - 4

yaml

2.3.5

郵政編碼

2.2.0

已安裝的Java和Scala庫(Scala 2.12集群版本)

組ID

工件ID

版本

antlr

antlr

2.7.7

com.amazonaws

amazon-kinesis-client

1.12.0

com.amazonaws

aws-java-sdk-autoscaling

1.12.189

com.amazonaws

aws-java-sdk-cloudformation

1.12.189

com.amazonaws

aws-java-sdk-cloudfront

1.12.189

com.amazonaws

aws-java-sdk-cloudhsm

1.12.189

com.amazonaws

aws-java-sdk-cloudsearch

1.12.189

com.amazonaws

aws-java-sdk-cloudtrail

1.12.189

com.amazonaws

aws-java-sdk-cloudwatch

1.12.189

com.amazonaws

aws-java-sdk-cloudwatchmetrics

1.12.189

com.amazonaws

aws-java-sdk-codedeploy

1.12.189

com.amazonaws

aws-java-sdk-cognitoidentity

1.12.189

com.amazonaws

aws-java-sdk-cognitosync

1.12.189

com.amazonaws

aws-java-sdk-config

1.12.189

com.amazonaws

aws-java-sdk-core

1.12.189

com.amazonaws

aws-java-sdk-datapipeline

1.12.189

com.amazonaws

aws-java-sdk-directconnect

1.12.189

com.amazonaws

aws-java-sdk-directory

1.12.189

com.amazonaws

aws-java-sdk-dynamodb

1.12.189

com.amazonaws

aws-java-sdk-ec2

1.12.189

com.amazonaws

aws-java-sdk-ecs

1.12.189

com.amazonaws

aws-java-sdk-efs

1.12.189

com.amazonaws

aws-java-sdk-elasticache

1.12.189

com.amazonaws

aws-java-sdk-elasticbeanstalk

1.12.189

com.amazonaws

aws-java-sdk-elasticloadbalancing

1.12.189

com.amazonaws

aws-java-sdk-elastictranscoder

1.12.189

com.amazonaws

aws-java-sdk-emr

1.12.189

com.amazonaws

aws-java-sdk-glacier

1.12.189

com.amazonaws

aws-java-sdk-glue

1.12.189

com.amazonaws

aws-java-sdk-iam

1.12.189

com.amazonaws

aws-java-sdk-importexport

1.12.189

com.amazonaws

aws-java-sdk-kinesis

1.12.189

com.amazonaws

aws-java-sdk-kms

1.12.189

com.amazonaws

aws-java-sdk-lambda

1.12.189

com.amazonaws

aws-java-sdk-logs

1.12.189

com.amazonaws

aws-java-sdk-machinelearning

1.12.189

com.amazonaws

aws-java-sdk-opsworks

1.12.189

com.amazonaws

aws-java-sdk-rds

1.12.189

com.amazonaws

aws-java-sdk-redshift

1.12.189

com.amazonaws

aws-java-sdk-route53

1.12.189

com.amazonaws

aws-java-sdk-s3

1.12.189

com.amazonaws

aws-java-sdk-ses

1.12.189

com.amazonaws

aws-java-sdk-simpledb

1.12.189

com.amazonaws

aws-java-sdk-simpleworkflow

1.12.189

com.amazonaws

aws-java-sdk-sns

1.12.189

com.amazonaws

aws-java-sdk-sqs

1.12.189

com.amazonaws

aws-java-sdk-ssm

1.12.189

com.amazonaws

aws-java-sdk-storagegateway

1.12.189

com.amazonaws

aws-java-sdk-sts

1.12.189

com.amazonaws

aws-java-sdk-support

1.12.189

com.amazonaws

aws-java-sdk-swf-libraries

1.11.22

com.amazonaws

aws-java-sdk-workspaces

1.12.189

com.amazonaws

jmespath-java

1.12.189

com.chuusai

shapeless_2.12

2.3.3

com.clearspring.analytics

2.9.6

com.databricks

Rserve

1.8 - 3

com.databricks

jets3t

0.7.1-0

com.databricks.scalapb

compilerplugin_2.12

0.4.15-10

com.databricks.scalapb

scalapb-runtime_2.12

0.4.15-10

com.esotericsoftware

kryo-shaded

4.0.2

com.esotericsoftware

minlog

1.3.0

com.fasterxml

同學

1.3.4

com.fasterxml.jackson.core

jackson-annotations

2.13.4

com.fasterxml.jackson.core

jackson-core

2.13.4

com.fasterxml.jackson.core

jackson-databind

2.13.4

com.fasterxml.jackson.dataformat

jackson-dataformat-cbor

2.13.4

com.fasterxml.jackson.datatype

jackson-datatype-joda

2.13.4

com.fasterxml.jackson.datatype

jackson-datatype-jsr310

2.13.4

com.fasterxml.jackson.module

jackson-module-paranamer

2.13.4

com.fasterxml.jackson.module

jackson-module-scala_2.12

2.13.4

com.github.ben-manes.caffeine

咖啡因

2.3.4

com.github.fommil

jniloader

1.1

com.github.fommil.netlib

核心

1.1.2

com.github.fommil.netlib

native_ref-java

1.1

com.github.fommil.netlib

native_ref-java-natives

1.1

com.github.fommil.netlib

native_system-java

1.1

com.github.fommil.netlib

native_system-java-natives

1.1

com.github.fommil.netlib

netlib-native_ref-linux-x86_64-natives

1.1

com.github.fommil.netlib

netlib-native_system-linux-x86_64-natives

1.1

com.github.luben

zstd-jni

1.5.2-1

com.github.wendykierp

JTransforms

3.1

com.google.code.findbugs

jsr305

3.0.0

com.google.code.gson

gson

2.8.6

com.google.crypto.tink

叮叮鈴

1.6.1

com.google.flatbuffers

flatbuffers-java

1.12.0

com.google.guava

番石榴

15.0

com.google.protobuf

protobuf-java

2.6.1

com.h2database

h2

2.0.204

com.helger

分析器

1.1.1

com.jcraft

jsch

0.1.50

com.jolbox

bonecp

0.8.0.RELEASE

com.lihaoyi

sourcecode_2.12

0.1.9

com.microsoft.azure

azure-data-lake-store-sdk

2.3.9

com.ning

compress-lzf

1.1

com.sun.mail

javax.mail

1.5.2

com.tdunning

json

1.8

com.thoughtworks.paranamer

paranamer

2.8

com.trueaccord.lenses

lenses_2.12

0.4.12

com.twitter

chill-java

0.10.0

com.twitter

chill_2.12

0.10.0

com.twitter

util-app_2.12

7.1.0

com.twitter

util-core_2.12

7.1.0

com.twitter

util-function_2.12

7.1.0

com.twitter

util-jvm_2.12

7.1.0

com.twitter

util-lint_2.12

7.1.0

com.twitter

util-registry_2.12

7.1.0

com.twitter

util-stats_2.12

7.1.0

com.typesafe

配置

1.2.1 "

com.typesafe.scala-logging

scala-logging_2.12

3.7.2章

com.uber

h3

3.7.0

com.univocity

univocity-parsers

2.9.1

com.zaxxer

HikariCP

4.0.3

commons-cli

commons-cli

1.5.0

commons-codec

commons-codec

1.15

commons-collections

commons-collections

3.2.2

commons-dbcp

commons-dbcp

1.4

commons-fileupload

commons-fileupload

1.3.3

commons-httpclient

commons-httpclient

3.1

commons-io

commons-io

2.11.0

commons lang

commons lang

2.6

通用日誌

通用日誌

1.1.3

commons-pool

commons-pool

1.5.4

dev.ludovic.netlib

arpack

2.2.1

dev.ludovic.netlib

布拉斯特區

2.2.1

dev.ludovic.netlib

lapack

2.2.1

info.ganglia.gmetric4j

gmetric4j

1.0.10

io.airlift

aircompressor

0.21

io.delta

delta-sharing-spark_2.12

0.5.1

io.dropwizard.metrics

metrics-core

以下4.4.1

io.dropwizard.metrics

metrics-graphite

以下4.4.1

io.dropwizard.metrics

metrics-healthchecks

以下4.4.1

io.dropwizard.metrics

metrics-jetty9

以下4.4.1

io.dropwizard.metrics

metrics-jmx

以下4.4.1

io.dropwizard.metrics

metrics-json

以下4.4.1

io.dropwizard.metrics

metrics-jvm

以下4.4.1

io.dropwizard.metrics

metrics-servlets

以下4.4.1

io.netty

netty-all

4.1.74.Final

io.netty

netty-buffer

4.1.74.Final

io.netty

netty-codec

4.1.74.Final

io.netty

netty-common

4.1.74.Final

io.netty

netty-handler

4.1.74.Final

io.netty

netty-resolver

4.1.74.Final

io.netty

netty-tcnative-classes

2.0.48.Final

io.netty

netty-transport

4.1.74.Final

io.netty

netty-transport-classes-epoll

4.1.74.Final

io.netty

netty-transport-classes-kqueue

4.1.74.Final

io.netty

netty-transport-native-epoll-linux-aarch_64

4.1.74.Final

io.netty

netty-transport-native-epoll-linux-x86_64

4.1.74.Final

io.netty

netty-transport-native-kqueue-osx-aarch_64

4.1.74.Final

io.netty

netty-transport-native-kqueue-osx-x86_64

4.1.74.Final

io.netty

netty-transport-native-unix-common

4.1.74.Final

io.prometheus

simpleclient

0.7.0

io.prometheus

simpleclient_common

0.7.0

io.prometheus

simpleclient_dropwizard

0.7.0

io.prometheus

simpleclient_pushgateway

0.7.0

io.prometheus

simpleclient_servlet

0.7.0

io.prometheus.jmx

收集器

0.12.0

jakarta.annotation

jakarta.annotation-api

1.3.5

jakarta.servlet

jakarta.servlet-api

4.0.3

jakarta.validation

jakarta.validation-api

2.0.2

jakarta.ws.rs

jakarta.ws.rs-api

2.1.6

javax.activation

激活

1.1.1

javax.annotation

javax.annotation-api

1.3.2

javax.el

javax.el-api

2.2.4

javax.jdo

jdo api

3.0.1

javax.transaction

jta

1.1

javax.transaction

事務api

1.1

javax.xml.bind

jaxb-api

. 2.2.11

javolution

javolution

5.5.1

jline

jline

2.14.6

joda-time

joda-time

2.10.13

net.java.dev.jna

jna

5.8.0

net.razorvine

泡菜

1.2

net.sf.jpam

jpam

1.1

net.sf.opencsv

opencsv

2.3

net.sf.supercsv

super-csv

2.2.0

net.snowflake

snowflake-ingest-sdk

0.9.6

net.snowflake

snowflake-jdbc

3.13.14

net.sourceforge.f2j

arpack_combined_all

0.1

org.acplt.remotetea

remotetea-oncrpc

1.1.2

org.antlr

ST4

4.0.4

org.antlr

antlr-runtime

3.5.2

org.antlr

antlr4-runtime

4.8

org.antlr

stringtemplate

3.2.1之上

org.apache.ant

螞蟻

1.9.2

org.apache.ant

ant-jsch

1.9.2

org.apache.ant

ant-launcher

1.9.2

org.apache.arrow

arrow-format

7.0.0

org.apache.arrow

arrow-memory-core

7.0.0

org.apache.arrow

arrow-memory-netty

7.0.0

org.apache.arrow

arrow-vector

7.0.0

org.apache.avro

avro

1.11.0

org.apache.avro

avro-ipc

1.11.0

org.apache.avro

avro-mapred

1.11.0

org.apache.commons

commons-collections4

4.4

org.apache.commons

commons-compress

1.21

org.apache.commons

commons-crypto

1.1.0

org.apache.commons

commons-lang3

3.12.0

org.apache.commons

commons-math3

3.6.1

org.apache.commons

commons-text

1.9

org.apache.curator

curator-client

2.13.0

org.apache.curator

curator-framework

2.13.0

org.apache.curator

curator-recipes

2.13.0

org.apache.derby

德比

10.14.2.0

org.apache.hadoop

hadoop-client-api

3.3.4-databricks

org.apache.hadoop

hadoop-client-runtime

3.3.4

org.apache.hive

hive-beeline

2.3.9

org.apache.hive

hive-cli

2.3.9

org.apache.hive

hive-jdbc

2.3.9

org.apache.hive

hive-llap-client

2.3.9

org.apache.hive

hive-llap-common

2.3.9

org.apache.hive

hive-serde

2.3.9

org.apache.hive

hive-shims

2.3.9

org.apache.hive

hive-storage-api

2.7.2

org.apache.hive.shims

蜂巢0.23 -墊片

2.3.9

org.apache.hive.shims

hive-shims-common

2.3.9

org.apache.hive.shims

hive-shims-scheduler

2.3.9

org.apache.httpcomponents

httpclient

4.5.13

org.apache.httpcomponents

httpcore

4.4.14

org.apache.ivy

艾薇

2.5.0

org.apache.logging.log4j

log4j - 1.2 api

2.18.0

org.apache.logging.log4j

log4j api

2.18.0

org.apache.logging.log4j

log4j-core

2.18.0

org.apache.logging.log4j

log4j-slf4j-impl

2.18.0

org.apache.mesos

mesos-shaded-protobuf

1.4.0

org.apache.orc

orc-core

1.7.6

org.apache.orc

orc-mapreduce

1.7.6

org.apache.orc

orc-shims

1.7.6

org.apache.parquet

parquet-column

1.12.0-databricks-0007

org.apache.parquet

parquet-common

1.12.0-databricks-0007

org.apache.parquet

parquet-encoding

1.12.0-databricks-0007

org.apache.parquet

parquet-format-structures

1.12.0-databricks-0007

org.apache.parquet

parquet-hadoop

1.12.0-databricks-0007

org.apache.parquet

parquet-jackson

1.12.0-databricks-0007

org.apache.thrift

libfb303

0.9.3

org.apache.thrift

libthrift

0.12.0

org.apache.xbean

xbean-asm9-shaded

4.20

org.apache.yetus

audience-annotations

0.5.0

org.apache.zookeeper

動物園管理員

操作

org.apache.zookeeper

zookeeper-jute

操作

org.checkerframework

checker-qual

3.5.0

org.codehaus.jackson

jackson-core-asl

1.9.13

org.codehaus.jackson

jackson-mapper-asl

1.9.13

org.codehaus.janino

commons-compiler

3.0.16

org.codehaus.janino

janino

3.0.16

org.datanucleus

datanucleus-api-jdo

4.2.4

org.datanucleus

datanucleus-core

4.1.17

org.datanucleus

datanucleus-rdbms

4.1.19

org.datanucleus

javax.jdo

3.2.0-m3

org.eclipse.jetty

jetty-client

9.4.46.v20220331

org.eclipse.jetty

jetty-continuation

9.4.46.v20220331

org.eclipse.jetty

jetty-http

9.4.46.v20220331

org.eclipse.jetty

jetty-io

9.4.46.v20220331

org.eclipse.jetty

jetty-jndi

9.4.46.v20220331

org.eclipse.jetty

jetty-plus

9.4.46.v20220331

org.eclipse.jetty

jetty-proxy

9.4.46.v20220331

org.eclipse.jetty

jetty-security

9.4.46.v20220331

org.eclipse.jetty

jetty服務器

9.4.46.v20220331

org.eclipse.jetty

jetty servlet

9.4.46.v20220331

org.eclipse.jetty

jetty-servlets

9.4.46.v20220331

org.eclipse.jetty

jetty-util

9.4.46.v20220331

org.eclipse.jetty

jetty-util-ajax

9.4.46.v20220331

org.eclipse.jetty

jetty-webapp

9.4.46.v20220331

org.eclipse.jetty

jetty-xml

9.4.46.v20220331

org.eclipse.jetty.websocket

websocket-api

9.4.46.v20220331

org.eclipse.jetty.websocket

websocket-client

9.4.46.v20220331

org.eclipse.jetty.websocket

websocket-common

9.4.46.v20220331

org.eclipse.jetty.websocket

websocket服務器

9.4.46.v20220331

org.eclipse.jetty.websocket

websocket-servlet

9.4.46.v20220331

org.fusesource.leveldbjni

leveldbjni-all

1.8

org.glassfish.hk2

hk2-api

2.6.1

org.glassfish.hk2

hk2-locator

2.6.1

org.glassfish.hk2

hk2-utils

2.6.1

org.glassfish.hk2

osgi-resource-locator

1.0.3

org.glassfish.hk2.external

aopalliance-repackaged

2.6.1

org.glassfish.hk2.external

jakarta.inject

2.6.1

org.glassfish.jersey.containers

jersey-container-servlet

2.36

org.glassfish.jersey.containers

jersey-container-servlet-core

2.36

org.glassfish.jersey.core

jersey客戶端

2.36

org.glassfish.jersey.core

jersey-common

2.36

org.glassfish.jersey.core

jersey-server

2.36

org.glassfish.jersey.inject

jersey-hk2

2.36

org.hibernate.validator

hibernate驗證框架

6.1.0.Final

org.javassist

javassist

3.25.0-GA

org.jboss.logging

jboss-logging

3.3.2.Final

org.jdbi

jdbi

2.63.1

org.jetbrains

注釋

17.0.0

org.joda

joda-convert

1.7

org.jodd

jodd-core

3.5.2

org.json4s

json4s-ast_2.12

3.7.0-M11

org.json4s

json4s-core_2.12

3.7.0-M11

org.json4s

json4s-jackson_2.12

3.7.0-M11

org.json4s

json4s-scalap_2.12

3.7.0-M11

org.lz4

lz4-java

1.8.0

org.mariadb.jdbc

mariadb-java-client

第2.7.4

org.mlflow

mlflow-spark

1.27.0

org.objenesis

objenesis

2.5.1

org.postgresql

postgresql

42.3.3

org.roaringbitmap

RoaringBitmap

0.9.25

org.roaringbitmap

墊片

0.9.25

org.rocksdb

rocksdbjni

6.24.2

org.rosuda.REngine

REngine

魅惑

org.scala-lang

scala-compiler_2.12

2.12.14

org.scala-lang

scala-library_2.12

2.12.14

org.scala-lang

scala-reflect_2.12

2.12.14

org.scala-lang.modules

scala-collection-compat_2.12

2.4.3

org.scala-lang.modules

scala-parser-combinators_2.12

1.1.2

org.scala-lang.modules

scala-xml_2.12

1.2.0

org.scala-sbt

測試界麵

1.0

org.scalacheck

scalacheck_2.12

1.14.2

org.scalactic

scalactic_2.12

3.0.8

org.scalanlp

breeze-macros_2.12

1.2

org.scalanlp

breeze_2.12

1.2

org.scalatest

scalatest_2.12

3.0.8

org.slf4j

jcl-over-slf4j

1.7.36

org.slf4j

jul-to-slf4j

1.7.36

org.slf4j

slf4j-api

1.7.36

org.spark-project.spark

未使用的

1.0.0

org.threeten

threeten-extra

1.5.0

org.tukaani

xz

1.8

org.typelevel

algebra_2.12

2.0.1

org.typelevel

cats-kernel_2.12

2.1.1

org.typelevel

macro-compat_2.12

1.1.1

org.typelevel

spire-macros_2.12

0.17.0

org.typelevel

spire-Beplay体育安卓版本platform_2.12

0.17.0

org.typelevel

spire-util_2.12

0.17.0

org.typelevel

spire_2.12

0.17.0

org.wildfly.openssl

wildfly-openssl

1.0.7.Final

org.xerial

sqlite-jdbc

3.8.11.2

org.xerial.snappy

snappy-java

1.1.8.4

org.yaml

snakeyaml

1.24

奧羅

奧羅

2.0.8

pl.edu.icm

JLargeArrays

1.5

software.amazon.ion

ion-java

1.0.2中

stax

stax-api

1.0.1