Databricks Runtime 7.0(不支持)

數據ricks在2020年6月發布了這張圖片。

下麵的版本說明提供了有關由Apache Spark 3.0支持的Databricks Runtime 7.0的信息。

新功能

Databricks Runtime 7.0包含以下新特性:

  • Scala 2.12

    Databricks Runtime 7.0將Scala從2.11.12升級到2.12.10。Scala 2.12和2.11之間的更改列表在Scala 2.12.0版本說明．

  • Auto Loader(公開預覽)在Databricks Runtime 6.4中發布，在Databricks Runtime 7.0中進行了改進

    Auto Loader為您提供了一種更有效的方法，可以在ETL期間增量處理到達雲blob存儲的新數據文件。這是對基於文件的結構化流的改進，結構化流通過重複列出雲目錄和跟蹤已經查看過的文件來識別新文件，隨著目錄的增長，這可能會非常低效。Auto Loader也比基於文件通知的結構化流更方便和有效，後者需要您手動配置雲上的文件通知服務，並且不允許您回填現有文件。詳情請參見什麼是Auto Loader?．

  • 複製成(公共預覽版)，它允許通過冪等重試將數據加載到Delta Lake中，在Databricks Runtime 7.0中得到了改進

    在Databricks Runtime 6.4中作為公共預覽發布複製成SQL命令允許通過冪等重試將數據加載到Delta Lake。現在要將數據加載到Delta Lake，你必須使用Apache Spark DataFrame api。如果在加載期間出現故障，您必須有效地處理它們。新複製成命令提供了一個熟悉的聲明式接口來加載SQL中的數據。該命令跟蹤以前加載的文件，在出現故障時可以安全地重新運行它。詳情請參見複製到．

改進

  • 更多Amazon Kinesis並發流:

    Amazon Kinesis結構化流媒體源使用ListShards默認情況下獲取Kinesis流中的分片列表。這需要額外的IAM權限才能成功運行你的流。在以前版本的Databricks運行時中，DescribeStream默認使用。ListShards的空氣汙染指數上限明顯高於DescribeStream(每個流每秒100個請求ListShards而不是在整個AWS帳戶上每秒10個請求DescribeStream)．這個改變將允許用戶在Databricks中使用結構化流運行超過10個並發的Kinesis流。

  • Azure Synapse(以前的SQL數據倉庫)連接器支持複製聲明。

    的主要好處複製特權較低的用戶可以向Azure Synapse寫入數據而不需要嚴格要求嗎控製Azure Synapse的權限。

  • 的% matplotlib內聯魔法命令不再需要顯示Matplolib對象內聯在筆記本單元格中。默認情況下，它們總是內聯顯示。

  • Matplolib圖形現在渲染透明= False，這樣用戶指定的背景就不會丟失。可以通過設置Spark配置來覆蓋此行為spark.databricks.workspace.matplotlib.transparent真正的．

  • 在高並發模式集群上運行結構化流生產作業時，作業的重新啟動有時會失敗，因為之前運行的作業沒有正確終止。Databricks Runtime 6.3引入了設置SQL配置的功能spark.sql.streaming.stopActiveRunOnRestart真正的在您的集群上，以確保停止前麵的運行。該配置在Databricks Runtime 7.0中默認設置。

庫的主要更改

Python包

升級的主要Python包:

  • Boto3 1.9.162 -> 1.12.0

  • Matplotlib 3.0.3 -> 3.1.3

  • Numpy 1.16.2 -> 1.18.1

  • 熊貓0.24.2 -> 1.0.1

  • PIP 19.0.3 -> 20.0.2

  • Pyarrow 0.13.0 -> 0.15.1

  • Psycopg2 2.7.6 -> 2.8.4

  • -> 0.22.1

  • Scipy 1.2.1 -> 1.4.1

  • Seaborn 0.9.0 -> 0.10.0

Python包被刪除:

  • Boto(使用boto3)

  • pycurl

請注意

Databricks Runtime 7.0中的Python環境使用的是Python 3.7，與安裝的Ubuntu係統Python不同:/usr/bin/python而且/usr/bin/python2都鏈接到Python 2.7和/usr/bin/python3鏈接到Python 3.6。

R包

增加了R包:

  • 掃帚

  • highr

  • isoband

  • knitr

  • 減價

  • modelr

  • reprex

  • rmarkdown

  • 房車

  • selectr

  • tidyverse

  • tinytex

  • xfun

刪除R包:

  • abind

  • bitops

  • 車

  • carData

  • doMC

  • “綠帶運動”

  • 水

  • 的小

  • lme4

  • mapproj

  • 地圖

  • maptools

  • MatrixModels

  • minqa

  • mvtnorm

  • nloptr

  • openxlsx

  • pbkrtest

  • pkgKitten

  • quantreg

  • R.methodsS3

  • R.oo

  • R.utils

  • RcppEigen

  • RCurl

  • 裏約熱內盧

  • sp

  • SparseM

  • statmod

  • 郵政編碼

Java和Scala庫

  • AWS SDK (AWS -java- SDK)升級到1.11.655。

  • Amazon Kinesis客戶端升級到1.12.0

  • Apache Hive版本，用於處理Hive自定義功能和Hive SerDes升級到2.3。

  • 以前Azure Storage和Key Vault jar被打包為Databricks Runtime的一部分，這將防止您使用附加到集群的不同版本的庫。類下com.microsoft.azure.storage而且com.microsoft.azure.keyvault不在Databricks運行時的類路徑上。如果您依賴於這些類路徑中的任何一個，那麼您現在必須將Azure Storage SDK或Azure Key Vault SDK附加到您的集群。

行為變化

本節列出了從Databricks Runtime 6.6到Databricks Runtime 7.0的行為更改。當您將工作負載從較低的Databricks Runtime版本遷移到Databricks Runtime 7.0及以上版本時，您應該意識到這些。

Spark行為改變

因為Databricks Runtime 7.0是在Spark 3.0上構建的第一個Databricks Runtime，所以當您從Databricks Runtime 5.5 LTS或6遷移工作負載時，應該注意許多更改。x，它們是在Spark 2.4上構建的。的每個功能區域的“行為更改”部分列出了這些更改Apache火花本版本附注條款:

其他行為改變

  • 升級到Scala 2.12涉及以下變化:

    • 包單元序列化的處理方式不同。下麵的示例說明了行為更改以及如何處理它。

      運行foo.bar.MyObjectInPackageCell.run ()如下包中定義的單元格將觸發該錯誤java.lang.NoClassDefFoundError:可以不初始化類foo.bar.MyObjectInPackageCell美元

      包噴火．酒吧情況下類MyIntStruct（int：Int）進口org．apache．火花．sql．SparkSession進口org．apache．火花．sql．功能．＿進口org．apache．火花．sql．列對象MyObjectInPackageCell擴展可序列化的｛//因為SparkSession不能在Spark執行器中創建，//下麵的行觸發錯誤//無法初始化foo.bar.MyObjectInPackageCell$瓦爾火花＝SparkSession．構建器．getOrCreate（）def噴火：Int= >選項［MyIntStruct］＝（x：Int）= >一些（MyIntStruct（One hundred.）)瓦爾theUDF＝udf（噴火）瓦爾df＝｛瓦爾myUDFInstance＝theUDF（上校（“id”）)火花．範圍（0，1，1，1)．withColumn（“u”，myUDFInstance）｝def運行（）：單位＝｛df．收集()。foreach（println）｝｝

      要解決這個錯誤，可以換行MyObjectInPackageCell在可序列化類內部。

    • 某些情況下DataStreamWriter.foreachBatch將需要源代碼更新。這種變化是由於Scala 2.12具有從lambda表達式到SAM類型的自動轉換，這可能會導致歧義。

      例如，以下Scala代碼不能編譯:

      流．writeStream．foreachBatch｛（df，id）= >myFunc（df，id）｝

      要修複編譯錯誤，請更改foreachBatch｛(df,id)= >myFunc (df,id)｝來foreachBatch (myFunc_)或者顯式使用Java API:foreachBatch(新VoidFunction2…)．

  • 隨著AWS SDK升級到1.11.655，使用org.apache.hadoop.fs.s3native.NativeS3FileSystem需要AWS Signature v4和桶端點設置。如果用戶已將AWS Signature v2配置為使用S3N文件係統對S3進行簽名請求，或者用戶訪問S3路徑中包含“+”字符並使用舊S3N文件係統(例如S3N://bucket/path/+file)，則可能拋出403 Forbidden錯誤。

  • 由於處理Hive自定義函數和Hive SerDes的Apache Hive版本升級到2.3，需要進行兩個修改:

    • 蜂巢的SerDe接口被抽象類替換AbstractSerDe．任何自定義蜂巢SerDe實現，遷移到AbstractSerDe是必需的。

    • 設置spark.sql.hive.metastore.jars來內裝式這意味著Hive 2.3的metastore客戶端將被用於訪問Databricks Runtime 7.0的metastore。如果你需要訪問基於Hive 1.2的外部亞轉移，設置spark.sql.hive.metastore.jars到包含Hive 1.2 jar的文件夾。

棄用和移除

  • 數據跳過索引在Databricks Runtime 4.3中已棄用，在Databricks Runtime 7.0中已刪除。我們建議您使用Delta表，它提供改進的數據跳過功能．

  • 在Databricks Runtime 7.0中，Apache Spark的底層版本使用Scala 2.12。由於基於Scala 2.11編譯的庫可以以意外的方式禁用Databricks Runtime 7.0集群，因此運行Databricks Runtime 7.0及以上版本的集群不會安裝配置為安裝在所有集群上的庫．集群庫選項卡顯示狀態跳過以及一條解釋庫處理更改的棄用消息。但是，如果您的集群是在Databricks Runtime的較早版本上創建的在Databricks平台版本3.2Beplay体育安卓版本0發布到您的工作區之前，然後編輯該集群以使用Databricks Runtime 7.0，那麼配置為安裝在所有集群上的任何庫都將安裝在該集群上。在這種情況下，安裝的庫中任何不兼容的jar都可能導致禁用集群。解決方法是克隆集群或創建一個新集群。

  • org.apache.hadoop.fs.s3native.NativeS3FileSystem而且org.apache.hadoop.fs.s3.S3FileSystem不再支持訪問S3。

    我們強烈鼓勵您使用com.databricks.s3a.S3AFileSystem的默認值s3a: / /，s3: / /,s3n: / /在Databricks運行時中的文件係統方案。如果您需要協助遷移到com.databricks.s3a.S3AFileSystem，請聯係Databricks支持人員或您的Databricks代表。

  • 使用的能力什麼是數據庫文件係統(DBFS)?已在社區版的Databricks Runtime 7.0中刪除。我們建議您使用% fscp將數據複製到本地目錄或從本地目錄複製數據。

Apache火花

Databricks Runtime 7.0包含Apache Spark 3.0。

Core, Spark SQL，結構化流

突出了

性能增強

可擴展性增強

連接器的增強

功能增強

SQL兼容性增強

監視和可調試性增強

PySpark增強

文檔和測試覆蓋率增強

其他顯著變化

Spark核心、Spark SQL和結構化流的行為更改

下麵的遷移指南列出了Apache Spark 2.4和3.0之間的行為更改。這些更改可能需要更新您在較低的Databricks運行時版本上運行的作業:

以下行為更改在這些遷移指南中沒有涉及:

  • 在Spark 3.0中，被棄用的類org.apache.spark.sql.streaming.ProcessingTime已被刪除。使用org.apache.spark.sql.streaming.Trigger.ProcessingTime代替。同樣的,org.apache.spark.sql.execution.streaming.continuous.ContinuousTrigger已被移除了，改為觸發器。連續,org.apache.spark.sql.execution.streaming.OneTimeTrigger一直以來都隱藏著偏愛觸發器。一次．（火星- 28199）

  • 在Databricks Runtime 7.0中，當讀取Hive SerDe表時，默認情況下Spark不允許讀取非表分區子目錄下的文件。要啟用它，需要設置配置spark.databricks.io.hive.scanNonpartitionedDirectory.enabled作為真正的．這不會影響Spark本機表讀取器和文件讀取器。

MLlib

突出了

MLlib的行為更改

下麵的遷移指南列出了Apache Spark 2.4和3.0之間的行為更改。這些更改可能需要更新您在較低的Databricks運行時版本上運行的作業:

以下行為更改沒有包含在遷移指南中:

  • 在Spark 3.0中，Pyspark中的多類邏輯回歸現在將(正確地)返回LogisticRegressionSummary，而不是子類BinaryLogisticRegressionSummary．所暴露的附加方法BinaryLogisticRegressionSummary反正在這種情況下也沒用。（火星- 31681）

  • 在Spark 3.0中，pyspark.ml.param.shared.Has *Mixins不提供任何功能設置*(自我,值)Setter方法，使用各自的self.set(自我。*,值)代替。詳見SPARK-29093。（火星- 29093）

SparkR

  • SparkR互操作性中的箭頭優化(火星- 26759）

  • 通過向量化R增強性能gapply()， dapply()， createDataFrame, collect()

  • R shell, IDE (火星- 24572）

  • 功率迭代聚類的R API (火星- 19827）

SparkR的行為更改

下麵的遷移指南列出了Apache Spark 2.4和3.0之間的行為更改。這些更改可能需要更新您在較低的Databricks運行時版本上運行的作業:

編程指南

GraphX

編程指南:GraphX編程指南．

的用法

已知的問題

  • 如果缺少年份字段，則使用模式字母“D”解析日期將返回錯誤的結果。這可能發生在SQL函數中，比如to_timestamp它使用模式字符串將日期時間字符串解析為日期時間值。（火星- 31939）

  • 如果鍵值為-0.0和0.0，子查詢中的Join/Window/Aggregate可能會導致錯誤的結果。（火星- 31958）

  • 窗口查詢可能會意外地出現模糊的自連接錯誤而失敗。（火星- 31956）

  • 使用流式查詢dropDuplicates操作人員可能無法使用Spark 2.x編寫的檢查點重新啟動。（火星- 31990）

維護更新

看到Databricks Runtime 7.0維護更新．

係統環境

  • 操作係統: Ubuntu 18.04.4 LTS

  • Java: 1.8.0_252

  • Scala: 2.12.10

  • Python: 3.7.5

  • R: R版本3.6.3 (20-02-29)

  • 三角洲湖0.7.0

已安裝的Python庫

圖書館

版本

圖書館

版本

圖書館

版本

asn1crypto

1.3.0

backcall

0.1.0

boto3

1.12.0

botocore

1.15.0

certifi

2020.4.5

cffi

1.14.0

chardet

3.0.4

密碼學

2.8

周期計

0.10.0

Cython

0.29.15

裝飾

4.1.1

docutils

0.15.2

entrypoints

0.3

idna

2.8

ipykernel

5.1.4

ipython

7.12.0

ipython-genutils

0.2.0

絕地武士

0.14.1

jmespath

0.9.4

joblib

0.14.1

jupyter-client

5.3.4

jupyter-core

4.6.1

kiwisolver

1.1.0

matplotlib

3.1.3

numpy

1.18.1

熊貓

1.0.1

parso

0.5.2

容易受騙的人

0.5.1

pexpect

4.8.0

pickleshare

0.7.5

皮普

20.0.2

prompt-toolkit

3.0.3

psycopg2

2.8.4

ptyprocess

0.6.0

pyarrow

0.15.1

pycparser

2.19

Pygments

2.5.2

PyGObject

3.26.1

pyOpenSSL

19.1.0

pyparsing

2.4.6

PySocks

1.7.1上

python-apt

1.6.5 + ubuntu0.3

python-dateutil

2.8.1發布

pytz

2019.3

pyzmq

18.1.1

請求

2.22.0

s3transfer

0.3.3

scikit-learn

0.22.1

scipy

1.4.1

seaborn

0.10.0

setuptools

45.2.0

六個

1.14.0

ssh-import-id

5.7

statsmodels

0.11.0

龍卷風

6.0.3

traitlets

4.3.3

unattended-upgrades

0．1

urllib3

1.25.8

virtualenv

16.7.10

wcwidth

0.1.8

輪

0.34.2

已安裝R庫

從(安裝R庫Microsoft CRAN快照於2020年4月22日)．

圖書館

版本

圖書館

版本

圖書館

版本

askpass

1．1

為了

0.2.1

補丁

1.1.6

基地

3.6.3

base64enc

0.1 - 3

黑洞

1.72.0-3

位

1.1 - -15.2

bit64

0.9 7

團

1.2.1 "

引導

-25 - 1.3

釀造

1.0 6

掃帚

0.5.6

callr

3.4.3

脫字符號

-86 - 6.0

cellranger

1.1.0

時間

-55 - 2.3

類

-17 - 7.3

cli

2.0.2

clipr

0.7.0

集群

魅惑

codetools

-16 - 0.2

色彩

1.4 - 1

commonmark

1.7

編譯器

3.6.3

配置

0.3

covr

3.5.0

蠟筆

1.3.4

相聲

1.1.0.1

旋度

4.３

data.table

1.12.8

數據集

3.6.3

DBI

1.1.0

dbplyr

3

desc

1.2.0

devtools

tripwire

消化

0.6.25

dplyr

0.8.5

DT

0.13

省略

0.3.0

評估

0.14

fansi

0.4.1

farver

2.0.3

fastmap

1.0.1

forcats

0.5.0

foreach

1.5.0

外國

-76 - 0.8

打造

0.2.0

fs

1.4.1

泛型

發布

ggplot2

3.3.0

“大酒店”

1.1.0

git2r

0.26.1

glmnet

3.0 - 2

全局變量

0.12.5

膠水

1.4.0

高爾

0.2.1

圖形

3.6.3

grDevices

3.6.3

網格

3.6.3

gridExtra

2．3

gsubfn

0.7

gtable

0.3.0

還

2.2.0

highr

0.8

hms

0.5.3

htmltools

0.4.0

htmlwidgets

1.5.1

httpuv

1.5.2

httr

1.4.1

hwriter

1.3.2

hwriterPlus

1.0 - 3

ini

0.3.1

不小

0.9 9

isoband

0.2.1

迭代器

1.0.12

jsonlite

1.6.1

KernSmooth

-17 - 2.23

knitr

1.28

標簽

0.3

晚些時候

1.0.0

晶格

-41 - 0.20

熔岩

1.6.7

lazyeval

0.2.2

生命周期

0.2.0

lubridate

1.7.8

magrittr

1．5

減價

1．1

質量

7.3 - -51.6

矩陣

-18 - 1.2

memoise

1.1.0

方法

3.6.3

mgcv

-31 - 1.8

mime

0.9

ModelMetrics

1.2.2.2

modelr

0.1.6

孟塞爾

0.5.0

nlme

-147 - 3.1

nnet

-14 - 7.3

numDeriv

2016.8 - -1.1

openssl

1.4.1

平行

3.6.3

支柱

3

pkgbuild

1.0.6

pkgconfig

2.0.3

pkgload

1.0.2中

plogr

0.2.0

plyr

1.8.6

讚美

1.0.0

prettyunits

1.1.1

pROC

1.16.2

processx

3.4.2

prodlim

2019.11.13

進步

1.2.2

承諾

1.1.0

原型

1.0.0

ps

1.3.2

purrr

0.3.4

r2d3

0.2.3

R6

2.4.1

randomForest

-14 - 4.6

rappdirs

0.3.1

rcmdcheck

1.3.3

RColorBrewer

1.1 - 2

Rcpp

1.0.4.6

readr

1.3.1

readxl

1.3.1

食譜

0.1.10

複賽

1.0.1

rematch2

2.1.1

遙控器

2.1.1

reprex

0.3.0

reshape2

1.4.4

雷克斯

1.2.0

rjson

0.2.20

rlang

0.4.5

rmarkdown

2.1

RODBC

-16 - 1.3

roxygen2

7.1.0

rpart

-15 - 4.1

rprojroot

1.3 - 2

Rserve

1.8 6

RSQLite

2.2.0

rstudioapi

0.11

rversions

2.0.1

房車

0.3.5

尺度

1.1.0

selectr

0.4 - 2

sessioninfo

1.1.1

形狀

1.4.4

閃亮的

1.4.0.2

sourcetools

0.1.7

sparklyr

1.2.0

SparkR

3.0.0

空間

-11 - 7.3

樣條函數

3.6.3

sqldf

-11 - 0.4

SQUAREM

2020.2

統計數據

3.6.3

stats4

3.6.3

stringi

1.4.6

stringr

1.4.0

生存

-12 - 3.1

sys

3．3

tcltk

3.6.3

TeachingDemos

2.10

testthat

2.3.2

寵物貓

3.0.1

tidyr

1.0.2中

tidyselect

1.0.0

tidyverse

1.3.0

timeDate

3043.102

tinytex

0.22

工具

3.6.3

usethis

1.6.0

use utf8

1.1.4

跑龍套

3.6.3

vctrs

0.2.4

viridisLite

0.3.0

晶須

0.4

withr

2.2.0

xfun

0.13

xml2

1.3.1

xopen

1.0.0

xtable

1.8 - 4

yaml

2.2.1

已安裝的Java和Scala庫(Scala 2.12集群版本)

組ID

工件ID

版本

antlr

antlr

2.7.7

com.amazonaws

amazon-kinesis-client

1.12.0

com.amazonaws

aws-java-sdk-autoscaling

1.11.655

com.amazonaws

aws-java-sdk-cloudformation

1.11.655

com.amazonaws

aws-java-sdk-cloudfront

1.11.655

com.amazonaws

aws-java-sdk-cloudhsm

1.11.655

com.amazonaws

aws-java-sdk-cloudsearch

1.11.655

com.amazonaws

aws-java-sdk-cloudtrail

1.11.655

com.amazonaws

aws-java-sdk-cloudwatch

1.11.655

com.amazonaws

aws-java-sdk-cloudwatchmetrics

1.11.655

com.amazonaws

aws-java-sdk-codedeploy

1.11.655

com.amazonaws

aws-java-sdk-cognitoidentity

1.11.655

com.amazonaws

aws-java-sdk-cognitosync

1.11.655

com.amazonaws

aws-java-sdk-config

1.11.655

com.amazonaws

aws-java-sdk-core

1.11.655

com.amazonaws

aws-java-sdk-datapipeline

1.11.655

com.amazonaws

aws-java-sdk-directconnect

1.11.655

com.amazonaws

aws-java-sdk-directory

1.11.655

com.amazonaws

aws-java-sdk-dynamodb

1.11.655

com.amazonaws

aws-java-sdk-ec2

1.11.655

com.amazonaws

aws-java-sdk-ecs

1.11.655

com.amazonaws

aws-java-sdk-efs

1.11.655

com.amazonaws

aws-java-sdk-elasticache

1.11.655

com.amazonaws

aws-java-sdk-elasticbeanstalk

1.11.655

com.amazonaws

aws-java-sdk-elasticloadbalancing

1.11.655

com.amazonaws

aws-java-sdk-elastictranscoder

1.11.655

com.amazonaws

aws-java-sdk-emr

1.11.655

com.amazonaws

aws-java-sdk-glacier

1.11.655

com.amazonaws

aws-java-sdk-iam

1.11.655

com.amazonaws

aws-java-sdk-importexport

1.11.655

com.amazonaws

aws-java-sdk-kinesis

1.11.655

com.amazonaws

aws-java-sdk-kms

1.11.655

com.amazonaws

aws-java-sdk-lambda

1.11.655

com.amazonaws

aws-java-sdk-logs

1.11.655

com.amazonaws

aws-java-sdk-machinelearning

1.11.655

com.amazonaws

aws-java-sdk-opsworks

1.11.655

com.amazonaws

aws-java-sdk-rds

1.11.655

com.amazonaws

aws-java-sdk-redshift

1.11.655

com.amazonaws

aws-java-sdk-route53

1.11.655

com.amazonaws

aws-java-sdk-s3

1.11.655

com.amazonaws

aws-java-sdk-ses

1.11.655

com.amazonaws

aws-java-sdk-simpledb

1.11.655

com.amazonaws

aws-java-sdk-simpleworkflow

1.11.655

com.amazonaws

aws-java-sdk-sns

1.11.655

com.amazonaws

aws-java-sdk-sqs

1.11.655

com.amazonaws

aws-java-sdk-ssm

1.11.655

com.amazonaws

aws-java-sdk-storagegateway

1.11.655

com.amazonaws

aws-java-sdk-sts

1.11.655

com.amazonaws

aws-java-sdk-support

1.11.655

com.amazonaws

aws-java-sdk-swf-libraries

1.11.22

com.amazonaws

aws-java-sdk-workspaces

1.11.655

com.amazonaws

jmespath-java

1.11.655

com.chuusai

shapeless_2.12

2.3.3

com.clearspring.analytics

流

2.9.6

com.databricks

Rserve

1.8 - 3

com.databricks

jets3t

0.7.1-0

com.databricks.scalapb

compilerplugin_2.12

0.4.15-10

com.databricks.scalapb

scalapb-runtime_2.12

0.4.15-10

com.esotericsoftware

kryo-shaded

4.0.2

com.esotericsoftware

minlog

1.3.0

com.fasterxml

同學

1.3.4

com.fasterxml.jackson.core

jackson-annotations

2.10.0

com.fasterxml.jackson.core

jackson-core

2.10.0

com.fasterxml.jackson.core

jackson-databind

2.10.0

com.fasterxml.jackson.dataformat

jackson-dataformat-cbor

2.10.0

com.fasterxml.jackson.datatype

jackson-datatype-joda

2.10.0

com.fasterxml.jackson.module

jackson-module-paranamer

2.10.0

com.fasterxml.jackson.module

jackson-module-scala_2.12

2.10.0

com.github.ben-manes.caffeine

咖啡因

2.3.4

com.github.fommil

jniloader

1．1

com.github.fommil.netlib

核心

1.1.2

com.github.fommil.netlib

native_ref-java

1．1

com.github.fommil.netlib

native_ref-java-natives

1．1

com.github.fommil.netlib

native_system-java

1．1

com.github.fommil.netlib

native_system-java-natives

1．1

com.github.fommil.netlib

netlib-native_ref-linux-x86_64-natives

1．1

com.github.fommil.netlib

netlib-native_system-linux-x86_64-natives

1．1

com.github.joshelser

dropwizard-metrics-hadoop-metrics2-reporter

0.1.2

com.github.luben

zstd-jni

1.4.4-3

com.github.wendykierp

JTransforms

3．1

com.google.code.findbugs

jsr305

3.0.0

com.google.code.gson

gson

2.2.4

com.google.flatbuffers

flatbuffers-java

1.9.0

com.google.guava

番石榴

15.0

com.google.protobuf

protobuf-java

2.6.1

com.h2database

h2

1.4.195

com.helger

分析器

1.1.1

com.jcraft

jsch

0.1.50

com.jolbox

bonecp

0.8.0.RELEASE

com.microsoft.azure

azure-data-lake-store-sdk

2.2.8

com.microsoft.sqlserver

mssql-jdbc

8.2.1.jre8

com.ning

compress-lzf

1.0.3

com.sun.mail

javax.mail

1.5.2

com.tdunning

json

1．8

com.thoughtworks.paranamer

paranamer

2.8

com.trueaccord.lenses

lenses_2.12

0.4.12

com.twitter

chill-java

0.9.5

com.twitter

chill_2.12

0.9.5

com.twitter

util-app_2.12

7.1.0

com.twitter

util-core_2.12

7.1.0

com.twitter

util-function_2.12

7.1.0

com.twitter

util-jvm_2.12

7.1.0

com.twitter

util-lint_2.12

7.1.0

com.twitter

util-registry_2.12

7.1.0

com.twitter

util-stats_2.12

7.1.0

com.typesafe

配置

1.2.1 "

com.typesafe.scala-logging

scala-logging_2.12

3.7.2章

com.univocity

univocity-parsers

2.8.3

com.zaxxer

HikariCP

3.1.0

commons-beanutils

commons-beanutils

1.9.4

commons-cli

commons-cli

1．2

commons-codec

commons-codec

1.10

commons-collections

commons-collections

3.2.2

commons configuration

commons configuration

1．6

commons-dbcp

commons-dbcp

1．4

commons-digester

commons-digester

1．8

commons-fileupload

commons-fileupload

1.3.3

commons-httpclient

commons-httpclient

3．1

commons-io

commons-io

2.4

commons lang

commons lang

2.6

通用日誌

通用日誌

1.1.3

commons net

commons net

3．1

commons-pool

commons-pool

1.5.4

info.ganglia.gmetric4j

gmetric4j

1.0.10

io.airlift

aircompressor

0．10

io.dropwizard.metrics

metrics-core

以下4.4.1

io.dropwizard.metrics

metrics-graphite

以下4.4.1

io.dropwizard.metrics

metrics-healthchecks

以下4.4.1

io.dropwizard.metrics

metrics-jetty9

以下4.4.1

io.dropwizard.metrics

metrics-jmx

以下4.4.1

io.dropwizard.metrics

metrics-json

以下4.4.1

io.dropwizard.metrics

metrics-jvm

以下4.4.1

io.dropwizard.metrics

metrics-servlets

以下4.4.1

io.netty

netty-all

4.1.47.Final

jakarta.annotation

jakarta.annotation-api

1.3.5

jakarta.validation

jakarta.validation-api

2.0.2

jakarta.ws.rs

jakarta.ws.rs-api

2.1.6

javax.activation

激活

1.1.1

javax.el

javax.el-api

2.2.4

javax.jdo

jdo api

3.0.1

javax.servlet

javax.servlet-api

3.1.0

javax.servlet.jsp

jsp-api

2.1

javax.transaction

jta

1．1

javax.transaction

事務api

1．1

javax.xml.bind

jaxb-api

2.2.2

javax.xml.stream

stax-api

1.0 - 2

javolution

javolution

5.5.1

jline

jline

2.14.6

joda-time

joda-time

2.10.5

log4j

apache-log4j-extras

1.2.17

log4j

log4j

1.2.17

net.razorvine

地幔岩

4.30

net.sf.jpam

jpam

1．1

net.sf.opencsv

opencsv

2．3

net.sf.supercsv

super-csv

2.2.0

net.snowflake

snowflake-ingest-sdk

0.9.6

net.snowflake

snowflake-jdbc

3.12.0

net.snowflake

spark-snowflake_2.12

2.5.9-spark_2.4

net.sourceforge.f2j

arpack_combined_all

0．1

org.acplt.remotetea

remotetea-oncrpc

1.1.2

org.antlr

ST4

4.0.4

org.antlr

antlr-runtime

3.5.2

org.antlr

antlr4-runtime

4.7.1

org.antlr

stringtemplate

3.2.1之上

org.apache.ant

螞蟻

1.9.2

org.apache.ant

ant-jsch

1.9.2

org.apache.ant

ant-launcher

1.9.2

org.apache.arrow

arrow-format

0.15.1

org.apache.arrow

arrow-memory

0.15.1

org.apache.arrow

arrow-vector

0.15.1

org.apache.avro

avro

1.8.2

org.apache.avro

avro-ipc

1.8.2

org.apache.avro

avro-mapred-hadoop2

1.8.2

org.apache.commons

commons-compress

1.8.1

org.apache.commons

commons-crypto

1.0.0

org.apache.commons

commons-lang3

3.9

org.apache.commons

commons-math3

3.4.1

org.apache.commons

commons-text

1．6

org.apache.curator

curator-client

2.7.1

org.apache.curator

curator-framework

2.7.1

org.apache.curator

curator-recipes

2.7.1

org.apache.derby

德比

10.12.1.1

org.apache.directory.api

api-asn1-api

1.0.0-M20

org.apache.directory.api

api-util

1.0.0-M20

org.apache.directory.server

apacheds-i18n

2.0.0-M15

org.apache.directory.server

apacheds-kerberos-codec

2.0.0-M15

org.apache.hadoop

hadoop-annotations

第2.7.4

org.apache.hadoop

hadoop-auth

第2.7.4

org.apache.hadoop

hadoop-client

第2.7.4

org.apache.hadoop

hadoop-common

第2.7.4

org.apache.hadoop

hadoop-hdfs

第2.7.4

org.apache.hadoop

hadoop-mapreduce-client-app

第2.7.4

org.apache.hadoop

hadoop-mapreduce-client-common

第2.7.4

org.apache.hadoop

hadoop-mapreduce-client-core

第2.7.4

org.apache.hadoop

hadoop-mapreduce-client-jobclient

第2.7.4

org.apache.hadoop

hadoop-mapreduce-client-shuffle

第2.7.4

org.apache.hadoop

hadoop-yarn-api

第2.7.4

org.apache.hadoop

hadoop-yarn-client

第2.7.4

org.apache.hadoop

hadoop-yarn-common

第2.7.4

org.apache.hadoop

hadoop-yarn-server-common

第2.7.4

org.apache.hive

hive-beeline

2.3.7

org.apache.hive

hive-cli

2.3.7

org.apache.hive

hive-common

2.3.7

org.apache.hive

hive-exec-core

2.3.7

org.apache.hive

hive-jdbc

2.3.7

org.apache.hive

hive-llap-client

2.3.7

org.apache.hive

hive-llap-common

2.3.7

org.apache.hive

hive-metastore

2.3.7

org.apache.hive

hive-serde

2.3.7

org.apache.hive

hive-shims

2.3.7

org.apache.hive

hive-storage-api

2.7.1

org.apache.hive

hive-vector-code-gen

2.3.7

org.apache.hive.shims

蜂巢0.23 -墊片

2.3.7

org.apache.hive.shims

hive-shims-common

2.3.7

org.apache.hive.shims

hive-shims-scheduler

2.3.7

org.apache.htrace

htrace-core

3.1.0-incubating

org.apache.httpcomponents

httpclient

4.5.6

org.apache.httpcomponents

httpcore

4.4.12

org.apache.ivy

艾薇

測試盒框

org.apache.orc

orc-core

1.5.10

org.apache.orc

orc-mapreduce

1.5.10

org.apache.orc

orc-shims

1.5.10

org.apache.parquet

parquet-column

1.10.1.2-databricks4

org.apache.parquet

parquet-common

1.10.1.2-databricks4

org.apache.parquet

parquet-encoding

1.10.1.2-databricks4

org.apache.parquet

parquet-format

測試盒框

org.apache.parquet

parquet-hadoop

1.10.1.2-databricks4

org.apache.parquet

parquet-jackson

1.10.1.2-databricks4

org.apache.thrift

libfb303

0.9.3

org.apache.thrift

libthrift

0.12.0

org.apache.velocity

速度

1．5

org.apache.xbean

xbean-asm7-shaded

4.15

org.apache.yetus

audience-annotations

0.5.0

org.apache.zookeeper

動物園管理員

3.4.14

org.codehaus.jackson

jackson-core-asl

1.9.13

org.codehaus.jackson

jackson-jaxrs

1.9.13

org.codehaus.jackson

jackson-mapper-asl

1.9.13

org.codehaus.jackson

jackson-xc

1.9.13

org.codehaus.janino

commons-compiler

3.0.16

org.codehaus.janino

janino

3.0.16

org.datanucleus

datanucleus-api-jdo

4.2.4

org.datanucleus

datanucleus-core

4.1.17

org.datanucleus

datanucleus-rdbms

4.1.19

org.datanucleus

javax.jdo

3.2.0-m3

org.eclipse.jetty

jetty-client

9.4.18.v20190429

org.eclipse.jetty

jetty-continuation

9.4.18.v20190429

org.eclipse.jetty

jetty-http

9.4.18.v20190429

org.eclipse.jetty

jetty-io

9.4.18.v20190429

org.eclipse.jetty

jetty-jndi

9.4.18.v20190429

org.eclipse.jetty

jetty-plus

9.4.18.v20190429

org.eclipse.jetty

jetty-proxy

9.4.18.v20190429

org.eclipse.jetty

jetty-security

9.4.18.v20190429

org.eclipse.jetty

jetty服務器

9.4.18.v20190429

org.eclipse.jetty

jetty servlet

9.4.18.v20190429

org.eclipse.jetty

jetty-servlets

9.4.18.v20190429

org.eclipse.jetty

jetty-util

9.4.18.v20190429

org.eclipse.jetty

jetty-webapp

9.4.18.v20190429

org.eclipse.jetty

jetty-xml

9.4.18.v20190429

org.fusesource.leveldbjni

leveldbjni-all

1．8

org.glassfish.hk2

hk2-api

2.6.1

org.glassfish.hk2

hk2-locator

2.6.1

org.glassfish.hk2

hk2-utils

2.6.1

org.glassfish.hk2

osgi-resource-locator

1.0.3

org.glassfish.hk2.external

aopalliance-repackaged

2.6.1

org.glassfish.hk2.external

jakarta.inject

2.6.1

org.glassfish.jersey.containers

jersey-container-servlet

2.30

org.glassfish.jersey.containers

jersey-container-servlet-core

2.30

org.glassfish.jersey.core

jersey客戶端

2.30

org.glassfish.jersey.core

jersey-common

2.30

org.glassfish.jersey.core

jersey-server

2.30

org.glassfish.jersey.inject

jersey-hk2

2.30

org.glassfish.jersey.media

jersey-media-jaxb

2.30

org.hibernate.validator

hibernate驗證框架

6.1.0.Final

org.javassist

javassist

3.25.0-GA

org.jboss.logging

jboss-logging

3.3.2.Final

org.jdbi

jdbi

2.63.1

org.joda

joda-convert

1.7

org.jodd

jodd-core

3.5.2

org.json4s

json4s-ast_2.12

3.6.6

org.json4s

json4s-core_2.12

3.6.6

org.json4s

json4s-jackson_2.12

3.6.6

org.json4s

json4s-scalap_2.12

3.6.6

org.lz4

lz4-java

1.7.1上

org.mariadb.jdbc

mariadb-java-client

2.1.2

org.objenesis

objenesis

2.5.1

org.postgresql

postgresql

42.1.4

org.roaringbitmap

RoaringBitmap

0.7.45

org.roaringbitmap

墊片

0.7.45

org.rocksdb

rocksdbjni

6.2.2

org.rosuda.REngine

REngine

魅惑

org.scala-lang

scala-compiler_2.12

2.12.10

org.scala-lang

scala-library_2.12

2.12.10

org.scala-lang

scala-reflect_2.12

2.12.10

org.scala-lang.modules

scala-collection-compat_2.12

2.1.1

org.scala-lang.modules

scala-parser-combinators_2.12

1.1.2

org.scala-lang.modules

scala-xml_2.12

1.2.0

org.scala-sbt

測試界麵

1．0

org.scalacheck

scalacheck_2.12

1.14.2

org.scalactic

scalactic_2.12

3.0.8

org.scalanlp

breeze-macros_2.12

1．0

org.scalanlp

breeze_2.12

1．0

org.scalatest

scalatest_2.12

3.0.8

org.slf4j

jcl-over-slf4j

1.7.30

org.slf4j

jul-to-slf4j

1.7.30

org.slf4j

slf4j-api

1.7.30

org.slf4j

slf4j-log4j12

1.7.30

org.spark-project.spark

未使用的

1.0.0

org.springframework

spring核心

4.1.4.RELEASE

org.springframework

spring測試

4.1.4.RELEASE

org.threeten

threeten-extra

1.5.0

org.tukaani

xz

1．5

org.typelevel

algebra_2.12

2.0.0-M2

org.typelevel

cats-kernel_2.12

2.0.0-M4

org.typelevel

machinist_2.12

0.6.8

org.typelevel

macro-compat_2.12

1.1.1

org.typelevel

spire-macros_2.12

0.17.0-M1

org.typelevel

spire-Beplay体育安卓版本platform_2.12

0.17.0-M1

org.typelevel

spire-util_2.12

0.17.0-M1

org.typelevel

spire_2.12

0.17.0-M1

org.xerial

sqlite-jdbc

3.8.11.2

org.xerial.snappy

snappy-java

1.1.7.5

org.yaml

snakeyaml

1.24

奧羅

奧羅

2.0.8

pl.edu.icm

JLargeArrays

1．5

software.amazon.ion

ion-java

1.0.2中

stax

stax-api

1.0.1

xmlenc

xmlenc

0.52