Databricks Runtime 5.5 LTS(不支持)
Databricks在2019年7月發布了這張圖片。2019年8月，它被宣布為長期支持(LTS)。支持於2021年7月27日結束。Databricks Runtime 5.5擴展支持(不支持)於2021年7月8日發布，並將5.5支持延長至2021年12月。它使用Ubuntu 18.04.5 LTS，而不是在最初的Databricks Runtime 5.5 LTS中使用的已棄用的Ubuntu 16.04.6 LTS發行版。Ubuntu 16.04.6 LTS支持於2021年4月1日停止。
下麵的版本說明提供了有關由Apache Spark支持的Databricks Runtime 5.5的信息。
新功能
Delta Lake在Databricks自動優化
今天，當您將數據寫入雲存儲時，您需要壓縮文件以獲得最佳的I/O性能。您必須考慮正確的文件大小、壓縮文件的頻率、使用多大的集群等等。為了解決這類問題，我們很高興地宣布在Databricks上使用Delta Lake進行自動優化。在每次寫入Delta表時，我們會自動找出正確的文件大小和壓縮文件，這樣您就不必擔心優化存儲布局。在寫入過程中，如果自動最優化選擇是真正的， Databricks自動確定是否需要優化，並優化小文件。有關詳細信息,請參見自動優化Databricks．
Databricks上的Delta Lake改進了最小值、最大值和計數聚合查詢性能
通過減少讀取的數據量，Databricks上Delta Lake的最小、最大和計數聚合查詢的性能得到了顯著提高。這些查詢現在使用元數據中的統計信息和分區值運行，而不是掃描數據。
AWS S3上對Delta表的Presto和Athena支持(公開預覽)
現在可以從諸如Presto和Athena等外部工具查詢Delta表。當從清單文件中讀取要處理的數據文件列表時，Presto和Athena支持從外部表中讀取數據文件，清單文件是一個文本文件，包含用於查詢表的要讀取的數據文件列表。當使用清單文件在Hive metastore中定義一個外部表時，Presto和Athena使用清單中的文件列表，而不是通過目錄列表查找文件。
膠水目錄作為Databricks metastore
Glue Catalog支持通常是可用的。該特性允許您配置Databricks Runtime以使用AWS Glue數據目錄作為其轉移庫，它可以作為一個插入式替換外部蜂巢metastore．它還允許多個Databricks工作區共享相同的metastore。有關更多信息和限製，請參見使用AWS Glue Data Catalog作為Databricks Runtime的metastore．
使用改進的二進製文件數據源和標量迭代器熊貓UDF(公共預覽)更快的模型推理管道
機器學習任務，特別是在圖像和視頻領域，經常需要操作大量的文件。在Databricks Runtime 5.4中，我們已經提供了二進製文件數據源，以幫助ETL將任意文件(如圖像)放入Spark表中。在Databricks Runtime 5.5中，我們增加了一個選項，recursiveFileLookup，以遞歸地從嵌套的輸入目錄加載文件。看到二進製文件．
二進製文件數據源使您能夠使用標量熊貓UDF從Spark表並行運行模型推斷任務。然而，您可能必須為每個記錄批處理初始化模型，這將引入開銷。在Databricks Runtime 5.5中，我們從Apache Spark master中背移植了一個新的熊貓UDF類型，稱為“標量迭代器”。有了它，你可以隻初始化一個模型一次，並將該模型應用到許多輸入批量，這可以導致2-3倍的模型加速，如ResNet50。看到從級數到標量UDF．
秘密API在R筆記本
的秘密的API讓你不用硬編碼就能把秘密注入筆記本。除了對Python和Scala筆記本的現有支持外，這個API現在也可以在R筆記本中使用。您可以使用dbutils.secrets.get函數獲取秘密。在打印到筆記本單元之前，秘密被編輯過。
改進
支持在Python中運行Delta Lake SQL操作
foreachBatch:我們已經修複了無法從內部寫入增量表的已知限製foreachBatchPython中定義的結構化流查詢。這在普通的Python流工作負載中很有用;例如,使用MERGE和foreachBatch在更新模式中寫入流聚合．存儲在Azure Data Lake Gen2中的Delta表的性能:對ADLS Gen2上的Delta表的最新版本的檢查現在隻檢查事務日誌的末尾，而不是列出所有可用的版本。這樣的優化會使
更新恒定時間操作，顯著改善延遲。優化的可伸縮性
ZORDER通過:在非常大的Delta表上z - ordered現在使用更小的工作單元，由高級的允許控製控製。該特性在不犧牲集群利用率的情況下提高了該操作的穩定性。改進了具有大量列的表上DML命令的性能:在掃描匹配數據時，我們現在執行更好的列修剪
更新，刪除,合並命令。在Spark - Synapse Analytics連接器中支持VNet +服務端點設置:我們將ADL Gen2路徑添加到允許列表中作為臨時數據位置(
.option(“tempDir”,“abfss: / /……”)，並添加了一個名為useAzureMSI，用來代替forward_spark_azure_storage_credentials以防你的Synapse Analytics配置為通過托管身份驗證到您的V2存儲帳戶．磁盤緩存的自動失效:磁盤緩存現在自動檢測在緩存後被修改或覆蓋的文件。任何過期的條目都將自動失效並從緩存中刪除。看到在Databricks上使用緩存優化性能．
將Python庫輪從0.33.3升級到0.33.4。
將R庫nlme從3.1-139升級到3.1-140。
錯誤修複
修正了S3-SQS/ abs - qs連接器在刪除並重新添加文件時可能會彈出損壞Delta表錯誤的錯誤。
修正了不運行Spark作業的R命令的取消。以前，不運行Spark作業的R命令可以被取消，但筆記本的狀態會丟失;現在可以取消命令而不丟失筆記本狀態。
刪除或移動托管表現在將使緩存的Delta Lake日誌失效。
修正了寫入三角洲湖檢查點可能失敗的錯誤
FileAlreadyExistsException．Scala REPL現在設置正確的
—target: jvm - 1.8標誌支持調用使用Java 8特性的Java方法。
Apache火花
Databricks Runtime 5.5包含Apache Spark 2.4.3。該版本包括所有Spark修複和改進Databricks Runtime 5.4(不支持)，以及對Spark進行的以下額外bug修複和改進:
(火花- 26856)[PYSPARK]修複了由於運動裝配錯誤的模式而導致的UT失敗
(火花- 24695)允許udf返回CalendarInterval
(火花- 28056)為SCALAR_ITER熊貓UDF添加文檔字符串/doctest
(火花- 28185)當Python udf提前停止時關閉生成器
(火花- 24703)支持區間乘法
(火花- 27018)修複了在PeriodicCheckpointer中錯誤刪除檢查點文件的問題
(火花- 28127)[SQL]對TreeNode的mapChildren方法的微優化
(火花- 26038)Decimal toScalaBigInt/toJavaBigInteger用於小數不適合長
(火花- 26555)使ScalaReflection子類型檢查線程安全
(火花- 28081)[ML]處理word2vec中較大的詞彙表計數
(火花- 21882)OutputMetrics在saveAsHadoopDataset函數中沒有正確地計算寫入的字節數
(火花- 28030)將filePath轉換為二進製文件數據源中的URI
(火花- 27803)[SQL][PYTHON]修複PYTHON UDF的列修剪
(火花- 27917)CaseWhen對象的標準形式不正確
(火花- 27798)[SQL] from_avro在轉換為本地關係時不應該產生相同的值
(火花- 27873)禁用enforceSchema時，CSV頭中的columnNameOfCorruptRecord不應該與列名一起檢查
(火花- 27907)[SQL] HiveUDAF在0行的情況下應該返回NULL
(火花- 27699)[SQL] Parquet/ORC中部分下推析取謂詞
(火花- 27868)更好的默認值和socket服務器backlog文檔。
(火花- 27869)編輯UI中的係統屬性中的敏感信息
(火花- 27863)[SQL][BACKPORT-2.4]元數據文件和臨時文件不作為數據文件
(火花- 27657)[ML]修複ML .util. instrumentation . logfai…
(火花- 27858)修複了具有多個非空類型的聯合類型的Avro反序列化問題
(火花- 27711)在任務結束時取消設置InputFileBlockHolder
(火花- 27351)aggregateestimate後隻有空值列的outputRows估計錯誤
(火花- 27539)修複不準確的聚合outputRows估計與列包含空值"
(火花- 27800)修複BitwiseXor測試用例的錯誤答案
(火花- 27639)如果可能的話，InMemoryTableScan在UI上顯示表名
(火花- 27726)修複在高負載下使用InMemoryStore時ElementTrackingStore刪除的性能問題
(火花- 27771)[SQL]為分組功能(cube, rollup, grouping和grouping_id)添加SQL描述
(火花- 27735)[SS]解析間隔字符串在SS中不區分大小寫
(火花- 26856)[PYSPARK] Python支持from_avro和to_avro api
(火花- 26870)[SQL]由於Java的兼容性，移動到_avro/from_avro到函數對象中
(火花- 26812)[SQL]報告Union中複雜數據類型的正確空值性
(火花- 27671)修複從結構中嵌套的空進行類型轉換時的錯誤
(火花- 27673)[SQL]添加
自信息到隨機，正則表達式，空表達式(火花- 27672)[SQL]添加
自字符串表達式的信息(火花- 25139)(火花- 18406)在PythonRunner中避免使用非致命函數來殺死Executor
(火花- 27624)修正CalenderInterval正確顯示空間隔
(火花- 27577)[MLLIB] BinaryClassificationMetrics中向下采樣的正確閾值
(火花- 27621)[ML]線性回歸-隻在擬合階段驗證訓練相關參數，如損失
(火花- 26048)(火花- 24530)將所有缺失的提交刪除到2.4版本腳本中
(火花- 24935)[SQL]在Hive UDAF適配器中支持INIT -> UPDATE -> MERGE -> FINISH
係統環境
操作係統Ubuntu 16.04.6 LTS
Java: 1.8.0_252
Scala: 2.11.12
PythonPython 2集群為2.7.12,Python 3集群為3.5.2。
R: R版本3.6.0 (2019-04-26)
GPU集群:安裝了以下NVIDIA GPU庫:
375.66特斯拉的司機
CUDA 9.0
cuDNN 7.0
請注意
雖然在Apache Spark 2.4中支持Scala 2.12，但在Databricks Runtime 5.5中不支持。
安裝Python庫
圖書館 |
版本 |
圖書館 |
版本 |
圖書館 |
版本 |
|---|---|---|---|---|---|
ansi2html |
1.1.1 |
argparse |
1.2.1 " |
backports-abc |
0．5 |
寶途 |
2.42.0 |
boto3 |
1.4.1 |
botocore |
1.4.70 |
brewer2mpl |
1.4.1 |
certifi |
2016.2.28 |
cffi |
1.7.0 |
chardet |
tripwire |
彩色光 |
0.3.7 |
configobj |
5.0.6 |
密碼學 |
1．5 |
周期計 |
0.10.0 |
Cython |
0.24.1 |
裝飾 |
4.0.10 |
docutils |
0.14 |
enum34 |
1.1.6 |
et-xmlfile |
1.0.1 |
freetype-py |
1.0.2中 |
funcsigs |
1.0.2中 |
fusepy |
2.0.4 |
期貨 |
3.2.0 |
ggplot |
0.6.8 |
html5lib |
0.999 |
idna |
2.1 |
ipaddress |
1.0.16 |
ipython |
2.2.0 |
ipython-genutils |
0.1.0 |
jdcal |
1．2 |
Jinja2 |
2.8 |
jmespath |
0.9.0 |
llvmlite |
0.13.0 |
lxml |
3.6.4 |
MarkupSafe |
0.23 |
matplotlib |
1.5.3 |
mpld3 |
0.2 |
msgpack-python |
0.4.7 |
ndg-httpsclient |
0.3.3 |
numba |
0.28.1 |
numpy |
1.11.1 |
openpyxl |
2.3.2 |
熊貓 |
0.19.2 |
pathlib2 |
魅惑 |
容易受騙的人 |
0.4.1 |
pexpect |
4.0.1 |
pickleshare |
0.7.4 |
枕頭 |
3.3.1 |
皮普 |
19.1.1 |
厚度 |
3.9 |
prompt-toolkit |
1.0.7 |
psycopg2 |
2.6.2 |
ptyprocess |
0.5.1 |
py4j |
0.10.3 |
pyarrow |
0.8.0 |
pyasn1 |
0.1.9 |
pycparser |
2.14 |
Pygments |
2.1.3 |
PyGObject |
3.20.0 |
pyOpenSSL |
16.0.0 |
pyparsing |
2.2.0 |
pypng |
0.0.18 |
Python |
2.7.12 |
python-dateutil |
2.5.3 |
python-geohash |
0.8.5 |
pytz |
2016.6.1 |
請求 |
2.11.1 |
s3transfer |
0.1.9 |
scikit-learn |
0.18.1 |
scipy |
0.18.1 |
衝刷 |
0.32 |
seaborn |
是0.7.1 |
setuptools |
41.0.1 |
simplejson |
3.8.2 |
simples3 |
1．0 |
singledispatch |
3.4.0.3 |
六個 |
1.10.0 |
statsmodels |
0.6.1 |
龍卷風 |
5.1.1 |
traitlets |
4.3.0 |
urllib3 |
1.19.1 |
virtualenv |
16.1.0 |
wcwidth |
0.1.7 |
輪 |
0.33.4 |
wsgiref |
0.1.2 |
安裝R庫
圖書館 |
版本 |
圖書館 |
版本 |
圖書館 |
版本 |
|---|---|---|---|---|---|
abind |
1.4 - 5 |
askpass |
1．1 |
為了 |
0.2.1 |
補丁 |
1.1.3 |
基地 |
3.6.0 |
base64enc |
0.1 - 3 |
黑洞 |
1.69.0-1 |
位 |
-14 - 1.1 |
bit64 |
0.9 7 |
bitops |
1.0 6 |
團 |
1.1.1 |
引導 |
-20 - 1.3 |
釀造 |
1.0 6 |
callr |
3.2.0 |
車 |
3.0 - 2 |
carData |
3.0 - 2 |
脫字符號 |
-82 - 6.0 |
cellranger |
1.1.0 |
時間 |
-53 - 2.3 |
類 |
-15 - 7.3 |
cli |
1.1.0 |
clipr |
0.5.0 |
clisymbols |
1.2.0 |
集群 |
2.0.8 |
codetools |
-16 - 0.2 |
色彩 |
1.4 - 1 |
commonmark |
1.7 |
編譯器 |
3.6.0 |
配置 |
0.3 |
蠟筆 |
1.3.4 |
旋度 |
3．3 |
data.table |
1.12.0 |
數據集 |
3.6.0 |
DBI |
1.0.0 |
dbplyr |
1.3.0 |
desc |
1.2.0 |
devtools |
2.0.1 |
消化 |
0.6.18 |
doMC |
1.3.5 |
dplyr |
0.8.0.1 |
省略 |
0.1.0 |
fansi |
0.4.0 |
forcats |
0.4.0 |
foreach |
1.4.4 |
外國 |
-71 - 0.8 |
打造 |
0.2.0 |
fs |
1.2.7 |
“綠帶運動” |
2.1.5 |
泛型 |
發布 |
ggplot2 |
3.1.0 |
“大酒店” |
1.0.1 |
git2r |
0.25.2 |
glmnet |
-16 - 2.0 |
膠水 |
1.3.1 |
高爾 |
0.2.0 |
圖形 |
3.6.0 |
grDevices |
3.6.0 |
網格 |
3.6.0 |
gridExtra |
2．3 |
gsubfn |
0.7 |
gtable |
0.3.0 |
水 |
3.22.1.1 |
還 |
魅惑 |
hms |
0.4.2 |
htmltools |
0.3.6 |
htmlwidgets |
1.3 |
httr |
1.4.0 |
hwriter |
1.3.2 |
hwriterPlus |
1.0 - 3 |
ini |
0.3.1 |
不小 |
0.9 8 |
迭代器 |
1.0.10 |
jsonlite |
1．6 |
KernSmooth |
-15 - 2.23 |
標簽 |
0.3 |
晶格 |
-38 - 0.20 |
熔岩 |
1.6.5 |
lazyeval |
0.2.2 |
的小 |
0.3.7 |
lme4 |
-21 - 1.1 |
lubridate |
1.7.4 |
magrittr |
1．5 |
mapproj |
1.2.6 |
地圖 |
3.3.0 |
maptools |
0.9 - 5 |
質量 |
7.3 - -51.1 |
矩陣 |
-17 - 1.2 |
MatrixModels |
0.4 - 1 |
memoise |
1.1.0 |
方法 |
3.6.0 |
mgcv |
-28 - 1.8 |
mime |
0.6 |
minqa |
1.2.4 |
ModelMetrics |
1.2.2 |
孟塞爾 |
0.5.0 |
mvtnorm |
-10 - 1.0 |
nlme |
-140 - 3.1 |
nloptr |
1.2.1 " |
nnet |
-12 - 7.3 |
numDeriv |
2016.8 - 1 |
openssl |
1.3 |
openxlsx |
4.1.0 |
平行 |
3.6.0 |
pbkrtest |
0.4 7 |
支柱 |
1.3.1 |
pkgbuild |
1.0.3 |
pkgconfig |
2.0.2 |
pkgKitten |
0.1.4 |
pkgload |
1.0.2中 |
plogr |
0.2.0 |
plyr |
1.8.4 |
讚美 |
1.0.0 |
prettyunits |
1.0.2中 |
pROC |
1.14.0 |
processx |
3.3.0 |
prodlim |
2018.04.18 |
進步 |
1.2.0 |
原型 |
1.0.0 |
ps |
1.3.0 |
purrr |
0.3.2 |
quantreg |
5.38 |
R.methodsS3 |
1.7.1上 |
R.oo |
1.22.0 |
R.utils |
2.8.0 |
r2d3 |
0.2.3 |
R6 |
測試盒框 |
randomForest |
-14 - 4.6 |
rappdirs |
0.3.1 |
rcmdcheck |
1.3.2 |
RColorBrewer |
1.1 - 2 |
Rcpp |
1.0.1 |
RcppEigen |
0.3.3.5.0 |
RcppRoll |
0.3.0 |
RCurl |
1.95 - -4.12 |
readr |
1.3.1 |
readxl |
1.3.1 |
食譜 |
0.1.5 |
複賽 |
1.0.1 |
遙控器 |
2.0.2 |
reshape2 |
3 |
裏約熱內盧 |
0.5.16 |
rlang |
0.3.3 |
RODBC |
-15 - 1.3 |
roxygen2 |
但是 |
rpart |
-15 - 4.1 |
rprojroot |
1.3 - 2 |
Rserve |
1.8 6 |
RSQLite |
2.1.1 |
rstudioapi |
0．10 |
尺度 |
1.0.0 |
sessioninfo |
1.1.1 |
sp |
1.3 - 1 |
sparklyr |
1.0.0 |
SparkR |
2.4.4 |
SparseM |
1.77 |
空間 |
-11 - 7.3 |
樣條函數 |
3.6.0 |
sqldf |
-11 - 0.4 |
SQUAREM |
2017.10 - 1 |
statmod |
1.4.30 |
統計數據 |
3.6.0 |
stats4 |
3.6.0 |
stringi |
3 |
stringr |
1.4.0 |
生存 |
2.43 - 3 |
sys |
3．1 |
tcltk |
3.6.0 |
TeachingDemos |
2.10 |
testthat |
2.0.1 |
寵物貓 |
2.1.1 |
tidyr |
0.8.3 |
tidyselect |
0.2.5 |
timeDate |
3043.102 |
工具 |
3.6.0 |
usethis |
1.4.0 |
use utf8 |
1.1.4 |
跑龍套 |
3.6.0 |
viridisLite |
0.3.0 |
晶須 |
0.3 - 2 |
withr |
2.1.2 |
xml2 |
1.2.0 |
xopen |
1.0.0 |
yaml |
2.2.0 |
郵政編碼 |
2.0.1 |
已安裝的Java和Scala庫(Scala 2.11集群版本)
組ID |
工件ID |
版本 |
|---|---|---|
antlr |
antlr |
2.7.7 |
com.amazonaws |
amazon-kinesis-client |
1.8.10 |
com.amazonaws |
aws-java-sdk-autoscaling |
1.11.313 |
com.amazonaws |
aws-java-sdk-cloudformation |
1.11.313 |
com.amazonaws |
aws-java-sdk-cloudfront |
1.11.313 |
com.amazonaws |
aws-java-sdk-cloudhsm |
1.11.313 |
com.amazonaws |
aws-java-sdk-cloudsearch |
1.11.313 |
com.amazonaws |
aws-java-sdk-cloudtrail |
1.11.313 |
com.amazonaws |
aws-java-sdk-cloudwatch |
1.11.313 |
com.amazonaws |
aws-java-sdk-cloudwatchmetrics |
1.11.313 |
com.amazonaws |
aws-java-sdk-codedeploy |
1.11.313 |
com.amazonaws |
aws-java-sdk-cognitoidentity |
1.11.313 |
com.amazonaws |
aws-java-sdk-cognitosync |
1.11.313 |
com.amazonaws |
aws-java-sdk-config |
1.11.313 |
com.amazonaws |
aws-java-sdk-core |
1.11.313 |
com.amazonaws |
aws-java-sdk-datapipeline |
1.11.313 |
com.amazonaws |
aws-java-sdk-directconnect |
1.11.313 |
com.amazonaws |
aws-java-sdk-directory |
1.11.313 |
com.amazonaws |
aws-java-sdk-dynamodb |
1.11.313 |
com.amazonaws |
aws-java-sdk-ec2 |
1.11.313 |
com.amazonaws |
aws-java-sdk-ecs |
1.11.313 |
com.amazonaws |
aws-java-sdk-efs |
1.11.313 |
com.amazonaws |
aws-java-sdk-elasticache |
1.11.313 |
com.amazonaws |
aws-java-sdk-elasticbeanstalk |
1.11.313 |
com.amazonaws |
aws-java-sdk-elasticloadbalancing |
1.11.313 |
com.amazonaws |
aws-java-sdk-elastictranscoder |
1.11.313 |
com.amazonaws |
aws-java-sdk-emr |
1.11.313 |
com.amazonaws |
aws-java-sdk-glacier |
1.11.313 |
com.amazonaws |
aws-java-sdk-glue |
1.11.313 |
com.amazonaws |
aws-java-sdk-iam |
1.11.313 |
com.amazonaws |
aws-java-sdk-importexport |
1.11.313 |
com.amazonaws |
aws-java-sdk-kinesis |
1.11.313 |
com.amazonaws |
aws-java-sdk-kms |
1.11.313 |
com.amazonaws |
aws-java-sdk-lambda |
1.11.313 |
com.amazonaws |
aws-java-sdk-logs |
1.11.313 |
com.amazonaws |
aws-java-sdk-machinelearning |
1.11.313 |
com.amazonaws |
aws-java-sdk-opsworks |
1.11.313 |
com.amazonaws |
aws-java-sdk-rds |
1.11.313 |
com.amazonaws |
aws-java-sdk-redshift |
1.11.313 |
com.amazonaws |
aws-java-sdk-route53 |
1.11.313 |
com.amazonaws |
aws-java-sdk-s3 |
1.11.313 |
com.amazonaws |
aws-java-sdk-ses |
1.11.313 |
com.amazonaws |
aws-java-sdk-simpledb |
1.11.313 |
com.amazonaws |
aws-java-sdk-simpleworkflow |
1.11.313 |
com.amazonaws |
aws-java-sdk-sns |
1.11.313 |
com.amazonaws |
aws-java-sdk-sqs |
1.11.313 |
com.amazonaws |
aws-java-sdk-ssm |
1.11.313 |
com.amazonaws |
aws-java-sdk-storagegateway |
1.11.313 |
com.amazonaws |
aws-java-sdk-sts |
1.11.313 |
com.amazonaws |
aws-java-sdk-support |
1.11.313 |
com.amazonaws |
aws-java-sdk-swf-libraries |
1.11.22 |
com.amazonaws |
aws-java-sdk-workspaces |
1.11.313 |
com.amazonaws |
jmespath-java |
1.11.313 |
com.carrotsearch |
hppc |
0.7.2 |
com.chuusai |
shapeless_2.11 |
2.3.2 |
com.clearspring.analytics |
流 |
2.7.0 |
com.databricks |
Rserve |
1.8 - 3 |
com.databricks |
dbml-local_2.11 |
0.5.0-db8-spark2.4 |
com.databricks |
dbml-local_2.11-tests |
0.5.0-db8-spark2.4 |
com.databricks |
jets3t |
0.7.1-0 |
com.databricks.scalapb |
compilerplugin_2.11 |
0.4.15-9 |
com.databricks.scalapb |
scalapb-runtime_2.11 |
0.4.15-9 |
com.esotericsoftware |
kryo-shaded |
4.0.2 |
com.esotericsoftware |
minlog |
1.3.0 |
com.fasterxml |
同學 |
1.0.0 |
com.fasterxml.jackson.core |
jackson-annotations |
2.6.7 |
com.fasterxml.jackson.core |
jackson-core |
2.6.7 |
com.fasterxml.jackson.core |
jackson-databind |
2.6.7.1 |
com.fasterxml.jackson.dataformat |
jackson-dataformat-cbor |
2.6.7 |
com.fasterxml.jackson.datatype |
jackson-datatype-joda |
2.6.7 |
com.fasterxml.jackson.module |
jackson-module-paranamer |
2.6.7 |
com.fasterxml.jackson.module |
jackson-module-scala_2.11 |
2.6.7.1 |
com.github.fommil |
jniloader |
1．1 |
com.github.fommil.netlib |
核心 |
1.1.2 |
com.github.fommil.netlib |
native_ref-java |
1．1 |
com.github.fommil.netlib |
native_ref-java-natives |
1．1 |
com.github.fommil.netlib |
native_system-java |
1．1 |
com.github.fommil.netlib |
native_system-java-natives |
1．1 |
com.github.fommil.netlib |
netlib-native_ref-linux-x86_64-natives |
1．1 |
com.github.fommil.netlib |
netlib-native_system-linux-x86_64-natives |
1．1 |
com.github.luben |
zstd-jni |
1.3.2-2 |
com.github.rwl |
jtransforms |
測試盒框 |
com.google.code.findbugs |
jsr305 |
2.0.1 |
com.google.code.gson |
gson |
2.2.4 |
com.google.guava |
番石榴 |
15.0 |
com.google.protobuf |
protobuf-java |
2.6.1 |
com.googlecode.javaewah |
JavaEWAH |
0.3.2 |
com.h2database |
h2 |
1.3.174 |
com.jcraft |
jsch |
0.1.50 |
com.jolbox |
bonecp |
0.8.0.RELEASE |
com.microsoft.azure |
azure-data-lake-store-sdk |
2.2.8 |
com.microsoft.azure |
azure存儲 |
5.2.0 |
com.microsoft.sqlserver |
mssql-jdbc |
6.2.2.jre8 |
com.ning |
compress-lzf |
1.0.3 |
com.sun.mail |
javax.mail |
1.5.2 |
com.thoughtworks.paranamer |
paranamer |
2.8 |
com.trueaccord.lenses |
lenses_2.11 |
0.3 |
com.twitter |
chill-java |
0.9.3 |
com.twitter |
chill_2.11 |
0.9.3 |
com.twitter |
parquet-hadoop-bundle |
1.6.0 |
com.twitter |
util-app_2.11 |
6.23.0 |
com.twitter |
util-core_2.11 |
6.23.0 |
com.twitter |
util-jvm_2.11 |
6.23.0 |
com.typesafe |
配置 |
1.2.1 " |
com.typesafe.scala-logging |
scala-logging-api_2.11 |
2.1.2 |
com.typesafe.scala-logging |
scala-logging-slf4j_2.11 |
2.1.2 |
com.univocity |
univocity-parsers |
2.7.3 |
com.vlkan |
flatbuffers |
1.2.0-3f79e055 |
com.zaxxer |
HikariCP |
3.1.0 |
commons-beanutils |
commons-beanutils |
1.9.3 |
commons-cli |
commons-cli |
1．2 |
commons-codec |
commons-codec |
1.10 |
commons-collections |
commons-collections |
3.2.2 |
commons configuration |
commons configuration |
1．6 |
commons-dbcp |
commons-dbcp |
1．4 |
commons-digester |
commons-digester |
1．8 |
commons-httpclient |
commons-httpclient |
3．1 |
commons-io |
commons-io |
2.4 |
commons lang |
commons lang |
2.6 |
通用日誌 |
通用日誌 |
1.1.3 |
commons net |
commons net |
3．1 |
commons-pool |
commons-pool |
1.5.4 |
info.ganglia.gmetric4j |
gmetric4j |
1.0.7 |
io.airlift |
aircompressor |
0．10 |
io.dropwizard.metrics |
metrics-core |
3.1.5 |
io.dropwizard.metrics |
metrics-ganglia |
3.1.5 |
io.dropwizard.metrics |
metrics-graphite |
3.1.5 |
io.dropwizard.metrics |
metrics-healthchecks |
3.1.5 |
io.dropwizard.metrics |
metrics-jetty9 |
3.1.5 |
io.dropwizard.metrics |
metrics-json |
3.1.5 |
io.dropwizard.metrics |
metrics-jvm |
3.1.5 |
io.dropwizard.metrics |
metrics-log4j |
3.1.5 |
io.dropwizard.metrics |
metrics-servlets |
3.1.5 |
io.netty |
網狀的 |
3.9.9.Final |
io.netty |
netty-all |
4.1.17.Final |
javax.activation |
激活 |
1.1.1 |
javax.annotation |
javax.annotation-api |
1．2 |
javax.el |
javax.el-api |
2.2.4 |
javax.jdo |
jdo api |
3.0.1 |
javax.servlet |
javax.servlet-api |
3.1.0 |
javax.servlet.jsp |
jsp-api |
2.1 |
javax.transaction |
jta |
1．1 |
javax.validation |
驗證api |
1.1.0.Final |
javax.ws.rs |
javax.ws.rs-api |
2.0.1 |
javax.xml.bind |
jaxb-api |
2.2.2 |
javax.xml.stream |
stax-api |
1.0 - 2 |
javolution |
javolution |
5.5.1 |
jline |
jline |
2.14.6 |
joda-time |
joda-time |
2.9.3 |
log4j |
apache-log4j-extras |
1.2.17 |
log4j |
log4j |
1.2.17 |
maven-trees |
hive-exec-with-glue |
蜂巢- 12679 patch_deploy |
maven-trees |
hive-exec-with-glue |
hive-exec_shaded |
net.hydromatic |
eigenbase-properties |
1.1.5 |
net.razorvine |
地幔岩 |
4.13 |
net.sf.jpam |
jpam |
1．1 |
net.sf.opencsv |
opencsv |
2．3 |
net.sf.supercsv |
super-csv |
2.2.0 |
net.snowflake |
snowflake-ingest-sdk |
0.9.5 |
net.snowflake |
snowflake-jdbc |
3.6.15 |
net.snowflake |
spark-snowflake_2.11 |
2.4.10-spark_2.4 |
net.sourceforge.f2j |
arpack_combined_all |
0．1 |
org.acplt |
oncrpc |
1.0.7 |
org.antlr |
ST4 |
4.0.4 |
org.antlr |
antlr-runtime |
3.4 |
org.antlr |
antlr4-runtime |
4．7 |
org.antlr |
stringtemplate |
3.2.1之上 |
org.apache.ant |
螞蟻 |
1.9.2 |
org.apache.ant |
ant-jsch |
1.9.2 |
org.apache.ant |
ant-launcher |
1.9.2 |
org.apache.arrow |
arrow-format |
0.10.0 |
org.apache.arrow |
arrow-memory |
0.10.0 |
org.apache.arrow |
arrow-vector |
0.10.0 |
org.apache.avro |
avro |
1.8.2 |
org.apache.avro |
avro-ipc |
1.8.2 |
org.apache.avro |
avro-mapred-hadoop2 |
1.8.2 |
org.apache.calcite |
calcite-avatica |
1.2.0-incubating |
org.apache.calcite |
calcite-core |
1.2.0-incubating |
org.apache.calcite |
calcite-linq4j |
1.2.0-incubating |
org.apache.commons |
commons-compress |
1.8.1 |
org.apache.commons |
commons-crypto |
1.0.0 |
org.apache.commons |
commons-lang3 |
3．5 |
org.apache.commons |
commons-math3 |
3.4.1 |
org.apache.curator |
curator-client |
2.7.1 |
org.apache.curator |
curator-framework |
2.7.1 |
org.apache.curator |
curator-recipes |
2.7.1 |
org.apache.derby |
德比 |
10.12.1.1 |
org.apache.directory.api |
api-asn1-api |
1.0.0-M20 |
org.apache.directory.api |
api-util |
1.0.0-M20 |
org.apache.directory.server |
apacheds-i18n |
2.0.0-M15 |
org.apache.directory.server |
apacheds-kerberos-codec |
2.0.0-M15 |
org.apache.hadoop |
hadoop-annotations |
2.7.3 |
org.apache.hadoop |
hadoop-auth |
2.7.3 |
org.apache.hadoop |
hadoop-client |
2.7.3 |
org.apache.hadoop |
hadoop-common |
2.7.3 |
org.apache.hadoop |
hadoop-hdfs |
2.7.3 |
org.apache.hadoop |
hadoop-mapreduce-client-app |
2.7.3 |
org.apache.hadoop |
hadoop-mapreduce-client-common |
2.7.3 |
org.apache.hadoop |
hadoop-mapreduce-client-core |
2.7.3 |
org.apache.hadoop |
hadoop-mapreduce-client-jobclient |
2.7.3 |
org.apache.hadoop |
hadoop-mapreduce-client-shuffle |
2.7.3 |
org.apache.hadoop |
hadoop-yarn-api |
2.7.3 |
org.apache.hadoop |
hadoop-yarn-client |
2.7.3 |
org.apache.hadoop |
hadoop-yarn-common |
2.7.3 |
org.apache.hadoop |
hadoop-yarn-server-common |
2.7.3 |
org.apache.htrace |
htrace-core |
3.1.0-incubating |
org.apache.httpcomponents |
httpclient |
4.5.4 |
org.apache.httpcomponents |
httpcore |
4.4.8 |
org.apache.ivy |
艾薇 |
測試盒框 |
org.apache.orc |
orc-core-nohive |
1.5.2 |
org.apache.orc |
orc-mapreduce-nohive |
1.5.2 |
org.apache.orc |
orc-shims |
1.5.2 |
org.apache.parquet |
parquet-column |
1.10.1.1-databricks3 |
org.apache.parquet |
parquet-common |
1.10.1.1-databricks3 |
org.apache.parquet |
parquet-encoding |
1.10.1.1-databricks3 |
org.apache.parquet |
parquet-format |
測試盒框 |
org.apache.parquet |
parquet-hadoop |
1.10.1.1-databricks3 |
org.apache.parquet |
parquet-jackson |
1.10.1.1-databricks3 |
org.apache.thrift |
libfb303 |
0.9.3 |
org.apache.thrift |
libthrift |
0.9.3 |
org.apache.xbean |
xbean-asm6-shaded |
4.8 |
org.apache.zookeeper |
動物園管理員 |
3.4.6 |
org.codehaus.jackson |
jackson-core-asl |
1.9.13 |
org.codehaus.jackson |
jackson-jaxrs |
1.9.13 |
org.codehaus.jackson |
jackson-mapper-asl |
1.9.13 |
org.codehaus.jackson |
jackson-xc |
1.9.13 |
org.codehaus.janino |
commons-compiler |
3.0.10 |
org.codehaus.janino |
janino |
3.0.10 |
org.datanucleus |
datanucleus-api-jdo |
3.2.6 |
org.datanucleus |
datanucleus-core |
3.2.10 |
org.datanucleus |
datanucleus-rdbms |
3.2.9 |
org.eclipse.jetty |
jetty-client |
9.3.20.v20170531 |
org.eclipse.jetty |
jetty-continuation |
9.3.20.v20170531 |
org.eclipse.jetty |
jetty-http |
9.3.20.v20170531 |
org.eclipse.jetty |
jetty-io |
9.3.20.v20170531 |
org.eclipse.jetty |
jetty-jndi |
9.3.20.v20170531 |
org.eclipse.jetty |
jetty-plus |
9.3.20.v20170531 |
org.eclipse.jetty |
jetty-proxy |
9.3.20.v20170531 |
org.eclipse.jetty |
jetty-security |
9.3.20.v20170531 |
org.eclipse.jetty |
jetty服務器 |
9.3.20.v20170531 |
org.eclipse.jetty |
jetty servlet |
9.3.20.v20170531 |
org.eclipse.jetty |
jetty-servlets |
9.3.20.v20170531 |
org.eclipse.jetty |
jetty-util |
9.3.20.v20170531 |
org.eclipse.jetty |
jetty-webapp |
9.3.20.v20170531 |
org.eclipse.jetty |
jetty-xml |
9.3.20.v20170531 |
org.fusesource.leveldbjni |
leveldbjni-all |
1．8 |
org.glassfish.hk2 |
hk2-api |
2.4.0-b34 |
org.glassfish.hk2 |
hk2-locator |
2.4.0-b34 |
org.glassfish.hk2 |
hk2-utils |
2.4.0-b34 |
org.glassfish.hk2 |
osgi-resource-locator |
1.0.1 |
org.glassfish.hk2.external |
aopalliance-repackaged |
2.4.0-b34 |
org.glassfish.hk2.external |
javax.inject |
2.4.0-b34 |
org.glassfish.jersey.bundles.repackaged |
jersey-guava |
2.22.2 |
org.glassfish.jersey.containers |
jersey-container-servlet |
2.22.2 |
org.glassfish.jersey.containers |
jersey-container-servlet-core |
2.22.2 |
org.glassfish.jersey.core |
jersey客戶端 |
2.22.2 |
org.glassfish.jersey.core |
jersey-common |
2.22.2 |
org.glassfish.jersey.core |
jersey-server |
2.22.2 |
org.glassfish.jersey.media |
jersey-media-jaxb |
2.22.2 |
org.hibernate |
hibernate驗證框架 |
5.1.1.Final |
org.iq80.snappy |
時髦的 |
0.2 |
org.javassist |
javassist |
3.18.1-GA |
org.jboss.logging |
jboss-logging |
3.1.3.GA |
org.jdbi |
jdbi |
2.63.1 |
org.joda |
joda-convert |
1.7 |
org.jodd |
jodd-core |
3.5.2 |
org.json4s |
json4s-ast_2.11 |
3.5.3 |
org.json4s |
json4s-core_2.11 |
3.5.3 |
org.json4s |
json4s-jackson_2.11 |
3.5.3 |
org.json4s |
json4s-scalap_2.11 |
3.5.3 |
org.lz4 |
lz4-java |
1.4.0 |
org.mariadb.jdbc |
mariadb-java-client |
2.1.2 |
org.mockito |
mockito-all |
1.9.5 |
org.objenesis |
objenesis |
2.5.1 |
org.postgresql |
postgresql |
42.1.4 |
org.roaringbitmap |
RoaringBitmap |
0.7.45 |
org.roaringbitmap |
墊片 |
0.7.45 |
org.rocksdb |
rocksdbjni |
5.2.1 |
org.rosuda.REngine |
REngine |
魅惑 |
org.scala-lang |
scala-compiler_2.11 |
2.11.12 |
org.scala-lang |
scala-library_2.11 |
2.11.12 |
org.scala-lang |
scala-reflect_2.11 |
2.11.12 |
org.scala-lang.modules |
scala-parser-combinators_2.11 |
1.1.0 |
org.scala-lang.modules |
scala-xml_2.11 |
1.0.5 |
org.scala-sbt |
測試界麵 |
1．0 |
org.scalacheck |
scalacheck_2.11 |
1.12.5 |
org.scalactic |
scalactic_2.11 |
3.0.3 |
org.scalanlp |
breeze-macros_2.11 |
0.13.2 |
org.scalanlp |
breeze_2.11 |
0.13.2 |
org.scalatest |
scalatest_2.11 |
3.0.3 |
org.slf4j |
jcl-over-slf4j |
1.7.16 |
org.slf4j |
jul-to-slf4j |
1.7.16 |
org.slf4j |
slf4j-api |
1.7.16 |
org.slf4j |
slf4j-log4j12 |
1.7.16 |
org.spark-project.hive |
hive-beeline |
1.2.1.spark2 |
org.spark-project.hive |
hive-cli |
1.2.1.spark2 |
org.spark-project.hive |
hive-jdbc |
1.2.1.spark2 |
org.spark-project.hive |
hive-metastore |
1.2.1.spark2 |
org.spark-project.spark |
未使用的 |
1.0.0 |
org.spire-math |
spire-macros_2.11 |
0.13.0 |
org.spire-math |
spire_2.11 |
0.13.0 |
org.springframework |
spring核心 |
4.1.4.RELEASE |
org.springframework |
spring測試 |
4.1.4.RELEASE |
org.tukaani |
xz |
1．5 |
org.typelevel |
machinist_2.11 |
0.6.1 |
org.typelevel |
macro-compat_2.11 |
1.1.1 |
org.xerial |
sqlite-jdbc |
3.8.11.2 |
org.xerial.snappy |
snappy-java |
1.1.7.3 |
org.yaml |
snakeyaml |
1.16 |
奧羅 |
奧羅 |
2.0.8 |
software.amazon.ion |
ion-java |
1.0.2中 |
stax |
stax-api |
1.0.1 |
xmlenc |
xmlenc |
0.52 |