Databricks Runtime 8.4(不支持)
以下發布說明提供了有關Databricks Runtime 8.4和Databricks Runtime 8.4 Photon的信息，由Apache Spark 3.1.2提供支持。Databricks於2021年7月發布了這些圖像。光子是在公共預覽．
新功能和改進
通過使用AWS Glue Data目錄中的憑據傳遞來提高集群安全性
當使用AWS Glue Data Catalog作為外部Hive metastore時，現在支持憑據傳遞。具有不同權限的調用者可以從同一集群寫入AWS膠水數據目錄。有關更多信息，請參見步驟6:使用Glue Catalog實例概要啟動集群．
三角洲湖的特點和改進
增量表更改數據饋送(GA)
Delta表更改數據提要現在通常是可用的。它表示表的不同版本之間的行級更改。啟用後，將記錄關於表上每個寫操作的行級更改的附加信息。看到在Databricks上使用Delta Lake更改數據提要．
更多的表受益於動態文件修剪
動態文件修剪功能已調整為在文件較少的表上觸發。看到動態文件修剪．
具有自動目標文件大小調優的更好性能
Delta表的目標文件大小現在根據表大小自動調優。以前，目標文件大小為優化而且優化ZORDER通過是1 gb。通過基於表大小的自動調優，2.56TB以內的Delta表將使用256MB作為目標大小。大於10TB的表將像以前一樣使用1GB。這些大小之間的表將使用隨表大小成比例增長的目標大小。看到調優文件大小．
中指定表的更多方法DeltaTable.forName
DeltaTable.forName現在支持使用delta. <路徑>的識別表。
健壯的流多表寫入使用foreachBatch
的恒等流寫入foreachBatch ()命令。詳細信息請參見冪等多表寫入．
由於調優了檢查點，提高了某些工作負載下的讀查詢性能
Delta Lake現在調整增強檢查點的頻率。Delta現在根據某些事件觸發器動態調整檢查點頻率，而不是固定間隔的檢查點。這提高了以前無法應用某些數據跳過優化的工作負載中的讀查詢性能。要使用這些優化，請將寫入Delta Lake的作業升級到Databricks Runtime 8.4。看到用於低延遲查詢的增強檢查點．
創建GroupState測試用戶定義的結構化流功能
到目前為止，隻有結構化流引擎可以創建GroupState．因此，用戶定義函數的任何單元測試都需要在Apache Spark中運行流查詢。
的實例GroupState使用TestGroupState.create(…)．這允許您在不需要運行Spark的簡單單元測試中測試用戶定義的函數。看到測試結構化流mapGroupsWithState的狀態更新功能．具體來說，它生成類型的實例TestGroupState它擴展了接口GroupState使用用於在應用用戶定義函數之後自省內部狀態的其他方法。
自動加載功能和改進
配置回填來捕獲遺漏的文件
Auto Loader現在支持異步執行回填，以捕獲任何文件，可能已經錯過了文件通知。文件存儲係統和通知係統不能100%保證所有文件事件的傳遞。因此，Databricks建議啟用定期回填來捕獲您的所有數據與自動加載器。使用cloudFiles.backfillInterval選項安排定期回填您的數據。看到常用的Auto Loader選項．
跨帳戶文件通知訪問
自動加載器現在通過使用假設角色支持跨AWS帳戶加載數據。在設置了由假定角色創建的臨時安全憑證之後，您可以讓Auto Loader跨帳戶加載雲文件。看到在不同的AWS帳戶中安全地攝取數據．
大容量流的綁定存儲占用
現在，您可以配置Auto Loader過期並刪除RocksDB中的條目，以將其存儲占用綁定到檢查點位置。Databricks不建議您使用它，除非您每小時要攝取數百萬個文件的數據。不正確地設置此選項或試圖對其進行調優可能會導致許多數據質量問題，例如忽略未處理的文件或重複某些文件，而不是精確地處理一次。詳細信息請參見事件保留．
具有無路徑支持的簡化配置
S3 bucket
現在可以提供從多個路徑或S3桶接收事件的SQS隊列。如果您提供SQS隊列URL，則路徑選項對此用例不需要。Auto Loader使用S3事件中的桶和鍵構造S3路徑。如果希望通過DBFS掛載點讀取文件，可以使用cloudFiles.pathRewrites將路徑前綴更改為DBFS。這不是必需的，除非您正在訪問不同帳戶中的數據AssumeRole．
看到文件通知選項．
Azure數據湖存儲Gen2容器
您現在可以提供Azure隊列來接收來自多個容器的事件。如果您提供Azure隊列名稱，則路徑選項不是必需的。默認情況下，Auto Loader使用文件事件中的容器和鍵構造Azure Data Lake Storage Gen2路徑。如果您想使用WASB路徑或DBFS掛載點，可以使用cloudFiles.pathRewrites更改路徑前綴。
看到文件通知選項．
連接器的升級
雪花火花連接器已更新到v2.9.0。
中現在支持KMS加密
卸載紅移連接器的語句。
錯誤修複
修正了在集群中啟用表訪問控製的問題
選擇＊從文件夾即使用戶沒有文件訪問權限，也可以顯示文件夾內容。非管理員數據庫所有者現在可以刪除數據庫中非所有者的表。這修複了數據庫所有者在數據庫中存在非所有者表時無法刪除數據庫的問題。
庫升級
升級的Python庫:
證書從2020.12.5升級到2021.5.30
蒸餾從0.3.1升級到0.3.2
考拉從1.8.0升級到1.8.1
Protobuf從3.17.0升級到3.17.3
升級的R庫:
從4.0.4到4.1.0
從1.3-27啟動到1.3-28
從7.3-18到7.3-19
集群從2.1.1到2.1.2
編譯器從4.0.4到4.1.0
數據集從4.0.4到4.1.0
從4.0.4到4.1.0的圖形
grDevices從4.0.4到4.1.0
網格從4.0.4到4.1.0
KernSmooth從2.23-18到2.23-20
晶格從0.20-41到0.20-44
質量從7.3-53.1到7.3-54
矩陣從1.3-2到1.3-3
從4.0.4到4.1.0的方法
MGCV從1.8-33增加到1.8-35
Nnet從7.3-15到7.3-16
平行於4.0.4到4.1.0
預定量從1.8-7到1.8-8
SparkR從3.1.1到3.1.2
從4.0.4到4.1.0的樣條
從4.0.4到4.1.0
統計數據從4.0.4到4.1.0
存活率從3.2-7到3.2-11
TCLTK從4.0.4到4.1.0
從4.0.4到4.1.0的工具
從4.0.4到4.1.0
升級的Java庫:
雪花-jdbc從3.12.8到3.13.3
Spark-snowflake_2.12從2.8.1-spark_3.0到2.9.0- spark3.1
RoaringBitmap從0.9.0到0.9.14
Shims從0.9.0到0.9.14
Rocksdbjni從6.2.2到6.20.3
Apache火花
Databricks Runtime 8.4包含Apache Spark 3.1.2。此版本包括所有Spark修複和改進Databricks Runtime 8.3(不支持)，以及以下對Spark的額外錯誤修複和改進:
(火花- 35792)[SQL]視圖不應該捕獲在
RelationConversions(火花- 35700)[SQL]讀取外部係統創建和寫入的char/varchar orc表
(火花- 35636)Lambda鍵不應該在Lambda函數之外被引用
(火花- 35800)通過引入TestGroupState來提高GroupState的可測試性
(火花- 35391)修複ExecutorAllocationListener中的內存泄漏
(火花- 35799)修正FlatMapGroupsWithStateExec中的allUpdatesTimeMs度量測量
(火花- 35763)刪除StateStoreCustomMetric子類枚舉依賴項
［火星- 35791[SQL]為支持null的ANTI連接正確釋放正在進行的映射
(火花- 35695)[SQL]從緩存和自適應執行子樹中收集觀察到的指標
(火花- 35767)[SQL]避免在CoalesceExec中執行兩次子計劃
(火花- 35746)修複了舞台頁麵任務時間軸中的taskid
(火花- 35673)[SQL]修複子查詢中用戶自定義提示和無法識別的提示。
(火花- 35714)[核心]修複了執行程序關閉時死鎖的Bug
(火花- 35689)[SS]當keyWithIndexToValue返回空值時增加日誌警告
(火花- 35589)[CORE][3.1] BlockManagerMasterEndpoint不應該在更新過程中忽略索引純洗牌文件
(火花- 35643)修複functions.py column()中不明確的引用
(火花- 35652)[SQL] joinWith在由同一個表生成的兩個表上
(火花- 35679)[SQL] instantToMicros overflow
(火花- 35602)[SS]更新狀態模式以能夠接受較長的JSON
(火花- 35653)[SQL]修複CatalystToExternalMap解釋路徑失敗的Map case類作為鍵或值
(火花- 35296)[SQL]允許數據集。即使任務中的CollectMetricsExec處理多個分區，也可以正常工作。
(火花- 35659)[SS]避免將null寫入StateStore
(火花- 35665)[SQL]解析CollectMetrics中的UnresolvedAlias
(火花- 35558)優化多分位數檢索
(火花- 35621)[SQL]在TypeCoercion規則中添加規則id修剪
(火花- 35077)[SQL]將剩餘的優化器規則遷移到transformWithPruning
(火花- 35610)修正由Executor的stop shutdown鉤子引起的內存泄漏
(火花- 35544)[SQL]添加樹模式修剪到Analyzer規則
(火花- 35566)修正StateStoreRestoreExec輸出行
(火花- 35454)[SQL][3.1]一個LogicalPlan可以匹配多個數據集id
(火花- 35538)[SQL] Migrate transformalleexpression調用站點使用transformAllExpressionsWithPruning
(火花- 35106)[Core][SQL]避免目標目錄不存在導致重命名失敗
(火花- 35287)[SQL]允許RemoveRedundantProjects保存為DataSourceV2ScanRelation生成UnsafeRow的ProjectExec
(火花- 35495)[R]更改CRAN的SparkR維護者
(火花- 27991)[CORE]延遲Netty OOM的取回請求
(火花- 35171)[R]將markdown包聲明為SparkR包的依賴項
(火花- 35454)[SQL]一個LogicalPlan可以匹配多個數據集id
(火花- 35298)[SQL]將Optimizer.scala中的規則遷移到transformWithPruning
(火花- 35480)[SQL]使percentile_approximate與pivot一起工作
(火花- 35093)[SQL] AQE現在使用newQueryStage計劃作為鍵來查找緩存的交換以供重用
(火花- 35146)[SQL] finishAnalysis.scala中的規則遷移到transformWithPruning或resolveWithPruning
(火花- 35411)[SQL]在將TreeNode序列化為json時添加基本信息
(火花- 35294)[SQL]在優化器下的專用文件規則中添加樹遍曆修剪
(火花- 34897)[SQL][3.1]支持嵌套列修剪後基於索引的模式協調
(火花- 35144)[SQL]對象規則遷移到transformWithPruning
(火花- 35155)[SQL]在Analyzer規則中添加規則id修剪
(火花- 35382)修複PYTHON api中嵌套DataFrame函數中的lambda變量名稱問題。
(火花- 35359)[SQL]當數據長度超過限製時，插入char/varchar數據類型的數據將失敗
(火花- 35381)修正R api中嵌套的高階函數中的lambda變量名問題
係統環境
操作係統: Ubuntu 18.04.5 LTS
Java: Zulu 8.54.0.21-CA-linux64
Scala: 2.12.10
Python: 3.8.8
R: 4.1.0 (2021-05-18)
三角洲湖1.0.0
已安裝的Python庫
圖書館 |
版本 |
圖書館 |
版本 |
圖書館 |
版本 |
|---|---|---|---|---|---|
appdirs |
1.4.4 |
asn1crypto |
1.4.0 |
backcall |
0.2.0 |
boto3 |
1.16.7 |
botocore |
1.19.7 |
brotlipy |
0.7.0 |
certifi |
2021.5.30 |
cffi |
1.14.3 |
chardet |
3.0.4 |
密碼學 |
3.1.1 |
周期計 |
0.10.0 |
Cython |
0.29.21 |
裝飾 |
10/24/11 |
distlib |
0.3.2 |
docutils |
0.15.2 |
entrypoints |
0.3 |
facets-overview |
1.0.0 |
filelock |
3.0.12 |
idna |
2.10 |
ipykernel |
5.3.4 |
ipython |
7.19.0 |
ipython-genutils |
0.2.0 |
絕地武士 |
0.17.2 |
jmespath |
0.10.0 |
joblib |
0.17.0 |
jupyter-client |
6.1.7 |
jupyter-core |
4.6.3 |
kiwisolver |
1.3.0 |
考拉 |
1.8.1 |
matplotlib |
3.2.2 |
numpy |
1.19.2 |
熊貓 |
1.1.5 |
parso |
0.7.0 |
容易受騙的人 |
0.5.1 |
pexpect |
4.8.0 |
pickleshare |
0.7.5 |
皮普 |
20.2.4 |
情節 |
4.14.3 |
prompt-toolkit |
3.0.8 |
protobuf |
3.17.3 |
psycopg2 |
2.8.5 |
ptyprocess |
0.6.0 |
pyarrow |
1.0.1 |
pycparser |
2.20 |
Pygments |
2.7.2 |
pyOpenSSL |
19.1.0 |
pyparsing |
2.4.7 |
PySocks |
1.7.1上 |
python-dateutil |
2.8.1發布 |
pytz |
2020.5 |
pyzmq |
19.0.2 |
請求 |
2.24.0 |
重試 |
1.3.3 |
s3transfer |
0.3.6 |
scikit-learn |
0.23.2 |
scipy |
1.5.2 |
seaborn |
0.10.0 |
setuptools |
50.3.1 |
六個 |
1.15.0 |
statsmodels |
0.12.0 |
threadpoolctl |
魅惑 |
龍卷風 |
6.0.4 |
traitlets |
5.0.5 |
urllib3 |
1.25.11 |
virtualenv |
20.2.1 |
wcwidth |
0.2.5 |
輪 |
0.35.1 |
已安裝的R庫
圖書館 |
版本 |
圖書館 |
版本 |
圖書館 |
版本 |
|---|---|---|---|---|---|
askpass |
1．1 |
為了 |
0.2.1 |
補丁 |
1.2.1 " |
基地 |
4.1.0 |
base64enc |
0.1 - 3 |
黑洞 |
1.72.0-3 |
位 |
4.0.4 |
bit64 |
你 |
團 |
1.2.1 " |
引導 |
-28 - 1.3 |
釀造 |
1.0 6 |
生動 |
1.1.0 |
掃帚 |
0.7.2 |
callr |
3.5.1 |
脫字符號 |
-86 - 6.0 |
cellranger |
1.1.0 |
時間 |
-56 - 2.3 |
類 |
-19 - 7.3 |
cli |
2.2.0 |
clipr |
是0.7.1 |
集群 |
2.1.2 |
codetools |
-18 - 0.2 |
色彩 |
2.0 0 |
commonmark |
１．７ |
編譯器 |
4.1.0 |
配置 |
0.3 |
covr |
3.5.1 |
cpp11 |
0.2.4 |
蠟筆 |
1.3.4 |
憑證 |
1.3.0 |
相聲 |
1.1.0.1 |
旋度 |
4.３ |
data.table |
1.13.4 |
數據集 |
4.1.0 |
DBI |
1.1.0 |
dbplyr |
2.0.0 |
desc |
1.2.0 |
devtools |
2.3.2 |
diffobj |
0.3.2 |
消化 |
0.6.27 |
dplyr |
1.0.2中 |
DT |
0.16 |
省略 |
0.3.1 |
評估 |
0.14 |
fansi |
0.4.1 |
farver |
2.0.3 |
fastmap |
1.0.1 |
forcats |
0.5.0 |
foreach |
1.5.1 |
外國 |
-81 - 0.8 |
打造 |
0.2.0 |
fs |
1.5.0 |
未來 |
1.21.0 |
泛型 |
0.1.0 |
哥特 |
1.0.2中 |
ggplot2 |
3.3.2 |
“大酒店” |
1.2.0 |
gitcreds |
0.1.1 |
glmnet |
4.0 - 2 |
全局變量 |
0.14.0 |
膠水 |
1.4.2 |
高爾 |
0.2.2 |
圖形 |
4.1.0 |
grDevices |
4.1.0 |
網格 |
4.1.0 |
gridExtra |
2．3 |
gsubfn |
0.7 |
gtable |
0.3.0 |
還 |
2.3.1 |
highr |
0.8 |
hms |
0.5.3 |
htmltools |
0.5.0 |
htmlwidgets |
1.5.3 |
httpuv |
1.5.4 |
httr |
1.4.2 |
hwriter |
1.3.2 |
hwriterPlus |
1.0 - 3 |
ini |
0.3.1 |
不小 |
0.9 9 |
isoband |
0.2.3 |
迭代器 |
1.0.13 |
jsonlite |
1.7.2 |
KernSmooth |
-20 - 2.23 |
knitr |
1.30 |
標簽 |
0.4.2 |
晚些時候 |
1.1.0.1 |
晶格 |
-44 - 0.20 |
熔岩 |
1.6.8.1 |
lazyeval |
0.2.2 |
生命周期 |
0.2.0 |
listenv |
0.8.0 |
lubridate |
1.7.9.2 |
magrittr |
2.0.1 |
減價 |
1．1 |
質量 |
-54 - 7.3 |
矩陣 |
1.3 - 3 |
memoise |
1.1.0 |
方法 |
4.1.0 |
mgcv |
-35 - 1.8 |
mime |
0.9 |
ModelMetrics |
1.2.2.2 |
modelr |
0.1.8 |
孟塞爾 |
0.5.0 |
nlme |
-152 - 3.1 |
nnet |
-16 - 7.3 |
numDeriv |
2016.8 - -1.1 |
openssl |
3 |
平行 |
4.1.0 |
平行 |
1.22.0 |
支柱 |
1.4.7 |
pkgbuild |
1.1.0 |
pkgconfig |
2.0.3 |
pkgload |
1.1.0 |
plogr |
0.2.0 |
plyr |
1.8.6 |
讚美 |
1.0.0 |
prettyunits |
1.1.1 |
pROC |
1.16.2 |
processx |
3.4.5 |
prodlim |
2019.11.13 |
進步 |
1.2.2 |
承諾 |
1.1.1 |
原型 |
1.0.0 |
ps |
1.5.0 |
purrr |
0.3.4 |
r2d3 |
0.2.3 |
R6 |
2.5.0 |
randomForest |
-14 - 4.6 |
rappdirs |
0.3.1 |
rcmdcheck |
1.3.3 |
RColorBrewer |
1.1 - 2 |
Rcpp |
1.0.5 |
readr |
1.4.0 |
readxl |
1.3.1 |
食譜 |
0.1.15 |
複賽 |
1.0.1 |
rematch2 |
2.1.2 |
遙控器 |
2.2.0 |
reprex |
0.3.0 |
reshape2 |
1.4.4 |
雷克斯 |
1.2.0 |
rlang |
0.4.9 |
rmarkdown |
2.6 |
RODBC |
-17 - 1.3 |
roxygen2 |
安裝7.1.1 |
rpart |
-15 - 4.1 |
rprojroot |
2.0.2 |
Rserve |
1.8 8 |
RSQLite |
2.2.1 |
rstudioapi |
0.13 |
rversions |
2.0.2 |
房車 |
0.3.6 |
尺度 |
1.1.1 |
selectr |
0.4 - 2 |
sessioninfo |
1.1.1 |
形狀 |
1.4.5 |
閃亮的 |
1.5.0 |
sourcetools |
0.1.7 |
sparklyr |
1.5.2 |
SparkR |
3.1.1 |
空間 |
-11 - 7.3 |
樣條函數 |
4.1.0 |
sqldf |
-11 - 0.4 |
SQUAREM |
2020.5 |
統計數據 |
4.1.0 |
stats4 |
4.1.0 |
stringi |
1.5.3 |
stringr |
1.4.0 |
生存 |
-11 - 3.2 |
sys |
3.4 |
tcltk |
4.1.0 |
TeachingDemos |
2.10 |
testthat |
3.0.0 |
寵物貓 |
3.0.4 |
tidyr |
1.1.2 |
tidyselect |
1.1.0 |
tidyverse |
1.3.0 |
timeDate |
3043.102 |
tinytex |
0.28 |
工具 |
4.1.0 |
usethis |
2.0.0 |
use utf8 |
1.1.4 |
跑龍套 |
4.1.0 |
uuid |
0.1 - 4 |
vctrs |
0.3.5 |
viridisLite |
0.3.0 |
沃爾多 |
0.2.3 |
晶須 |
0.4 |
withr |
tripwire |
xfun |
0.19 |
xml2 |
1.3.2 |
xopen |
1.0.0 |
xtable |
1.8 - 4 |
yaml |
2.2.1 |
郵政編碼 |
2.1.1 |
安裝Java和Scala庫(Scala 2.12集群版本)
組ID |
工件ID |
版本 |
|---|---|---|
antlr |
antlr |
2.7.7 |
com.amazonaws |
amazon-kinesis-client |
1.12.0 |
com.amazonaws |
aws-java-sdk-autoscaling |
1.11.655 |
com.amazonaws |
aws-java-sdk-cloudformation |
1.11.655 |
com.amazonaws |
aws-java-sdk-cloudfront |
1.11.655 |
com.amazonaws |
aws-java-sdk-cloudhsm |
1.11.655 |
com.amazonaws |
aws-java-sdk-cloudsearch |
1.11.655 |
com.amazonaws |
aws-java-sdk-cloudtrail |
1.11.655 |
com.amazonaws |
aws-java-sdk-cloudwatch |
1.11.655 |
com.amazonaws |
aws-java-sdk-cloudwatchmetrics |
1.11.655 |
com.amazonaws |
aws-java-sdk-codedeploy |
1.11.655 |
com.amazonaws |
aws-java-sdk-cognitoidentity |
1.11.655 |
com.amazonaws |
aws-java-sdk-cognitosync |
1.11.655 |
com.amazonaws |
aws-java-sdk-config |
1.11.655 |
com.amazonaws |
aws-java-sdk-core |
1.11.655 |
com.amazonaws |
aws-java-sdk-datapipeline |
1.11.655 |
com.amazonaws |
aws-java-sdk-directconnect |
1.11.655 |
com.amazonaws |
aws-java-sdk-directory |
1.11.655 |
com.amazonaws |
aws-java-sdk-dynamodb |
1.11.655 |
com.amazonaws |
aws-java-sdk-ec2 |
1.11.655 |
com.amazonaws |
aws-java-sdk-ecs |
1.11.655 |
com.amazonaws |
aws-java-sdk-efs |
1.11.655 |
com.amazonaws |
aws-java-sdk-elasticache |
1.11.655 |
com.amazonaws |
aws-java-sdk-elasticbeanstalk |
1.11.655 |
com.amazonaws |
aws-java-sdk-elasticloadbalancing |
1.11.655 |
com.amazonaws |
aws-java-sdk-elastictranscoder |
1.11.655 |
com.amazonaws |
aws-java-sdk-emr |
1.11.655 |
com.amazonaws |
aws-java-sdk-glacier |
1.11.655 |
com.amazonaws |
aws-java-sdk-glue |
1.11.655 |
com.amazonaws |
aws-java-sdk-iam |
1.11.655 |
com.amazonaws |
aws-java-sdk-importexport |
1.11.655 |
com.amazonaws |
aws-java-sdk-kinesis |
1.11.655 |
com.amazonaws |
aws-java-sdk-kms |
1.11.655 |
com.amazonaws |
aws-java-sdk-lambda |
1.11.655 |
com.amazonaws |
aws-java-sdk-logs |
1.11.655 |
com.amazonaws |
aws-java-sdk-machinelearning |
1.11.655 |
com.amazonaws |
aws-java-sdk-marketplacemeteringservice |
1.11.655 |
com.amazonaws |
aws-java-sdk-opsworks |
1.11.655 |
com.amazonaws |
aws-java-sdk-rds |
1.11.655 |
com.amazonaws |
aws-java-sdk-redshift |
1.11.655 |
com.amazonaws |
aws-java-sdk-route53 |
1.11.655 |
com.amazonaws |
aws-java-sdk-s3 |
1.11.655 |
com.amazonaws |
aws-java-sdk-ses |
1.11.655 |
com.amazonaws |
aws-java-sdk-simpledb |
1.11.655 |
com.amazonaws |
aws-java-sdk-simpleworkflow |
1.11.655 |
com.amazonaws |
aws-java-sdk-sns |
1.11.655 |
com.amazonaws |
aws-java-sdk-sqs |
1.11.655 |
com.amazonaws |
aws-java-sdk-ssm |
1.11.655 |
com.amazonaws |
aws-java-sdk-storagegateway |
1.11.655 |
com.amazonaws |
aws-java-sdk-sts |
1.11.655 |
com.amazonaws |
aws-java-sdk-support |
1.11.655 |
com.amazonaws |
aws-java-sdk-swf-libraries |
1.11.22 |
com.amazonaws |
aws-java-sdk-workspaces |
1.11.655 |
com.amazonaws |
jmespath-java |
1.11.655 |
com.chuusai |
shapeless_2.12 |
2.3.3 |
com.clearspring.analytics |
流 |
2.9.6 |
com.databricks |
Rserve |
1.8 - 3 |
com.databricks |
jets3t |
0.7.1-0 |
com.databricks.scalapb |
compilerplugin_2.12 |
0.4.15-10 |
com.databricks.scalapb |
scalapb-runtime_2.12 |
0.4.15-10 |
com.esotericsoftware |
kryo-shaded |
4.0.2 |
com.esotericsoftware |
minlog |
1.3.0 |
com.fasterxml |
同學 |
1.3.4 |
com.fasterxml.jackson.core |
jackson-annotations |
2.10.0 |
com.fasterxml.jackson.core |
jackson-core |
2.10.0 |
com.fasterxml.jackson.core |
jackson-databind |
2.10.0 |
com.fasterxml.jackson.dataformat |
jackson-dataformat-cbor |
2.10.0 |
com.fasterxml.jackson.datatype |
jackson-datatype-joda |
2.10.0 |
com.fasterxml.jackson.module |
jackson-module-paranamer |
2.10.0 |
com.fasterxml.jackson.module |
jackson-module-scala_2.12 |
2.10.0 |
com.github.ben-manes.caffeine |
咖啡因 |
2.3.4 |
com.github.fommil |
jniloader |
1．1 |
com.github.fommil.netlib |
核心 |
1.1.2 |
com.github.fommil.netlib |
native_ref-java |
1．1 |
com.github.fommil.netlib |
native_ref-java-natives |
1．1 |
com.github.fommil.netlib |
native_system-java |
1．1 |
com.github.fommil.netlib |
native_system-java-natives |
1．1 |
com.github.fommil.netlib |
netlib-native_ref-linux-x86_64-natives |
1．1 |
com.github.fommil.netlib |
netlib-native_system-linux-x86_64-natives |
1．1 |
com.github.joshelser |
dropwizard-metrics-hadoop-metrics2-reporter |
0.1.2 |
com.github.luben |
zstd-jni |
1.4.8-1 |
com.github.wendykierp |
JTransforms |
3．1 |
com.google.code.findbugs |
jsr305 |
3.0.0 |
com.google.code.gson |
gson |
2.2.4 |
com.google.flatbuffers |
flatbuffers-java |
1.9.0 |
com.google.guava |
番石榴 |
15.0 |
com.google.protobuf |
protobuf-java |
2.6.1 |
com.h2database |
h2 |
1.4.195 |
com.helger |
分析器 |
1.1.1 |
com.jcraft |
jsch |
0.1.50 |
com.jolbox |
bonecp |
0.8.0.RELEASE |
com.lihaoyi |
sourcecode_2.12 |
0.1.9 |
com.microsoft.azure |
azure-data-lake-store-sdk |
2.3.9 |
com.microsoft.sqlserver |
mssql-jdbc |
9.2.1.jre8 |
com.ning |
compress-lzf |
1.0.3 |
com.sun.mail |
javax.mail |
1.5.2 |
com.tdunning |
json |
1．8 |
com.thoughtworks.paranamer |
paranamer |
2.8 |
com.trueaccord.lenses |
lenses_2.12 |
0.4.12 |
com.twitter |
chill-java |
0.9.5 |
com.twitter |
chill_2.12 |
0.9.5 |
com.twitter |
util-app_2.12 |
7.1.0 |
com.twitter |
util-core_2.12 |
7.1.0 |
com.twitter |
util-function_2.12 |
7.1.0 |
com.twitter |
util-jvm_2.12 |
7.1.0 |
com.twitter |
util-lint_2.12 |
7.1.0 |
com.twitter |
util-registry_2.12 |
7.1.0 |
com.twitter |
util-stats_2.12 |
7.1.0 |
com.typesafe |
配置 |
1.2.1 " |
com.typesafe.scala-logging |
scala-logging_2.12 |
3.7.2章 |
com.univocity |
univocity-parsers |
2.9.1 |
com.zaxxer |
HikariCP |
3.1.0 |
commons-beanutils |
commons-beanutils |
1.9.4 |
commons-cli |
commons-cli |
1．2 |
commons-codec |
commons-codec |
1.10 |
commons-collections |
commons-collections |
3.2.2 |
commons configuration |
commons configuration |
1．6 |
commons-dbcp |
commons-dbcp |
1．4 |
commons-digester |
commons-digester |
1．8 |
commons-fileupload |
commons-fileupload |
1.3.3 |
commons-httpclient |
commons-httpclient |
3．1 |
commons-io |
commons-io |
2.4 |
commons lang |
commons lang |
2.6 |
通用日誌 |
通用日誌 |
1.1.3 |
commons net |
commons net |
3．1 |
commons-pool |
commons-pool |
1.5.4 |
蜂巢2.7 - 2.3 - __hadoop - |
jets3t - 0.7 |
liball_deps_2.12 |
蜂巢2.7 - 2.3 - __hadoop - |
動物園管理員- 3.4 |
liball_deps_2.12 |
info.ganglia.gmetric4j |
gmetric4j |
1.0.10 |
io.airlift |
aircompressor |
0．10 |
io.delta |
delta-sharing-spark_2.12 |
0.1.0 |
io.dropwizard.metrics |
metrics-core |
以下4.4.1 |
io.dropwizard.metrics |
metrics-graphite |
以下4.4.1 |
io.dropwizard.metrics |
metrics-healthchecks |
以下4.4.1 |
io.dropwizard.metrics |
metrics-jetty9 |
以下4.4.1 |
io.dropwizard.metrics |
metrics-jmx |
以下4.4.1 |
io.dropwizard.metrics |
metrics-json |
以下4.4.1 |
io.dropwizard.metrics |
metrics-jvm |
以下4.4.1 |
io.dropwizard.metrics |
metrics-servlets |
以下4.4.1 |
io.netty |
netty-all |
4.1.51.Final |
io.prometheus |
simpleclient |
0.7.0 |
io.prometheus |
simpleclient_common |
0.7.0 |
io.prometheus |
simpleclient_dropwizard |
0.7.0 |
io.prometheus |
simpleclient_pushgateway |
0.7.0 |
io.prometheus |
simpleclient_servlet |
0.7.0 |
io.prometheus.jmx |
收集器 |
0.12.0 |
jakarta.annotation |
jakarta.annotation-api |
1.3.5 |
jakarta.validation |
jakarta.validation-api |
2.0.2 |
jakarta.ws.rs |
jakarta.ws.rs-api |
2.1.6 |
javax.activation |
激活 |
1.1.1 |
javax.el |
javax.el-api |
2.2.4 |
javax.jdo |
jdo api |
3.0.1 |
javax.servlet |
javax.servlet-api |
3.1.0 |
javax.servlet.jsp |
jsp-api |
2.1 |
javax.transaction |
jta |
1．1 |
javax.transaction |
事務api |
1．1 |
javax.xml.bind |
jaxb-api |
2.2.2 |
javax.xml.stream |
stax-api |
1.0 - 2 |
javolution |
javolution |
5.5.1 |
jline |
jline |
2.14.6 |
joda-time |
joda-time |
2.10.5 |
log4j |
apache-log4j-extras |
1.2.17 |
log4j |
log4j |
1.2.17 |
maven-trees |
蜂巢2.7 - 2.3 - __hadoop - |
liball_deps_2.12 |
net.java.dev.jna |
jna |
5.8.0 |
net.razorvine |
地幔岩 |
4.30 |
net.sf.jpam |
jpam |
1．1 |
net.sf.opencsv |
opencsv |
2．3 |
net.sf.supercsv |
super-csv |
2.2.0 |
net.snowflake |
snowflake-ingest-sdk |
0.9.6 |
net.snowflake |
snowflake-jdbc |
3.13.3 |
net.snowflake |
spark-snowflake_2.12 |
2.9.0-spark_3.1 |
net.sourceforge.f2j |
arpack_combined_all |
0．1 |
org.acplt.remotetea |
remotetea-oncrpc |
1.1.2 |
org.antlr |
ST4 |
4.0.4 |
org.antlr |
antlr-runtime |
3.5.2 |
org.antlr |
antlr4-runtime |
4.8 - 1 |
org.antlr |
stringtemplate |
3.2.1之上 |
org.apache.ant |
螞蟻 |
1.9.2 |
org.apache.ant |
ant-jsch |
1.9.2 |
org.apache.ant |
ant-launcher |
1.9.2 |
org.apache.arrow |
arrow-format |
2.0.0 |
org.apache.arrow |
arrow-memory-core |
2.0.0 |
org.apache.arrow |
arrow-memory-netty |
2.0.0 |
org.apache.arrow |
arrow-vector |
2.0.0 |
org.apache.avro |
avro |
1.8.2 |
org.apache.avro |
avro-ipc |
1.8.2 |
org.apache.avro |
avro-mapred-hadoop2 |
1.8.2 |
org.apache.commons |
commons-compress |
1.20 |
org.apache.commons |
commons-crypto |
1.1.0 |
org.apache.commons |
commons-lang3 |
3.10 |
org.apache.commons |
commons-math3 |
3.4.1 |
org.apache.commons |
commons-text |
1．6 |
org.apache.curator |
curator-client |
2.7.1 |
org.apache.curator |
curator-framework |
2.7.1 |
org.apache.curator |
curator-recipes |
2.7.1 |
org.apache.derby |
德比 |
10.12.1.1 |
org.apache.directory.api |
api-asn1-api |
1.0.0-M20 |
org.apache.directory.api |
api-util |
1.0.0-M20 |
org.apache.directory.server |
apacheds-i18n |
2.0.0-M15 |
org.apache.directory.server |
apacheds-kerberos-codec |
2.0.0-M15 |
org.apache.hadoop |
hadoop-annotations |
第2.7.4 |
org.apache.hadoop |
hadoop-auth |
第2.7.4 |
org.apache.hadoop |
hadoop-client |
第2.7.4 |
org.apache.hadoop |
hadoop-common |
第2.7.4 |
org.apache.hadoop |
hadoop-hdfs |
第2.7.4 |
org.apache.hadoop |
hadoop-mapreduce-client-app |
第2.7.4 |
org.apache.hadoop |
hadoop-mapreduce-client-common |
第2.7.4 |
org.apache.hadoop |
hadoop-mapreduce-client-core |
第2.7.4 |
org.apache.hadoop |
hadoop-mapreduce-client-jobclient |
第2.7.4 |
org.apache.hadoop |
hadoop-mapreduce-client-shuffle |
第2.7.4 |
org.apache.hadoop |
hadoop-yarn-api |
第2.7.4 |
org.apache.hadoop |
hadoop-yarn-client |
第2.7.4 |
org.apache.hadoop |
hadoop-yarn-common |
第2.7.4 |
org.apache.hadoop |
hadoop-yarn-server-common |
第2.7.4 |
org.apache.hive |
hive-beeline |
2.3.7 |
org.apache.hive |
hive-cli |
2.3.7 |
org.apache.hive |
hive-jdbc |
2.3.7 |
org.apache.hive |
hive-llap-client |
2.3.7 |
org.apache.hive |
hive-llap-common |
2.3.7 |
org.apache.hive |
hive-serde |
2.3.7 |
org.apache.hive |
hive-shims |
2.3.7 |
org.apache.hive |
hive-storage-api |
2.7.2 |
org.apache.hive.shims |
蜂巢0.23 -墊片 |
2.3.7 |
org.apache.hive.shims |
hive-shims-common |
2.3.7 |
org.apache.hive.shims |
hive-shims-scheduler |
2.3.7 |
org.apache.htrace |
htrace-core |
3.1.0-incubating |
org.apache.httpcomponents |
httpclient |
4.5.6 |
org.apache.httpcomponents |
httpcore |
4.4.12 |
org.apache.ivy |
艾薇 |
測試盒框 |
org.apache.mesos |
mesos-shaded-protobuf |
1.4.0 |
org.apache.orc |
orc-core |
1.5.12 |
org.apache.orc |
orc-mapreduce |
1.5.12 |
org.apache.orc |
orc-shims |
1.5.12 |
org.apache.parquet |
parquet-column |
1.10.1-databricks9 |
org.apache.parquet |
parquet-common |
1.10.1-databricks9 |
org.apache.parquet |
parquet-encoding |
1.10.1-databricks9 |
org.apache.parquet |
parquet-format |
測試盒框 |
org.apache.parquet |
parquet-hadoop |
1.10.1-databricks9 |
org.apache.parquet |
parquet-jackson |
1.10.1-databricks9 |
org.apache.thrift |
libfb303 |
0.9.3 |
org.apache.thrift |
libthrift |
0.12.0 |
org.apache.xbean |
xbean-asm7-shaded |
4.15 |
org.apache.yetus |
audience-annotations |
0.5.0 |
org.apache.zookeeper |
動物園管理員 |
3.4.14 |
org.codehaus.jackson |
jackson-core-asl |
1.9.13 |
org.codehaus.jackson |
jackson-jaxrs |
1.9.13 |
org.codehaus.jackson |
jackson-mapper-asl |
1.9.13 |
org.codehaus.jackson |
jackson-xc |
1.9.13 |
org.codehaus.janino |
commons-compiler |
3.0.16 |
org.codehaus.janino |
janino |
3.0.16 |
org.datanucleus |
datanucleus-api-jdo |
4.2.4 |
org.datanucleus |
datanucleus-core |
4.1.17 |
org.datanucleus |
datanucleus-rdbms |
4.1.19 |
org.datanucleus |
javax.jdo |
3.2.0-m3 |
org.eclipse.jetty |
jetty-client |
9.4.36.v20210114 |
org.eclipse.jetty |
jetty-continuation |
9.4.36.v20210114 |
org.eclipse.jetty |
jetty-http |
9.4.36.v20210114 |
org.eclipse.jetty |
jetty-io |
9.4.36.v20210114 |
org.eclipse.jetty |
jetty-jndi |
9.4.36.v20210114 |
org.eclipse.jetty |
jetty-plus |
9.4.36.v20210114 |
org.eclipse.jetty |
jetty-proxy |
9.4.36.v20210114 |
org.eclipse.jetty |
jetty-security |
9.4.36.v20210114 |
org.eclipse.jetty |
jetty服務器 |
9.4.36.v20210114 |
org.eclipse.jetty |
jetty servlet |
9.4.36.v20210114 |
org.eclipse.jetty |
jetty-servlets |
9.4.36.v20210114 |
org.eclipse.jetty |
jetty-util |
9.4.36.v20210114 |
org.eclipse.jetty |
jetty-util-ajax |
9.4.36.v20210114 |
org.eclipse.jetty |
jetty-webapp |
9.4.36.v20210114 |
org.eclipse.jetty |
jetty-xml |
9.4.36.v20210114 |
org.fusesource.leveldbjni |
leveldbjni-all |
1．8 |
org.glassfish.hk2 |
hk2-api |
2.6.1 |
org.glassfish.hk2 |
hk2-locator |
2.6.1 |
org.glassfish.hk2 |
hk2-utils |
2.6.1 |
org.glassfish.hk2 |
osgi-resource-locator |
1.0.3 |
org.glassfish.hk2.external |
aopalliance-repackaged |
2.6.1 |
org.glassfish.hk2.external |
jakarta.inject |
2.6.1 |
org.glassfish.jersey.containers |
jersey-container-servlet |
2.30 |
org.glassfish.jersey.containers |
jersey-container-servlet-core |
2.30 |
org.glassfish.jersey.core |
jersey客戶端 |
2.30 |
org.glassfish.jersey.core |
jersey-common |
2.30 |
org.glassfish.jersey.core |
jersey-server |
2.30 |
org.glassfish.jersey.inject |
jersey-hk2 |
2.30 |
org.glassfish.jersey.media |
jersey-media-jaxb |
2.30 |
org.hibernate.validator |
hibernate驗證框架 |
6.1.0.Final |
org.javassist |
javassist |
3.25.0-GA |
org.jboss.logging |
jboss-logging |
3.3.2.Final |
org.jdbi |
jdbi |
2.63.1 |
org.joda |
joda-convert |
１．７ |
org.jodd |
jodd-core |
3.5.2 |
org.json4s |
json4s-ast_2.12 |
3.7.0-M5 |
org.json4s |
json4s-core_2.12 |
3.7.0-M5 |
org.json4s |
json4s-jackson_2.12 |
3.7.0-M5 |
org.json4s |
json4s-scalap_2.12 |
3.7.0-M5 |
org.lz4 |
lz4-java |
1.7.1上 |
org.mariadb.jdbc |
mariadb-java-client |
2.2.5 |
org.objenesis |
objenesis |
2.5.1 |
org.postgresql |
postgresql |
42.1.4 |
org.roaringbitmap |
RoaringBitmap |
0.9.14 |
org.roaringbitmap |
墊片 |
0.9.14 |
org.rocksdb |
rocksdbjni |
6.20.3 |
org.rosuda.REngine |
REngine |
魅惑 |
org.scala-lang |
scala-compiler_2.12 |
2.12.10 |
org.scala-lang |
scala-library_2.12 |
2.12.10 |
org.scala-lang |
scala-reflect_2.12 |
2.12.10 |
org.scala-lang.modules |
scala-collection-compat_2.12 |
2.1.1 |
org.scala-lang.modules |
scala-parser-combinators_2.12 |
1.1.2 |
org.scala-lang.modules |
scala-xml_2.12 |
1.2.0 |
org.scala-sbt |
測試界麵 |
1．0 |
org.scalacheck |
scalacheck_2.12 |
1.14.2 |
org.scalactic |
scalactic_2.12 |
3.0.8 |
org.scalanlp |
breeze-macros_2.12 |
1．0 |
org.scalanlp |
breeze_2.12 |
1．0 |
org.scalatest |
scalatest_2.12 |
3.0.8 |
org.slf4j |
jcl-over-slf4j |
1.7.30 |
org.slf4j |
jul-to-slf4j |
1.7.30 |
org.slf4j |
slf4j-api |
1.7.30 |
org.slf4j |
slf4j-log4j12 |
1.7.30 |
org.spark-project.spark |
未使用的 |
1.0.0 |
org.springframework |
spring核心 |
4.1.4.RELEASE |
org.springframework |
spring測試 |
4.1.4.RELEASE |
org.threeten |
threeten-extra |
1.5.0 |
org.tukaani |
xz |
1．5 |
org.typelevel |
algebra_2.12 |
2.0.0-M2 |
org.typelevel |
cats-kernel_2.12 |
2.0.0-M4 |
org.typelevel |
machinist_2.12 |
0.6.8 |
org.typelevel |
macro-compat_2.12 |
1.1.1 |
org.typelevel |
spire-macros_2.12 |
0.17.0-M1 |
org.typelevel |
spire-Beplay体育安卓版本platform_2.12 |
0.17.0-M1 |
org.typelevel |
spire-util_2.12 |
0.17.0-M1 |
org.typelevel |
spire_2.12 |
0.17.0-M1 |
org.wildfly.openssl |
wildfly-openssl |
1.0.7.Final |
org.xerial |
sqlite-jdbc |
3.8.11.2 |
org.xerial.snappy |
snappy-java |
1.1.8.2 |
org.yaml |
snakeyaml |
1.24 |
奧羅 |
奧羅 |
2.0.8 |
pl.edu.icm |
JLargeArrays |
1．5 |
software.amazon.ion |
ion-java |
1.0.2中 |
stax |
stax-api |
1.0.1 |
xmlenc |
xmlenc |
0.52 |