磚運行時的4.1(不支持)
磚在2018年5月發布了這張照片。
重要的
2019年1月17日,這個版本被棄用。關於磚運行時棄用策略的更多信息和時間表,看看磚運行時支持生命周期。
以下版本注釋提供信息數據磚4.1運行時,由Apache火花。
三角洲湖
磚運行時的4.1版本增加了三角洲湖的主要質量改進和功能。磚高度建議所有三角洲湖客戶升級到新的運行時。beplay体育app下载地址這個版本仍在私人預覽,但它代表候選人發布預期即將到來的一般可用性(GA)釋放。
突發的變化
磚4.1運行時包含更改事務協議啟用新特性,如驗證。表創建磚4.1運行時自動使用新版本和舊版本不能寫入的數據磚運行時。你必須升級現有表,以便利用這些改進。升級現有的表,首先升級工作,正在寫。然後運行:
com。磚。δ。δ。upgradeTableProtocol(“< path-to-table >”或“<表名>”)
看到磚三角洲湖管理功能的兼容性如何?為更多的信息。
寫現在根據表的當前模式進行驗證,而不是像以前一樣,自動添加列失蹤的目標表。啟用前的行為,設置
mergeSchema
選項真正的
。看到三角洲湖模式驗證。如果您正在運行磚三角洲的早期版本中,您必須使用升級所有工作之前磚4.1運行時。如果你看到這些錯誤,升級到磚4.1運行時:
java。朗。NumberFormatException:為輸入字符串:“00000000000000 .... crc”scala。MatchError
表可以不再有列隻有情況不同。
現在必須以Delta-specific表配置
三角洲。
新功能
模式管理——磚三角洲現在驗證附加和覆蓋寫入一個現有表,以確保模式匹配的模式。
磚三角洲繼續支持自動模式遷移。
磚三角洲現在支持以下DDL顯式地修改模式:
改變表添加列
添加新列一個表改變表改變列
改變列排序改變表(設置|設置)TBLPROPERTIES
有關詳細信息,請參見三角洲湖模式驗證。
增強的DDL和表支持
表DDL和全力支持
saveAsTable ()
。save ()
和saveAsTable ()
現在有相同的語義。所有的表名和DDL和DML命令支持
delta. < path-to-table >的
。顯示分區
顯示列
DESC表
表的詳細信息,你可以看到當前的讀者和作家通過運行版本的表
描述細節
。看到磚三角洲湖管理功能的兼容性如何?。表的細節——出處信息現在可以為每一個寫一個表。側邊欄的數據還顯示了詳細的表信息和曆史數據磚三角洲表。看到回顧三角洲湖表細節描述細節。
流表——流DataFrames可以使用創建
spark.readStream.format(“δ”).table(“<表名稱>”)
。擴展表——磚三角洲現在支持基本的數據治理。你可以刪除和修改一個表通過設置表屬性
delta.appendOnly = true
。合並成
源,增加了更全麵的支持源查詢的規範合並
。例如,您可以指定限製
,訂單通過
和內聯表
在源。完全支持表acl。
性能改進
減少數據收集開銷,改進了數據收集的效率和數據現在隻收集到一個可配置的列數,默認設置為32。磚三角洲的寫性能已經改進了2 x由於減少數據收集開銷。配置的列數,設置表屬性
delta.dataSkippingNumIndexedCols = <列數>
。支持限製壓低,統計數據是用來限製文件掃描的數量的查詢
限製
和謂詞分區列。這是適用於查詢筆記本由於隱式限製= 1000
實際上所有筆記本的命令。過濾流源疊加——現在流查詢使用分區當開始一個新的流跳過無關的數據。
改進的並行性
優化
- - - - - -優化
現在運行作為一個火花任務和將使用所有可用並行集群(100年以前僅限於一次壓縮文件)。數據在DML——跳過
更新
,刪除
,合並
現在使用統計定位文件時,需要重寫。在S3中隨機S3前綴,以避免熱點大型表的元數據,您現在可以設置表屬性
delta.randomizeFilePrefixes = true
。減少檢查點保留——檢查點現在保留了兩天(30)曆史仍保留為事務日誌存儲成本降低。
API行為
的行為
insertInto(<表名稱>)
在磚三角洲是一樣的其他數據源。如果沒有指定模式或
模式
是ErrorIfExists
,忽略
,或附加
,附加DataFrame磚三角洲表中的數據。如果
模式
是覆蓋
、刪除現有表中的所有數據並將數據從DataFrame插入磚三角洲的表。
如果緩存,目標表
合並
必須手動不緩存。
可用性改進
工作負載遷移驗證——常見的錯誤當工作負載遷移到磚三角洲現在拋出異常而不是失敗:
使用
格式(“鋪”)
讀或寫一個表。直接讀或寫一個分區(即,
/道路/ /δ= 1 /部分
)。吸塵的子目錄表。
插入覆蓋目錄
使用鋪在桌子上。
不分大小寫配置——選擇DataFrame閱讀器/寫入器和表屬性現在不分大小寫(包括讀,寫路徑)。
列名稱,表列名可以包括點。
的用法
結構化流不處理不是一個附加的輸入,將拋出一個異常如果發生任何修改在桌子上被用作源。以前你可以使用覆蓋這一行為ignoreFileDeletion
國旗,但它現在已經棄用。而不是使用ignoreDeletes
或ignoreChanges
。看到δ表來源。
其他的變化和改進
查詢監督啟用所有通用集群使用UI創建的。
改善駕駛員一側DBIO緩存的性能
改進的性能為拚花通過一個新的本地鋪解碼器解碼
公共子表達式消除改善性能
改進的數據跳過大表加入小表的性能(事實-維度表連接)
顯示()
現在呈現列包含圖像數據類型HTML一樣富有。新的利用s3select數據源S3選擇
-
升級dbml-local 0.4.1最新版本
固定的錯誤與模型導出
閾值
參數指定增加了對出口的支持
OneVsRestModel
,GBTClassificationModel
升級安裝Python庫:
皮普:從9.0.1 10.0.0b2
setuptools:從38.5.1 39.0.1
龍卷風:4.5.3 5.0.1
輪:0.30.0 0.31.0
升級安裝幾個R庫。看到安裝R庫。
升級AWS Java SDK 1.11.253 1.11.313。
升級Azure數據存儲從2.0.11 SDK 2.2.8湖。
升級CUDA從8.0和9.0 CUDNN GPU集群從7.0升至6.0。
GPU集群,現在出現在集群GPU指標度量Ganglia UI。
Apache火花
磚4.1運行時包含Apache tripwire火花。這個版本包括所有包括在修複和改進磚運行時的4.0(不支持)以及以下額外的bug修複和改進了火花:
(火花- 24007)[SQL] EqualNullSafe FloatType和倍增式codegen可能產生錯誤的結果。
(火花- 23942)(PYTHON) [SQL]使收集PySpark作為查詢執行器動作偵聽器
(火花- 23815)(核心)火花作家動態分區覆蓋模式可能無法寫輸出多層次分區上
(火花- 23748)[SS]解決學生持續的過程不支持SubqueryAlias問題
(火花- 23963)[SQL]妥善處理大量的列在基於文本的蜂巢表查詢
(火花- 23867)調度器使用droppedCount logWarning
(火花- 23816)(核心)應該忽略FetchFailures殺任務。
(火花- 23809)[SQL]活躍SparkSession getOrCreate應該設置
(火花- 23966)[SS]重構公共CheckpointFileManager接口中的所有檢查點文件寫作邏輯
(火花- 21351)[SQL]更新nullability基於孩子的輸出
(火花- 23847)(PYTHON] [SQL]添加asc_nulls_first asc_nulls_last PySpark
(火花- 23822)[SQL]改善鋪模式不匹配的錯誤消息
(火花- 23823)[SQL]保持transformExpression起源
(火花- 23838)(WEBUI)運行SQL查詢SQL選項卡顯示為“完成”
(火花- 23802)[SQL] PropagateEmptyRelation可以離開查詢計劃懸而未決的狀態
(火花- 23727)[SQL]支持下推過濾器DateType拚花
(火花- 23574)[SQL]報告SinglePartition DataSourceV2ScanExec讀者正是1數據時工廠。
(火花- 23533)[SS]為改變ContinuousDataReader startOffset添加支持
(火花- 23491)[SS]把明確的工作取消從ContinuousExecution重新配置
(火花- 23040)(核心)返回洗牌讀者可中斷的迭代器
(火花- 23827)[SS] StreamingJoinExec應該確保輸入數據劃分為特定數量的分區
(火花- 23639)[SQL]獲得令牌在init metastore端SparkSQL CLI
(火花- 23806)廣播。unpersist使用時可能導致致命的異常…
(火花- 23599)[SQL]使用Uuid RandomUUIDGenerator表達式
(火花- 23599)[SQL]添加一個UUID從偽隨機數發生器
(火花- 23759)(UI)無法將火花UI綁定到特定的主機名/ IP
(火花- 23769)(核心)刪除不必要的評論禁用Scalastyle檢查
(火花- 23614)[SQL]修複錯誤的重用交換使用緩存
(火花- 23760)[SQL] CodegenContext。withSubExprEliminationExprs應該保存/恢複CSE狀態正確
(火花- 23729)(核心)尊重URI片段時解決的粘稠
(火花- 23550)(核心)清理跑龍套
(火花- 23288)[SS]修正輸出指標,鑲花的下沉
(火花- 23264)[SQL]修複scala。MatchErrorin literals.sql.out
(火花- 23649)[SQL]跳過在utf - 8字符不允許
(火花- 23691)PYTHON使用sql_conf util PySpark測試
(火花- 23644)(核心)(UI)使用絕對路徑合成的REST調用
(火花- 23706)PYTHON spark.conf。得到(值,默認= None)應該在PySpark生產沒有
(火花- 23623)[SS]避免並發緩存CachedKafkaConsumer消費者的使用
(火花- 23670)[SQL] SparkPlanGraphWrapper解決內存泄漏
(火花- 23608)(核心)(WEBUI)添加同步合成attachSparkUI與detachSparkUI Jetty處理程序函數來避免並發修改問題
(火花- 23671)(核心)修複條件,使合成的線程池。
(火花- 23658)(發射器)InProcessAppHandle getlog使用錯誤的類
(火花- 23642)[醫生]AccumulatorV2子類isZero scaladoc修複
(火花- 22915)MLLIB spark.ml流測試。特性,從N Z
(火花- 23598)[SQL]在BufferedRowIterator公共方法,避免大的查詢的運行時錯誤
(火花- 23546)[SQL] /價值觀CodegenContext重構無狀態的方法
(火花- 23523)[SQL]修正規則OptimizeMetadataOnlyQuery造成的不正確的結果
(火花- 23462)[SQL]改善StructType的失蹤現場錯誤消息
(火花- 23624)[SQL]修改文檔的方法pushFilters數據源V2
(火花- 23173)[SQL]避免創建腐敗拚花從JSON文件加載數據時
(火花- 23436)[SQL]推斷分區,僅當它可以在同一日期
(火花- 23406)[SS]使stream-stream可利用
(火花- 23490)[SQL]檢查存儲。在不知道locationUri與現有表
(火花- 23524)當地大洗牌塊不應檢查腐敗。
(火花- 23525)[SQL]支持ALTER TABLE修改表列評論外部蜂巢
(火花- 23434)[SQL]火花不應該警告元數據目錄HDFS文件路徑
(火花- 23457)[SQL]注冊任務完成在ParquetFileFormat聽眾第一名
(火花- 23329)[SQL]解決三角函數的文檔
(火花- 23569)PYTHON允許pandas_udf python3風格type-annotated功能
(火花- 23570)[SQL]添加火花tripwire HiveExternalCatalogVersionsSuite
(火花- 23517)(PYTHON)使pyspark.util。exception_message_生產跟蹤從Java Py4JJavaError
(火花- 23508)(核心)修複BlockmanagerId以防blockManagerIdCache引起伯父
(火花- 23448)[SQL]澄清JSON和CSV文檔解析器行為
(火花- 23365)(核心)時不調整num執行人造成閑置的執行人。
(火花- 23438)[DSTREAMS]修複DSTREAMS數據丟失與WAL當司機崩潰
(火花- 23475)(UI)顯示也跳過階段
(火花- 23518)[SQL]避免metastore訪問當用戶隻想讀寫數據幀
(火花- 23406)[SS]使stream-stream可利用
(火花- 23541)[SS]允許卡夫卡源讀取數據並行性大於article-partitions的數量
(火花- 23097)[SQL] [SS]文本插座源遷移到V2
(火花- 23362)[SS]卡夫卡Microbatch源遷移到v2
(火花- 23445)ColumnStat重構
(火花- 23092)[SQL] MemoryStream遷移到DataSourceV2 api
(火花- 23447)[SQL]清理codegen文字的模板
(火花- 23366)提高熱ReadAheadInputStream閱讀路徑
(火花- 22624)PYSPARK暴露範圍分區洗牌
維護更新
看到磚4.1運行時的維護更新。
係統環境
操作係統:Ubuntu 16.04.4 LTS
Java:1.8.0_162
Scala:2.11.8
Python:2.7.12 Python 2集群和3.5.2 Python 3集群。
R:R版本3.4.4 (2018-03-15)
GPU集群:以下安裝NVIDIA GPU庫:
375.66特斯拉的司機
CUDA 9.0
cuDNN 7.0
安裝Python庫
圖書館 |
版本 |
圖書館 |
版本 |
圖書館 |
版本 |
---|---|---|---|---|---|
ansi2html |
1.1.1 |
argparse |
1.2.1 " |
backports-abc |
0.5 |
寶途 |
2.42.0 |
boto3 |
1.4.1 |
botocore |
1.4.70 |
brewer2mpl |
1.4.1 |
certifi |
2016.2.28 |
cffi |
1.7.0 |
chardet |
tripwire |
彩色光 |
0.3.7 |
configobj |
5.0.6 |
密碼學 |
1.5 |
周期計 |
0.10.0 |
Cython |
0.24.1 |
裝飾 |
4.0.10 |
docutils |
0.14 |
enum34 |
1.1.6 |
et-xmlfile |
1.0.1 |
freetype-py |
1.0.2中 |
funcsigs |
1.0.2中 |
fusepy |
2.0.4 |
期貨 |
3.2.0 |
ggplot |
0.6.8 |
html5lib |
0.999 |
idna |
2.1 |
ipaddress |
1.0.16 |
ipython |
2.2.0 |
ipython-genutils |
0.1.0 |
jdcal |
1.2 |
Jinja2 |
2.8 |
jmespath |
0.9.0 |
llvmlite |
0.13.0 |
lxml |
3.6.4 |
MarkupSafe |
0.23 |
matplotlib |
1.5.3 |
mpld3 |
0.2 |
msgpack-python |
0.4.7 |
ndg-httpsclient |
0.3.3 |
numba |
0.28.1 |
numpy |
1.11.1 |
openpyxl |
2.3.2 |
熊貓 |
0.19.2 |
pathlib2 |
魅惑 |
容易受騙的人 |
0.4.1 |
pexpect |
4.0.1 |
pickleshare |
0.7.4 |
枕頭 |
3.3.1 |
皮普 |
10.0.0b2 |
厚度 |
3.9 |
prompt-toolkit |
1.0.7 |
psycopg2 |
2.6.2 |
ptyprocess |
0.5.1 |
py4j |
0.10.3 |
pyarrow |
0.8.0 |
pyasn1 |
0.1.9 |
pycparser |
2.14 |
Pygments |
2.1.3 |
PyGObject |
3.20.0 |
pyOpenSSL |
16.0.0 |
pyparsing |
2.2.0 |
pypng |
0.0.18 |
Python |
2.7.12 |
python-dateutil |
2.5.3 |
python-geohash |
0.8.5 |
pytz |
2016.6.1 |
請求 |
2.11.1 |
s3transfer |
0.1.9 |
scikit-learn |
0.18.1 |
scipy |
0.18.1 |
衝刷 |
0.32 |
seaborn |
是0.7.1 |
setuptools |
39.0.1 |
simplejson |
3.8.2 |
simples3 |
1.0 |
singledispatch |
3.4.0.3 |
六個 |
1.10.0 |
statsmodels |
0.6.1 |
龍卷風 |
5.0.1 |
traitlets |
4.3.0 |
urllib3 |
1.19.1 |
virtualenv |
15.0.1 |
wcwidth |
0.1.7 |
輪 |
0.31.0 |
wsgiref |
0.1.2 |
安裝R庫
圖書館 |
版本 |
圖書館 |
版本 |
圖書館 |
版本 |
---|---|---|---|---|---|
abind |
1.4 - 5 |
為了 |
0.2.0 |
補丁 |
1.1.2 |
基地 |
3.4.4 |
黑洞 |
1.66.0-1 |
bindr |
0.1.1 |
bindrcpp |
0.2.2 |
位 |
-12 - 1.1 |
bit64 |
0.9 7 |
bitops |
1.0 6 |
團 |
1.1.1 |
引導 |
-20 - 1.3 |
釀造 |
1.0 6 |
掃帚 |
0.4.4 |
車 |
3.0 0 |
carData |
3.0 - 1 |
脫字符號 |
-79 - 6.0 |
cellranger |
1.1.0 |
時間 |
-52 - 2.3 |
類 |
-14 - 7.3 |
cli |
1.0.0 |
集群 |
2.0.7 |
codetools |
-15 - 0.2 |
色彩 |
1.3 - 2 |
commonmark |
1.4 |
編譯器 |
3.4.4 |
蠟筆 |
1.3.4 |
旋度 |
3.2 |
CVST |
0.2 - 1 |
data.table |
1.10.4-3 |
數據集 |
3.4.4 |
DBI |
0.8 |
ddalpha |
1.3.1.1 |
DEoptimR |
1.0 8 |
desc |
1.1.1 |
devtools |
1.13.5 |
二色視者 |
2.0 0 |
消化 |
0.6.15 |
dimRed |
0.1.0 |
doMC |
1.3.5 |
dplyr |
0.7.4 |
DRR |
0.0.3 |
forcats |
0.3.0 |
foreach |
1.4.4 |
外國 |
-69 - 0.8 |
“綠帶運動” |
2.1.3 |
ggplot2 |
2.2.1 |
git2r |
0.21.0 |
glmnet |
-16 - 2.0 |
膠水 |
1.2.0 |
高爾 |
0.1.2 |
圖形 |
3.4.4 |
grDevices |
3.4.4 |
網格 |
3.4.4 |
gsubfn |
0.7 |
gtable |
0.2.0 |
水 |
3.16.0.2 |
還 |
1.1.1 |
hms |
0.4.2 |
httr |
1.3.1 |
hwriter |
1.3.2 |
hwriterPlus |
1.0 - 3 |
不小 |
0.9 6 |
迭代器 |
1.0.9 |
jsonlite |
1.5 |
kernlab |
-25 - 0.9 |
KernSmooth |
-15 - 2.23 |
標簽 |
0.3 |
晶格 |
-35 - 0.20 |
熔岩 |
1.6.1 |
lazyeval |
0.2.1 |
的小 |
0.3.3 |
lme4 |
-17 - 1.1 |
lubridate |
1.7.3 |
magrittr |
1.5 |
mapproj |
1.2.6 |
地圖 |
3.3.0 |
maptools |
0.9 - 2 |
質量 |
-49 - 7.3 |
矩陣 |
-13 - 1.2 |
MatrixModels |
0.4 - 1 |
memoise |
1.1.0 |
方法 |
3.4.4 |
mgcv |
-23 - 1.8 |
mime |
0.5 |
minqa |
1.2.4 |
mnormt |
1.5 - 5 |
ModelMetrics |
1.1.0 |
孟塞爾 |
0.4.3 |
mvtnorm |
1.0 7 |
nlme |
-137 - 3.1 |
nloptr |
1.0.4 |
nnet |
-12 - 7.3 |
numDeriv |
2016.8 - 1 |
openssl |
1.0.1 |
openxlsx |
4.0.17 |
平行 |
3.4.4 |
pbkrtest |
0.4 7 |
支柱 |
1.2.1 " |
pkgconfig |
2.0.1 |
pkgKitten |
0.1.4 |
plogr |
0.2.0 |
plyr |
1.8.4 |
讚美 |
1.0.0 |
prettyunits |
1.0.2中 |
pROC |
1.11.0 |
prodlim |
1.6.1 |
原型 |
1.0.0 |
心理 |
1.8.3.3 |
purrr |
0.2.4 |
quantreg |
5.35 |
R.methodsS3 |
1.7.1上 |
R.oo |
1.21.0 |
R.utils |
2.6.0 |
R6 |
2.2.2 |
randomForest |
-14 - 4.6 |
RColorBrewer |
1.1 - 2 |
Rcpp |
0.12.16 |
RcppEigen |
0.3.3.4.0 |
RcppRoll |
0.2.2 |
RCurl |
1.95 - -4.10 |
readr |
1.1.1 |
readxl |
1.0.0 |
食譜 |
0.1.2 |
複賽 |
1.0.1 |
reshape2 |
3 |
力拓 |
0.5.10 |
rlang |
0.2.0 |
robustbase |
0.92 8 |
RODBC |
-15 - 1.3 |
roxygen2 |
6.0.1中 |
rpart |
-13 - 4.1 |
rprojroot |
1.3 - 2 |
Rserve |
1.7 - 3 |
RSQLite |
魅惑 |
rstudioapi |
0.7 |
尺度 |
0.5.0 |
sfsmisc |
1.1 - 2 |
sp |
1.2 7 |
SparkR |
tripwire |
SparseM |
1.77 |
空間 |
-11 - 7.3 |
樣條函數 |
3.4.4 |
sqldf |
-11 - 0.4 |
SQUAREM |
2017.10 - 1 |
statmod |
1.4.30 |
統計數據 |
3.4.4 |
stats4 |
3.4.4 |
stringi |
1.1.7 |
stringr |
1.3.0 |
生存 |
2.41 - 3 |
tcltk |
3.4.4 |
TeachingDemos |
2.10 |
testthat |
2.0.0 |
寵物貓 |
1.4.2 |
tidyr |
0.8.0 |
tidyselect |
0.2.4 |
timeDate |
3043.102 |
工具 |
3.4.4 |
use utf8 |
1.1.3 |
跑龍套 |
3.4.4 |
viridisLite |
0.3.0 |
晶須 |
0.3 - 2 |
withr |
2.1.2 |
xml2 |
1.2.0 |
安裝了Java和Scala庫(Scala 2.11集群版)
組ID |
工件ID |
版本 |
---|---|---|
antlr |
antlr |
2.7.7 |
com.amazonaws |
amazon-kinesis-client |
1.7.3 |
com.amazonaws |
aws-java-sdk-autoscaling |
1.11.313 |
com.amazonaws |
aws-java-sdk-cloudformation |
1.11.313 |
com.amazonaws |
aws-java-sdk-cloudfront |
1.11.313 |
com.amazonaws |
aws-java-sdk-cloudhsm |
1.11.313 |
com.amazonaws |
aws-java-sdk-cloudsearch |
1.11.313 |
com.amazonaws |
aws-java-sdk-cloudtrail |
1.11.313 |
com.amazonaws |
aws-java-sdk-cloudwatch |
1.11.313 |
com.amazonaws |
aws-java-sdk-cloudwatchmetrics |
1.11.313 |
com.amazonaws |
aws-java-sdk-codedeploy |
1.11.313 |
com.amazonaws |
aws-java-sdk-cognitoidentity |
1.11.313 |
com.amazonaws |
aws-java-sdk-cognitosync |
1.11.313 |
com.amazonaws |
aws-java-sdk-config |
1.11.313 |
com.amazonaws |
aws-java-sdk-core |
1.11.313 |
com.amazonaws |
aws-java-sdk-datapipeline |
1.11.313 |
com.amazonaws |
aws-java-sdk-directconnect |
1.11.313 |
com.amazonaws |
aws-java-sdk-directory |
1.11.313 |
com.amazonaws |
aws-java-sdk-dynamodb |
1.11.313 |
com.amazonaws |
aws-java-sdk-ec2 |
1.11.313 |
com.amazonaws |
aws-java-sdk-ecs |
1.11.313 |
com.amazonaws |
aws-java-sdk-efs |
1.11.313 |
com.amazonaws |
aws-java-sdk-elasticache |
1.11.313 |
com.amazonaws |
aws-java-sdk-elasticbeanstalk |
1.11.313 |
com.amazonaws |
aws-java-sdk-elasticloadbalancing |
1.11.313 |
com.amazonaws |
aws-java-sdk-elastictranscoder |
1.11.313 |
com.amazonaws |
aws-java-sdk-emr |
1.11.313 |
com.amazonaws |
aws-java-sdk-glacier |
1.11.313 |
com.amazonaws |
aws-java-sdk-iam |
1.11.313 |
com.amazonaws |
aws-java-sdk-importexport |
1.11.313 |
com.amazonaws |
aws-java-sdk-kinesis |
1.11.313 |
com.amazonaws |
aws-java-sdk-kms |
1.11.313 |
com.amazonaws |
aws-java-sdk-lambda |
1.11.313 |
com.amazonaws |
aws-java-sdk-logs |
1.11.313 |
com.amazonaws |
aws-java-sdk-machinelearning |
1.11.313 |
com.amazonaws |
aws-java-sdk-opsworks |
1.11.313 |
com.amazonaws |
aws-java-sdk-rds |
1.11.313 |
com.amazonaws |
aws-java-sdk-redshift |
1.11.313 |
com.amazonaws |
aws-java-sdk-route53 |
1.11.313 |
com.amazonaws |
aws-java-sdk-s3 |
1.11.313 |
com.amazonaws |
aws-java-sdk-ses |
1.11.313 |
com.amazonaws |
aws-java-sdk-simpledb |
1.11.313 |
com.amazonaws |
aws-java-sdk-simpleworkflow |
1.11.313 |
com.amazonaws |
aws-java-sdk-sns |
1.11.313 |
com.amazonaws |
aws-java-sdk-sqs |
1.11.313 |
com.amazonaws |
aws-java-sdk-ssm |
1.11.313 |
com.amazonaws |
aws-java-sdk-storagegateway |
1.11.313 |
com.amazonaws |
aws-java-sdk-sts |
1.11.313 |
com.amazonaws |
aws-java-sdk-support |
1.11.313 |
com.amazonaws |
aws-java-sdk-swf-libraries |
1.11.22 |
com.amazonaws |
aws-java-sdk-workspaces |
1.11.313 |
com.amazonaws |
jmespath-java |
1.11.313 |
com.carrotsearch |
hppc |
0.7.2 |
com.chuusai |
shapeless_2.11 |
2.3.2 |
com.clearspring.analytics |
流 |
2.7.0 |
com.databricks |
Rserve |
1.8 - 3 |
com.databricks |
dbml-local_2.11 |
0.4.1-db1-spark2.3 |
com.databricks |
dbml-local_2.11-tests |
0.4.1-db1-spark2.3 |
com.databricks |
jets3t |
0.7.1-0 |
com.databricks.scalapb |
compilerplugin_2.11 |
0.4.15-9 |
com.databricks.scalapb |
scalapb-runtime_2.11 |
0.4.15-9 |
com.esotericsoftware |
kryo-shaded |
3.0.3 |
com.esotericsoftware |
minlog |
1.3.0 |
com.fasterxml |
同學 |
1.0.0 |
com.fasterxml.jackson.core |
jackson-annotations |
2.6.7 |
com.fasterxml.jackson.core |
jackson-core |
2.6.7 |
com.fasterxml.jackson.core |
jackson-databind |
2.6.7.1 |
com.fasterxml.jackson.dataformat |
jackson-dataformat-cbor |
2.6.7 |
com.fasterxml.jackson.datatype |
jackson-datatype-joda |
2.6.7 |
com.fasterxml.jackson.module |
jackson-module-paranamer |
2.6.7 |
com.fasterxml.jackson.module |
jackson-module-scala_2.11 |
2.6.7.1 |
com.github.fommil |
jniloader |
1.1 |
com.github.fommil.netlib |
核心 |
1.1.2 |
com.github.fommil.netlib |
native_ref-java |
1.1 |
com.github.fommil.netlib |
native_ref-java-natives |
1.1 |
com.github.fommil.netlib |
native_system-java |
1.1 |
com.github.fommil.netlib |
native_system-java-natives |
1.1 |
com.github.fommil.netlib |
netlib-native_ref-linux-x86_64-natives |
1.1 |
com.github.fommil.netlib |
netlib-native_system-linux-x86_64-natives |
1.1 |
com.github.luben |
zstd-jni |
1.3.2-2 |
com.github.rwl |
jtransforms |
測試盒框 |
com.google.code.findbugs |
jsr305 |
2.0.1 |
com.google.code.gson |
gson |
2.2.4 |
com.google.guava |
番石榴 |
15.0 |
com.google.protobuf |
protobuf-java |
2.6.1 |
com.googlecode.javaewah |
JavaEWAH |
0.3.2 |
com.h2database |
h2 |
1.3.174 |
com.jamesmurty.utils |
java-xmlbuilder |
1.1 |
com.jcraft |
jsch |
0.1.50 |
com.jolbox |
bonecp |
0.8.0.RELEASE |
com.mchange |
c3p0 |
0.9.5.1 |
com.mchange |
mchange-commons-java |
0.2.10 |
com.microsoft.azure |
azure-data-lake-store-sdk |
2.2.8 |
com.microsoft.sqlserver |
mssql-jdbc |
6.2.2.jre8 |
com.ning |
compress-lzf |
1.0.3 |
com.sun.mail |
javax.mail |
1.5.2 |
com.thoughtworks.paranamer |
paranamer |
2.8 |
com.trueaccord.lenses |
lenses_2.11 |
0.3 |
com.twitter |
chill-java |
0.8.4 |
com.twitter |
chill_2.11 |
0.8.4 |
com.twitter |
parquet-hadoop-bundle |
1.6.0 |
com.twitter |
util-app_2.11 |
6.23.0 |
com.twitter |
util-core_2.11 |
6.23.0 |
com.twitter |
util-jvm_2.11 |
6.23.0 |
com.typesafe |
配置 |
1.2.1 " |
com.typesafe.scala-logging |
scala-logging-api_2.11 |
2.1.2 |
com.typesafe.scala-logging |
scala-logging-slf4j_2.11 |
2.1.2 |
com.univocity |
univocity-parsers |
2.5.9 |
com.vlkan |
flatbuffers |
1.2.0-3f79e055 |
com.zaxxer |
HikariCP |
2.4.1 |
commons-beanutils |
commons-beanutils |
1.7.0 |
commons-beanutils |
commons-beanutils-core |
1.8.0 |
commons-cli |
commons-cli |
1.2 |
commons-codec |
commons-codec |
1.10 |
commons-collections |
commons-collections |
3.2.2 |
commons configuration |
commons configuration |
1.6 |
commons-dbcp |
commons-dbcp |
1.4 |
commons-digester |
commons-digester |
1.8 |
commons-httpclient |
commons-httpclient |
3.1 |
commons-io |
commons-io |
2.4 |
commons lang |
commons lang |
2.6 |
通用日誌 |
通用日誌 |
1.1.3 |
commons net |
commons net |
2.2 |
commons-pool |
commons-pool |
1.5.4 |
info.ganglia.gmetric4j |
gmetric4j |
1.0.7 |
io.airlift |
aircompressor |
0.8 |
io.dropwizard.metrics |
metrics-core |
3.1.5 |
io.dropwizard.metrics |
metrics-ganglia |
3.1.5 |
io.dropwizard.metrics |
metrics-graphite |
3.1.5 |
io.dropwizard.metrics |
metrics-healthchecks |
3.1.5 |
io.dropwizard.metrics |
metrics-jetty9 |
3.1.5 |
io.dropwizard.metrics |
metrics-json |
3.1.5 |
io.dropwizard.metrics |
metrics-jvm |
3.1.5 |
io.dropwizard.metrics |
metrics-log4j |
3.1.5 |
io.dropwizard.metrics |
metrics-servlets |
3.1.5 |
io.netty |
網狀的 |
3.9.9.Final |
io.netty |
netty-all |
4.1.17.Final |
io.prometheus |
simpleclient |
0.0.16 |
io.prometheus |
simpleclient_common |
0.0.16 |
io.prometheus |
simpleclient_dropwizard |
0.0.16 |
io.prometheus |
simpleclient_servlet |
0.0.16 |
io.prometheus.jmx |
收集器 |
0.7 |
javax.activation |
激活 |
1.1.1 |
javax.annotation |
javax.annotation-api |
1.2 |
javax.el |
javax.el-api |
2.2.4 |
javax.jdo |
jdo api |
3.0.1 |
javax.servlet |
javax.servlet-api |
3.1.0 |
javax.servlet.jsp |
jsp-api |
2.1 |
javax.transaction |
jta |
1.1 |
javax.validation |
驗證api |
1.1.0.Final |
javax.ws.rs |
javax.ws.rs-api |
2.0.1 |
javax.xml.bind |
jaxb-api |
2.2.2 |
javax.xml.stream |
stax-api |
1.0 - 2 |
javolution |
javolution |
5.5.1 |
jline |
jline |
2.11 |
joda-time |
joda-time |
2.9.3 |
log4j |
apache-log4j-extras |
1.2.17 |
log4j |
log4j |
1.2.17 |
net.hydromatic |
eigenbase-properties |
1.1.5 |
net.iharder |
base64 |
2.3.8 |
net.java.dev.jets3t |
jets3t |
0.9.4 |
net.razorvine |
地幔岩 |
4.13 |
net.sf.jpam |
jpam |
1.1 |
net.sf.opencsv |
opencsv |
2.3 |
net.sf.supercsv |
super-csv |
2.2.0 |
net.sourceforge.f2j |
arpack_combined_all |
0.1 |
org.acplt |
oncrpc |
1.0.7 |
org.antlr |
ST4 |
4.0.4 |
org.antlr |
antlr-runtime |
3.4 |
org.antlr |
antlr4-runtime |
4.7 |
org.antlr |
stringtemplate |
3.2.1之上 |
org.apache.ant |
螞蟻 |
1.9.2 |
org.apache.ant |
ant-jsch |
1.9.2 |
org.apache.ant |
ant-launcher |
1.9.2 |
org.apache.arrow |
arrow-format |
0.8.0 |
org.apache.arrow |
arrow-memory |
0.8.0 |
org.apache.arrow |
arrow-vector |
0.8.0 |
org.apache.avro |
avro |
1.7.7 |
org.apache.avro |
avro-ipc |
1.7.7 |
org.apache.avro |
avro-ipc-tests |
1.7.7 |
org.apache.avro |
avro-mapred-hadoop2 |
1.7.7 |
org.apache.calcite |
calcite-avatica |
1.2.0-incubating |
org.apache.calcite |
calcite-core |
1.2.0-incubating |
org.apache.calcite |
calcite-linq4j |
1.2.0-incubating |
org.apache.commons |
commons-compress |
1.4.1 |
org.apache.commons |
commons-crypto |
1.0.0 |
org.apache.commons |
commons-lang3 |
3.5 |
org.apache.commons |
commons-math3 |
3.4.1 |
org.apache.curator |
curator-client |
2.7.1 |
org.apache.curator |
curator-framework |
2.7.1 |
org.apache.curator |
curator-recipes |
2.7.1 |
org.apache.derby |
德比 |
10.12.1.1 |
org.apache.directory.api |
api-asn1-api |
1.0.0-M20 |
org.apache.directory.api |
api-util |
1.0.0-M20 |
org.apache.directory.server |
apacheds-i18n |
2.0.0-M15 |
org.apache.directory.server |
apacheds-kerberos-codec |
2.0.0-M15 |
org.apache.hadoop |
hadoop-annotations |
2.7.3 |
org.apache.hadoop |
hadoop-auth |
2.7.3 |
org.apache.hadoop |
hadoop-client |
2.7.3 |
org.apache.hadoop |
hadoop-common |
2.7.3 |
org.apache.hadoop |
hadoop-hdfs |
2.7.3 |
org.apache.hadoop |
hadoop-mapreduce-client-app |
2.7.3 |
org.apache.hadoop |
hadoop-mapreduce-client-common |
2.7.3 |
org.apache.hadoop |
hadoop-mapreduce-client-core |
2.7.3 |
org.apache.hadoop |
hadoop-mapreduce-client-jobclient |
2.7.3 |
org.apache.hadoop |
hadoop-mapreduce-client-shuffle |
2.7.3 |
org.apache.hadoop |
hadoop-yarn-api |
2.7.3 |
org.apache.hadoop |
hadoop-yarn-client |
2.7.3 |
org.apache.hadoop |
hadoop-yarn-common |
2.7.3 |
org.apache.hadoop |
hadoop-yarn-server-common |
2.7.3 |
org.apache.htrace |
htrace-core |
3.1.0-incubating |
org.apache.httpcomponents |
httpclient |
4.5.4 |
org.apache.httpcomponents |
httpcore |
4.4.8 |
org.apache.ivy |
艾薇 |
測試盒框 |
org.apache.orc |
orc-core-nohive |
1.4.1 |
org.apache.orc |
orc-mapreduce-nohive |
1.4.1 |
org.apache.parquet |
parquet-column |
1.8.2-databricks1 |
org.apache.parquet |
parquet-common |
1.8.2-databricks1 |
org.apache.parquet |
parquet-encoding |
1.8.2-databricks1 |
org.apache.parquet |
parquet-format |
2.3.1 |
org.apache.parquet |
parquet-hadoop |
1.8.2-databricks1 |
org.apache.parquet |
parquet-jackson |
1.8.2-databricks1 |
org.apache.thrift |
libfb303 |
0.9.3 |
org.apache.thrift |
libthrift |
0.9.3 |
org.apache.xbean |
xbean-asm5-shaded |
4.4 |
org.apache.zookeeper |
動物園管理員 |
3.4.6 |
org.bouncycastle |
bcprov-jdk15on |
1.58 |
org.codehaus.jackson |
jackson-core-asl |
1.9.13 |
org.codehaus.jackson |
jackson-jaxrs |
1.9.13 |
org.codehaus.jackson |
jackson-mapper-asl |
1.9.13 |
org.codehaus.jackson |
jackson-xc |
1.9.13 |
org.codehaus.janino |
commons-compiler |
3.0.8 |
org.codehaus.janino |
janino |
3.0.8 |
org.datanucleus |
datanucleus-api-jdo |
3.2.6 |
org.datanucleus |
datanucleus-core |
3.2.10 |
org.datanucleus |
datanucleus-rdbms |
3.2.9 |
org.eclipse.jetty |
jetty-client |
9.3.20.v20170531 |
org.eclipse.jetty |
jetty-continuation |
9.3.20.v20170531 |
org.eclipse.jetty |
jetty-http |
9.3.20.v20170531 |
org.eclipse.jetty |
jetty-io |
9.3.20.v20170531 |
org.eclipse.jetty |
jetty-jndi |
9.3.20.v20170531 |
org.eclipse.jetty |
jetty-plus |
9.3.20.v20170531 |
org.eclipse.jetty |
jetty-proxy |
9.3.20.v20170531 |
org.eclipse.jetty |
jetty-security |
9.3.20.v20170531 |
org.eclipse.jetty |
jetty服務器 |
9.3.20.v20170531 |
org.eclipse.jetty |
jetty servlet |
9.3.20.v20170531 |
org.eclipse.jetty |
jetty-servlets |
9.3.20.v20170531 |
org.eclipse.jetty |
jetty-util |
9.3.20.v20170531 |
org.eclipse.jetty |
jetty-webapp |
9.3.20.v20170531 |
org.eclipse.jetty |
jetty-xml |
9.3.20.v20170531 |
org.fusesource.leveldbjni |
leveldbjni-all |
1.8 |
org.glassfish.hk2 |
hk2-api |
2.4.0-b34 |
org.glassfish.hk2 |
hk2-locator |
2.4.0-b34 |
org.glassfish.hk2 |
hk2-utils |
2.4.0-b34 |
org.glassfish.hk2 |
osgi-resource-locator |
1.0.1 |
org.glassfish.hk2.external |
aopalliance-repackaged |
2.4.0-b34 |
org.glassfish.hk2.external |
javax.inject |
2.4.0-b34 |
org.glassfish.jersey.bundles.repackaged |
jersey-guava |
2.22.2 |
org.glassfish.jersey.containers |
jersey-container-servlet |
2.22.2 |
org.glassfish.jersey.containers |
jersey-container-servlet-core |
2.22.2 |
org.glassfish.jersey.core |
jersey客戶端 |
2.22.2 |
org.glassfish.jersey.core |
jersey-common |
2.22.2 |
org.glassfish.jersey.core |
jersey-server |
2.22.2 |
org.glassfish.jersey.media |
jersey-media-jaxb |
2.22.2 |
org.hibernate |
hibernate驗證框架 |
5.1.1.Final |
org.iq80.snappy |
時髦的 |
0.2 |
org.javassist |
javassist |
3.18.1-GA |
org.jboss.logging |
jboss-logging |
3.1.3.GA |
org.jdbi |
jdbi |
2.63.1 |
org.joda |
joda-convert |
1.7 |
org.jodd |
jodd-core |
3.5.2 |
org.json4s |
json4s-ast_2.11 |
3.2.11 |
org.json4s |
json4s-core_2.11 |
3.2.11 |
org.json4s |
json4s-jackson_2.11 |
3.2.11 |
org.lz4 |
lz4-java |
1.4.0 |
org.mariadb.jdbc |
mariadb-java-client |
2.1.2 |
org.mockito |
mockito-all |
1.9.5 |
org.objenesis |
objenesis |
2.1 |
org.postgresql |
postgresql |
42.1.4 |
org.roaringbitmap |
RoaringBitmap |
0.5.11 |
org.rocksdb |
rocksdbjni |
5.2.1 |
org.rosuda.REngine |
REngine |
魅惑 |
org.scala-lang |
scala-compiler_2.11 |
2.11.8 |
org.scala-lang |
scala-library_2.11 |
2.11.8 |
org.scala-lang |
scala-reflect_2.11 |
2.11.8 |
org.scala-lang |
scalap_2.11 |
2.11.8 |
org.scala-lang.modules |
scala-parser-combinators_2.11 |
1.0.2中 |
org.scala-lang.modules |
scala-xml_2.11 |
1.0.5 |
org.scala-sbt |
測試界麵 |
1.0 |
org.scalacheck |
scalacheck_2.11 |
1.12.5 |
org.scalanlp |
breeze-macros_2.11 |
0.13.2 |
org.scalanlp |
breeze_2.11 |
0.13.2 |
org.scalatest |
scalatest_2.11 |
2.2.6款 |
org.slf4j |
jcl-over-slf4j |
1.7.16 |
org.slf4j |
jul-to-slf4j |
1.7.16 |
org.slf4j |
slf4j-api |
1.7.16 |
org.slf4j |
slf4j-log4j12 |
1.7.16 |
org.spark-project.hive |
hive-beeline |
1.2.1.spark2 |
org.spark-project.hive |
hive-cli |
1.2.1.spark2 |
org.spark-project.hive |
hive-exec |
1.2.1.spark2 |
org.spark-project.hive |
hive-jdbc |
1.2.1.spark2 |
org.spark-project.hive |
hive-metastore |
1.2.1.spark2 |
org.spark-project.spark |
未使用的 |
1.0.0 |
org.spire-math |
spire-macros_2.11 |
0.13.0 |
org.spire-math |
spire_2.11 |
0.13.0 |
org.springframework |
spring核心 |
4.1.4.RELEASE |
org.springframework |
spring測試 |
4.1.4.RELEASE |
org.tukaani |
xz |
1.0 |
org.typelevel |
machinist_2.11 |
0.6.1 |
org.typelevel |
macro-compat_2.11 |
1.1.1 |
org.xerial |
sqlite-jdbc |
3.8.11.2 |
org.xerial.snappy |
snappy-java |
1.1.2.6 |
org.yaml |
snakeyaml |
1.16 |
奧羅 |
奧羅 |
2.0.8 |
software.amazon.ion |
ion-java |
1.0.2中 |
stax |
stax-api |
1.0.1 |
xmlenc |
xmlenc |
0.52 |