Databricks Runtime 8.0(不支持)

Databricks於2021年3月發布了這張圖片。

以下發布說明提供了Databricks Runtime 8.0的相關信息，該版本由Apache Spark 3.1.1提供支持。

新功能

Databricks Runtime 8.0包含Apache Spark 3.1.1。詳細信息請參見Apache火花．

改進

當沒有指定格式時，Delta現在是默認格式

Databricks Runtime 8.0將默認格式更改為δ使創建Delta表更簡單。使用SQL命令創建表時，或{數據集| DataFrame},{讀| readStream | |寫用writeTo | writeStream}api，並且不指定格式，默認格式為δ．

使用Delta Lake，您可以獲得比Parquet更好的性能，通過豐富的模式驗證、質量約束和事務保證獲得更好的數據可靠性。使用Delta Lake，您可以在單個數據源上通過統一的結構化流和批處理簡化數據管道。

雖然Databricks建議使用Delta Lake存儲數據，但您可能有遺留工作流需要遷移到Delta Lake。有關遷移現有工作流的信息，請參見三角洲湖是什麼?．

新的結構化流默認觸發間隔降低了成本

如果不設置觸發間隔使用觸發器。ProcessingTime在流查詢中，間隔設置為500毫秒。以前，默認的間隔是0毫秒。這一更改應該會減少空觸發器的數量，並降低雲存儲的成本(如列表)。

使用Glue數據目錄作為Databricks運行時的metastore時的優化

這個版本通過在Hive初始化時禁用數據庫函數的自動加載，將AWS Glue Data Catalog優化為Databricks Runtime metastore。控件可以控製函數的加載spark.databricks.hive.metastore.init.reloadFunctions.enabled配置參數。此參數默認為假當使用Glue Data Catalog作為metastore時，禁用自動加載函數。將此參數設置為真正的將在Hive初始化時重新啟用函數加載。

使用憑據傳遞的LDA轉換函數(公開預覽)

現在可以在配置為使用憑據傳遞進行身份驗證的集群上使用LDA轉換功能。

配置了憑據傳遞的單個用戶集群不再需要可信的文件係統(公開預覽)

在使用為單個用戶的憑據傳遞而配置的標準或作業集群時，不再需要將本地文件係統配置為受信任的文件係統。當在單個用戶集群上運行作業時，此更改刪除了不必要的文件係統限製。

庫升級

升級了幾個Java和Scala庫。看到安裝Java和Scala庫(Scala 2.12集群版本)．
將Python升級到3.8.6。
升級了幾個已安裝的Python庫。看到已安裝的Python庫．
升級R到4.0.3。
升級了幾個已安裝的R庫。看到已安裝的R庫．

Apache火花

Databricks Runtime 8.0包含Apache Spark 3.1.1。

本節:

Core和Spark SQL

突出

統一創建表SQL語法(火星- 31257）
洗牌哈希連接改進(火星- 32461）
增強的子表達式消除(火星- 33092，火星- 33337，火星- 33427，火星- 33540）
Kubernetes GA (火星- 33005）

ANSI SQL兼容性增強

支持char/varchar數據類型(火星- 33480）
ANSI模式:運行時錯誤而不是返回null (火星- 33275）
ANSI模式:新的顯式強製轉換語法規則(火星- 33354）
添加SQL標準命令集時間區（火星- 32272）
統一創建表SQL語法(火星- 31257）
統一臨時視圖和永久視圖行為(火星- 33138）
支持列列表插入語句(火星- 32976）
支持ANSI嵌套括號注釋(火星- 28880）

性能增強

不使用shuffle服務的主機本地shuffle數據讀取(火星- 32077）
在重新劃分節點之前刪除冗餘排序(火星- 32276）
部分下推謂詞(火星- 32302，火星- 32352）
通過expand (火星- 33302）
通過CNF轉換通過Join推送更多可能的謂詞(火星- 31705）
通過保留廣播散列連接的輸出分區(火星- 31869）
通過改進重新排序連接鍵(火星- 32282）
通過規範化輸出分區和sortorder (火星- 33399）
洗牌哈希連接改進(火星- 32461）
- 保留打亂的哈希連接構建側分區(火星- 32330）
- 保留哈希連接(BHJ和SHJ)流側排序(火星- 32383）
- 合並桶狀表進行排序合並連接(火星- 32286）
- 為洗牌散列連接添加代碼生成(火星- 32421）
- 支持完全外部連接在洗牌哈希連接(火星- 32399）
用全階段編碼原支持項目中的子表達式消除(火星- 33092）
支持條件表達式中的子表達式消除(火星- 33337）
支持子表達式消除，用於解釋表達式求值(火星- 33427）
支持已解釋謂詞的子表達式消除(火星- 33540）
其他優化器規則
- 規則ExtractSingleColumnNullAwareAntiJoin（火星- 32290）
- 規則EliminateNullAwareAntiJoin（火星- 32573）
- 規則EliminateAggregateFilter（火星- 32540）
- 規則UnwrapCastInBinaryComparison（火星- 32858）
- 規則DisableUnnecessaryBucketedScan（火星- 32859）
- 規則CoalesceBucketsInJoin（火星- 31350）
- 從沒有項目的生成中刪除不必要的嵌套字段(火星- 29721）
- 從聚合中刪除不必要的嵌套字段並展開(火星- 27217）
- 從按表達式重新分區和連接(火星- 31736）
- 修剪不必要的嵌套字段的外觀變化(火星- 32163）
- 刪除窗口中不必要的嵌套字段並排序(火星- 32059）
- 優化CreateArray/ creatatemap的大小為其子節點的大小(火星- 33544）

可擴展性增強

添加SupportsPartitionsDataSourceV2上的APIs (火星- 31694）
添加SupportsMetadataColumnsDataSourceV2上的API (火星- 31255）
使SQL緩存序列化可插拔(火星- 32274）
介紹了清洗選項TableCatalog.dropTable對於v2目錄(火星- 33364）

連接器的增強

Hive Metastore分區濾波器下推改進(火星- 33537）
- 支持包含、以開始和以結束篩選器(火星- 33458）
- 支持按日期類型篩選(火星- 33477）
- 支持not-equals過濾器(火星- 33582）
拚花
- 在Parquet中允許在map的鍵類型中使用複雜類型(火星- 32639）
- 允許保存和加載INT96在Parquet沒有重基(火星- 33160）
獸人
- ORC的嵌套列謂詞下推(火星- 25557）
- 升級Apache ORC至1.5.12 (火星- 33050）
CSV
- 在CSV模式推斷期間利用SQL文本數據源(火星- 32270）
JSON
- 支持過濾器下推JSON數據源(火星- 30648）
JDBC
- 為JDBC實現目錄api (火星- 32375，火星- 32579，火星- 32402，火星- 33130）
- 創建JDBC身份驗證提供程序開發人員API (火星- 32001）
- 添加JDBC連接提供程序禁用可能性(火星- 32047）
Avro
- 在Avro數據源中支持過濾器下推(火星- 32346）

功能增強

節點退役(火星- 20624）
- 基本架構(火星- 20628）
- 在退役期間遷移RDD塊(火星- 20732）
- 作為動態擴展的一部分，合理的退役(火星- 31198）
- 在退役期間遷移shuffle塊(火星- 20629）
- 僅在任務和塊遷移完成時退出executor (火星- 31197）
- 在退役期間支持備用存儲(火星- 33545）
新的內置函數
- json_array_length (火星- 31008）
- json_object_keys (火星- 31009）
- current_catalog (火星- 30352）
- Timestamp_seconds, timestamp_millis, timestamp_micros (火星- 31710）
- width_bucket (火星- 21117）
- regexp_extract_all (火星- 24884）
- nth_value (火星- 27951）
- raise_error (火星- 32793）
- Unix_seconds, unix_millis和unix_micros (火星- 33627）
- Date_from_unix_date和unix_date (火星- 33646）
- current_timezone (火星- 33469）
EXPLAIN命令增強(火星- 32337，火星- 31325）
提供一個選項來禁用用戶提供的提示(火星- 31875）
支持Hive樣式的REPLACE COLUMNS語法(火星- 30613）
支持就像任何而且就像所有操作符(火星- 30724）
支持無限匹配而且不匹配在合並成（火星- 32030）
支持F-加後綴的浮點字麵值(火星- 32207）
支持重置重置單個配置的語法(火星- 32406）
支持過濾表達式，允許同時使用截然不同的（火星- 30276）
支持修改表添加/刪除分區命令DSv2火星- 32512）
支持不在嵌套內的子查詢或條件(火星- 25154）
支持刷新函數命令(火星- 31999）
添加sameSemantics而且sementicHash方法在數據集(火星- 30791）
在UDF中支持組合類型的案例類(火星- 31826）
支持編碼器中的枚舉(火星- 32585）
支持嵌套字段apiwithField而且dropFields（火星- 31317，火星- 32511）
支持為中缺失的列填充空值unionByName（火星- 29358）
支持DataFrameReader.table要使用指定的選項(火星- 32592，火星- 32844）
支持HDFS定位spark.sql.hive.metastore.jars（火星- 32852）
支持——檔案期權本身(火星- 33530，火星- 33615）
增強ExecutorPlugin包括任務開始和結束事件方法的API (火星- 33088）

其他顯著變化

在Spark docs站點中提供搜索功能(火星- 33166）
將Apache Arrow升級至2.0.0 (火星- 33213）
在節儉服務器中啟用java8時間API (火星- 31910）
在udf中啟用java8時間API (火星- 32154）
帶小數的總和溢出檢查(火星- 28067）
修複動態分區覆蓋模式下的提交衝突(火星- 27194，火星- 29302）
刪除了對slave、黑名單和白名單的引用(火星- 32004，火星- 32036，火星- 32037）
刪除shuffle map階段的任務結果大小檢查(火星- 32470）
概括ExecutorSource公開用戶給定的文件係統模式(火星- 33476）
添加StorageLevel。DISK_ONLY_3（火星- 32517）
在執行程序的web UI中公開執行程序內存指標(火星- 23432）
在Stages選項卡中公開階段級別的執行程序內存指標(火星- 26341）
修複顯式的spark.ui.port在YARN集群模式下(火星- 29465）
添加spark.submit.waitForCompletion配置控製獨立集群模式下的spark-submit退出(火星- 31486）
設置紗線。客戶端打印到驅動程序stdout/stderr的直接鏈接(火星- 33185）
修複內存泄漏時，未能存儲廣播片段(火星- 32715）
使BlockManagerMaster驅動程序心跳超時可配置(火星- 34278）
統一和完善緩存行為(火星- 33507）

行為的改變

請參閱每個組件的遷移指南:火花的核心而且火花SQL．

PySpark

項目禪

禪計劃:提高Python的可用性(火星- 32082）
PySpark類型提示支持(火星- 32681）
重新設計PySpark文檔(火星- 31851）
遷移到NumPy文檔樣式(火星- 32085）
PyPI用戶的安裝選項(火星- 32017）
不棄用從dict列表中推斷DataFrame模式(火星- 32686）
簡化來自Python udf的異常消息(火星- 33407）

其他顯著變化

重複刪除確定性PythonUDF調用(火星- 33303）
支持PySpark函數中的高階函數(火星- 30681）
支持數據源v2x寫api (火星- 29157）
支持percentile_approx在PySpark函數中(火星- 30569）
支持inputFiles在PySpark DataFrame (火星- 31763）
支持withField在PySpark列(火星- 32835）
支持dropFields在PySpark列(火星- 32511）
支持nth_value在PySpark函數中(火星- 33020）
支持作用是，的作用而且atanh（火星- 33563）
支持getCheckpointDir方法:火星- 33017）
支持為中缺失的列填充空值unionByName（火星- 32798）
更新cloudpickle到v1.5.0 (火星- 32094）
添加MapType支持PySpark與Arrow (火星- 24554）
DataStreamReader.table而且DataStreamWriter.toTable（火星- 33836）

行為的改變

參見[PySpark]的遷移指南https://spark.apache.org/docs/3.1.1/pyspark-migration-guide.html）.

結構化流

性能增強

緩存獲取的文件列表超出maxFilesPerTrigger作為未讀文件(火星- 30866）
簡化文件流源和接收器元數據日誌的邏輯(火星- 30462）
如果查詢從緊湊批處理中重新啟動，則避免讀取緊湊元數據日誌兩次(火星- 30900）

功能增強

添加DataStreamReader.tableAPI (火星- 32885）
添加DataStreamWriter.toTableAPI (火星- 32896）
左半流-流連接(火星- 32862）
完整的外部流-流連接(火星- 32863）
提供一個保留輸出文件的新選項(火星- 27188）
添加Spark結構化流媒體曆史服務器支持(火星- 31953）
在查詢重啟之間引入狀態模式驗證(火星- 27237）

其他顯著變化

為流狀態存儲引入模式驗證(火星- 31894）
支持在狀態存儲中使用不同的壓縮編解碼器(火星- 33263）
Kafka連接器無限等待，因為元數據從未更新(火星- 28367）
升級Kafka至2.6.0 (火星- 32568）
結構化流UI頁麵的分頁支持(火星- 31642，火星- 30119）
結構化流UI中的狀態信息(火星- 33223）
結構化流UI中的水印間隙信息(火星- 33224）
在SS UI上公開狀態自定義度量信息(火星- 33287）
添加一個新的度量，關於水印之後的行數(火星- 24634）

行為的改變

參見遷移指南結構化流．

MLlib

突出了

線性svc阻塞輸入向量(火星- 30642）
LogisticRegression塊化輸入向量(火星- 30659）
線性回歸塊化輸入向量(火星- 30660）
AFT阻塞輸入向量(火星- 31656）
在ML中添加對關聯規則的支持(火星- 19939）
為線性svcmodel增加訓練總結(火星- 20249）
為RandomForestClassificationModel添加摘要火星- 23631）
添加訓練總結到FMClassificationModel (火星- 32140）
為MultilayerPerceptronClassificationModel添加摘要(火星- 32449）
添加FMClassifier到SparkR (火星- 30820）
添加SparkR線性回歸包裝器(火星- 30818）
將FMRegressor包裝器添加到SparkR (火星- 30819）
為添加SparkR包裝器vector_to_array（火星- 33040）
自適應阻塞實例-線性svc (火星- 32907）
make CrossValidator/TrainValidateSplit/OneVsRest Reader/Writer支持Python後端估計器/求值器(火星- 33520）
GEMV改善ML ALS的性能(推薦使用)火星- 33518）
添加單變量featureselector (火星- 34080）

其他顯著變化

GMM在一個作業中計算彙總和更新分布(火星- 31032）
移除mllib上的ChiSqSelector依賴項。ChiSqSelectorModel (火星- 31077）
平化testChiSquare中的測試結果數據框架(火星- 31301）
MinHash keyDistance優化(火星- 31436）
基於三角不等式的KMeans優化(火星- 31007）
在ClusteringEvaluator中添加權重支持(火星- 31734）
在評估器中添加getMetrics (火星- 31768）
在LinearRegressionSummary中添加實例權重支持(火星- 31944）
將用戶指定的折疊列添加到CrossValidator (火星- 31777）
ML參數在特性和調優中的默認值校驗(火星- 32310）
修複了KMeans/BiKMeans中的雙緩存(火星- 32676）
尾部變換優化(火星- 33111）
feature hash變換優化(火星- 32974）
為dataframe列添加array_to_vector函數(火星- 33556）
ML參數在分類，回歸，聚類和fpm中的默認值校驗(火星- 32310）
總結。totaliteration大於maxisters (火星- 31925）
樹模型預測優化(火星- 32298）

行為的改變

參見遷移指南MLlib．

SparkR

為更高階函數添加SparkR接口(火星- 30682）
支持為unionByName (火星- 32798）
在SparkR函數中支持withColumn (火星- 32946）
在SparkR函數中支持timestamp_seconds (火星- 32949）
在SparkR函數中支持nth_value (火星- 33030）
最小箭頭版本上升到1.0.0 (火星- 32452）
支持SparkR函數中的array_to_vector (火星- 33622）
支持acosh, asinh和atanh (火星- 33563）
支持from_avro和to_avro (火星- 33304）

行為的改變

參見遷移指南SparkR (R on Spark)．

GraphX

編程指南:GraphX編程指南．

維護更新

看到Databricks Runtime 8.0維護更新．

係統環境

操作係統: Ubuntu 18.04.5 LTS
Java: Zulu 8.50.0.51-CA-linux64 (build 1.8.0_275-b01)
Scala: 2.12.10
Python: 3.8.8(由2021年5月26日維護更新的3.8.6更新)
R: R版本4.0.3 (2020-10-10)
三角洲湖0.8.0

已安裝的Python庫

圖書館	版本	圖書館	版本	圖書館	版本
appdirs	1.4.4	asn1crypto	1.4.0	backcall	0.2.0
boto3	1.16.7	botocore	1.19.7	brotlipy	0.7.0
certifi	2020.12.5	cffi	1.14.3	chardet	3.0.4
密碼學	3.1.1	周期計	0.10.0	Cython	0.29.21
裝飾	10/24/11	distlib	0.3.1	docutils	0.15.2
entrypoints	0.3	filelock	3.0.12	idna	2.10
ipykernel	5.3.4	ipython	7.19.0	ipython-genutils	0.2.0
絕地武士	0.17.2	jmespath	0.10.0	joblib	0.17.0
jupyter-client	6.1.7	jupyter-core	4.6.3	kiwisolver	1.3.0
考拉	1.5.0	matplotlib	3.2.2	numpy	1.19.2
熊貓	1.1.3	parso	0.7.0	容易受騙的人	0.5.1
pexpect	4.8.0	pickleshare	0.7.5	皮普	20.2.4
prompt-toolkit	3.0.8	psycopg2	2.8.5	ptyprocess	0.6.0
pyarrow	1.0.1	pycparser	2.20	Pygments	2.7.2
pyOpenSSL	19.1.0	pyparsing	2.4.7	PySocks	1.7.1上
python-dateutil	2.8.1發布	pytz	2020.1	pyzmq	19.0.2
請求	2.24.0	s3transfer	0.3.3	scikit-learn	0.23.2
scipy	1.5.2	seaborn	0.10.0	setuptools	50.3.1
六個	1.15.0	statsmodels	0.12.0	threadpoolctl	魅惑
龍卷風	6.0.4	traitlets	5.0.5	urllib3	1.25.11
virtualenv	20.2.1	wcwidth	0.2.5	輪	0.35.1

已安裝的R庫

R庫從微軟CRAN快照2020-11-02．

圖書館	版本	圖書館	版本	圖書館	版本
askpass	1．1	為了	0.2.1	補丁	1.2.1 "
基地	4.0.3	base64enc	0.1 - 3	黑洞	1.72.0-3
位	4.0.4	bit64	你	團	1.2.1 "
引導	-25 - 1.3	釀造	1.0 6	生動	1.1.0
掃帚	0.7.2	callr	3.5.1	脫字符號	-86 - 6.0
cellranger	1.1.0	時間	-56 - 2.3	類	-17 - 7.3
cli	2.2.0	clipr	是0.7.1	集群	魅惑
codetools	-18 - 0.2	色彩	2.0 0	commonmark	1.7
編譯器	4.0.3	配置	0.3	covr	3.5.1
cpp11	0.2.4	蠟筆	1.3.4	憑證	1.3.0
相聲	1.1.0.1	旋度	4.３	data.table	1.13.4
數據集	4.0.3	DBI	1.1.0	dbplyr	2.0.0
desc	1.2.0	devtools	2.3.2	diffobj	0.3.2
消化	0.6.27	dplyr	1.0.2中	DT	0.16
省略	0.3.1	評估	0.14	fansi	0.4.1
farver	2.0.3	fastmap	1.0.1	forcats	0.5.0
foreach	1.5.1	外國	-79 - 0.8	打造	0.2.0
fs	1.5.0	未來	1.21.0	泛型	0.1.0
哥特	1.0.2中	ggplot2	3.3.2	“大酒店”	1.2.0
gitcreds	0.1.1	glmnet	4.0 - 2	全局變量	0.14.0
膠水	1.4.2	高爾	0.2.2	圖形	4.0.3
grDevices	4.0.3	網格	4.0.3	gridExtra	2．3
gsubfn	0.7	gtable	0.3.0	還	2.3.1
highr	0.8	hms	0.5.3	htmltools	0.5.0
htmlwidgets	1.5.3	httpuv	1.5.4	httr	1.4.2
hwriter	1.3.2	hwriterPlus	1.0 - 3	ini	0.3.1
不小	0.9 9	isoband	0.2.3	迭代器	1.0.13
jsonlite	1.7.2	KernSmooth	-18 - 2.23	knitr	1.30
標簽	0.4.2	晚些時候	1.1.0.1	晶格	-41 - 0.20
熔岩	1.6.8.1	lazyeval	0.2.2	生命周期	0.2.0
listenv	0.8.0	lubridate	1.7.9.2	magrittr	2.0.1
減價	1．1	質量	-53 - 7.3	矩陣	-18 - 1.2
memoise	1.1.0	方法	4.0.3	mgcv	-33 - 1.8
mime	0.9	ModelMetrics	1.2.2.2	modelr	0.1.8
孟塞爾	0.5.0	nlme	-151 - 3.1	nnet	-14 - 7.3
numDeriv	2016.8 - -1.1	openssl	3	平行	4.0.3
平行	1.22.0	支柱	1.4.7	pkgbuild	1.1.0
pkgconfig	2.0.3	pkgload	1.1.0	plogr	0.2.0
plyr	1.8.6	讚美	1.0.0	prettyunits	1.1.1
pROC	1.16.2	processx	3.4.5	prodlim	2019.11.13
進步	1.2.2	承諾	1.1.1	原型	1.0.0
ps	1.5.0	purrr	0.3.4	r2d3	0.2.3
R6	2.5.0	randomForest	-14 - 4.6	rappdirs	0.3.1
rcmdcheck	1.3.3	RColorBrewer	1.1 - 2	Rcpp	1.0.5
readr	1.4.0	readxl	1.3.1	食譜	0.1.15
複賽	1.0.1	rematch2	2.1.2	遙控器	2.2.0
reprex	0.3.0	reshape2	1.4.4	雷克斯	1.2.0
rlang	0.4.9	rmarkdown	2.6	RODBC	-17 - 1.3
roxygen2	安裝7.1.1	rpart	-15 - 4.1	rprojroot	2.0.2
Rserve	1.8 7	RSQLite	2.2.1	rstudioapi	0.13
rversions	2.0.2	房車	0.3.6	尺度	1.1.1
selectr	0.4 - 2	sessioninfo	1.1.1	形狀	1.4.5
閃亮的	1.5.0	sourcetools	0.1.7	sparklyr	1.5.2
SparkR	3.1.0	空間	-11 - 7.3	樣條函數	4.0.3
sqldf	-11 - 0.4	SQUAREM	2020.5	統計數據	4.0.3
stats4	4.0.3	stringi	1.5.3	stringr	1.4.0
生存	3.2 7	sys	3.4	tcltk	4.0.3
TeachingDemos	2.10	testthat	3.0.0	寵物貓	3.0.4
tidyr	1.1.2	tidyselect	1.1.0	tidyverse	1.3.0
timeDate	3043.102	tinytex	0.28	工具	4.0.3
usethis	2.0.0	use utf8	1.1.4	跑龍套	4.0.3
uuid	0.1 - 4	vctrs	0.3.5	viridisLite	0.3.0
沃爾多	0.2.3	晶須	0.4	withr	tripwire
xfun	0.19	xml2	1.3.2	xopen	1.0.0
xtable	1.8 - 4	yaml	2.2.1	郵政編碼	2.1.1

安裝Java和Scala庫(Scala 2.12集群版本)

組ID	工件ID	版本
antlr	antlr	2.7.7
com.amazonaws	amazon-kinesis-client	1.12.0
com.amazonaws	aws-java-sdk-autoscaling	1.11.655
com.amazonaws	aws-java-sdk-cloudformation	1.11.655
com.amazonaws	aws-java-sdk-cloudfront	1.11.655
com.amazonaws	aws-java-sdk-cloudhsm	1.11.655
com.amazonaws	aws-java-sdk-cloudsearch	1.11.655
com.amazonaws	aws-java-sdk-cloudtrail	1.11.655
com.amazonaws	aws-java-sdk-cloudwatch	1.11.655
com.amazonaws	aws-java-sdk-cloudwatchmetrics	1.11.655
com.amazonaws	aws-java-sdk-codedeploy	1.11.655
com.amazonaws	aws-java-sdk-cognitoidentity	1.11.655
com.amazonaws	aws-java-sdk-cognitosync	1.11.655
com.amazonaws	aws-java-sdk-config	1.11.655
com.amazonaws	aws-java-sdk-core	1.11.655
com.amazonaws	aws-java-sdk-datapipeline	1.11.655
com.amazonaws	aws-java-sdk-directconnect	1.11.655
com.amazonaws	aws-java-sdk-directory	1.11.655
com.amazonaws	aws-java-sdk-dynamodb	1.11.655
com.amazonaws	aws-java-sdk-ec2	1.11.655
com.amazonaws	aws-java-sdk-ecs	1.11.655
com.amazonaws	aws-java-sdk-efs	1.11.655
com.amazonaws	aws-java-sdk-elasticache	1.11.655
com.amazonaws	aws-java-sdk-elasticbeanstalk	1.11.655
com.amazonaws	aws-java-sdk-elasticloadbalancing	1.11.655
com.amazonaws	aws-java-sdk-elastictranscoder	1.11.655
com.amazonaws	aws-java-sdk-emr	1.11.655
com.amazonaws	aws-java-sdk-glacier	1.11.655
com.amazonaws	aws-java-sdk-iam	1.11.655
com.amazonaws	aws-java-sdk-importexport	1.11.655
com.amazonaws	aws-java-sdk-kinesis	1.11.655
com.amazonaws	aws-java-sdk-kms	1.11.655
com.amazonaws	aws-java-sdk-lambda	1.11.655
com.amazonaws	aws-java-sdk-logs	1.11.655
com.amazonaws	aws-java-sdk-machinelearning	1.11.655
com.amazonaws	aws-java-sdk-opsworks	1.11.655
com.amazonaws	aws-java-sdk-rds	1.11.655
com.amazonaws	aws-java-sdk-redshift	1.11.655
com.amazonaws	aws-java-sdk-route53	1.11.655
com.amazonaws	aws-java-sdk-s3	1.11.655
com.amazonaws	aws-java-sdk-ses	1.11.655
com.amazonaws	aws-java-sdk-simpledb	1.11.655
com.amazonaws	aws-java-sdk-simpleworkflow	1.11.655
com.amazonaws	aws-java-sdk-sns	1.11.655
com.amazonaws	aws-java-sdk-sqs	1.11.655
com.amazonaws	aws-java-sdk-ssm	1.11.655
com.amazonaws	aws-java-sdk-storagegateway	1.11.655
com.amazonaws	aws-java-sdk-sts	1.11.655
com.amazonaws	aws-java-sdk-support	1.11.655
com.amazonaws	aws-java-sdk-swf-libraries	1.11.22
com.amazonaws	aws-java-sdk-workspaces	1.11.655
com.amazonaws	jmespath-java	1.11.655
com.chuusai	shapeless_2.12	2.3.3
com.clearspring.analytics	流	2.9.6
com.databricks	Rserve	1.8 - 3
com.databricks	jets3t	0.7.1-0
com.databricks.scalapb	compilerplugin_2.12	0.4.15-10
com.databricks.scalapb	scalapb-runtime_2.12	0.4.15-10
com.esotericsoftware	kryo-shaded	4.0.2
com.esotericsoftware	minlog	1.3.0
com.fasterxml	同學	1.3.4
com.fasterxml.jackson.core	jackson-annotations	2.10.0
com.fasterxml.jackson.core	jackson-core	2.10.0
com.fasterxml.jackson.core	jackson-databind	2.10.0
com.fasterxml.jackson.dataformat	jackson-dataformat-cbor	2.10.0
com.fasterxml.jackson.datatype	jackson-datatype-joda	2.10.0
com.fasterxml.jackson.module	jackson-module-paranamer	2.10.0
com.fasterxml.jackson.module	jackson-module-scala_2.12	2.10.0
com.github.ben-manes.caffeine	咖啡因	2.3.4
com.github.fommil	jniloader	1．1
com.github.fommil.netlib	核心	1.1.2
com.github.fommil.netlib	native_ref-java	1．1
com.github.fommil.netlib	native_ref-java-natives	1．1
com.github.fommil.netlib	native_system-java	1．1
com.github.fommil.netlib	native_system-java-natives	1．1
com.github.fommil.netlib	netlib-native_ref-linux-x86_64-natives	1．1
com.github.fommil.netlib	netlib-native_system-linux-x86_64-natives	1．1
com.github.joshelser	dropwizard-metrics-hadoop-metrics2-reporter	0.1.2
com.github.luben	zstd-jni	1.4.8-1
com.github.wendykierp	JTransforms	3．1
com.google.code.findbugs	jsr305	3.0.0
com.google.code.gson	gson	2.2.4
com.google.flatbuffers	flatbuffers-java	1.9.0
com.google.guava	番石榴	15.0
com.google.protobuf	protobuf-java	2.6.1
com.h2database	h2	1.4.195
com.helger	分析器	1.1.1
com.jcraft	jsch	0.1.50
com.jolbox	bonecp	0.8.0.RELEASE
com.lihaoyi	sourcecode_2.12	0.1.9
com.microsoft.sqlserver	mssql-jdbc	8.2.1.jre8
com.microsoft.azure	azure-data-lake-store-sdk	2.3.9
com.ning	compress-lzf	1.0.3
com.sun.mail	javax.mail	1.5.2
com.tdunning	json	1．8
com.thoughtworks.paranamer	paranamer	2.8
com.trueaccord.lenses	lenses_2.12	0.4.12
com.twitter	chill-java	0.9.5
com.twitter	chill_2.12	0.9.5
com.twitter	util-app_2.12	7.1.0
com.twitter	util-core_2.12	7.1.0
com.twitter	util-function_2.12	7.1.0
com.twitter	util-jvm_2.12	7.1.0
com.twitter	util-lint_2.12	7.1.0
com.twitter	util-registry_2.12	7.1.0
com.twitter	util-stats_2.12	7.1.0
com.typesafe	配置	1.2.1 "
com.typesafe.scala-logging	scala-logging_2.12	3.7.2章
com.univocity	univocity-parsers	2.9.0
com.zaxxer	HikariCP	3.1.0
commons-beanutils	commons-beanutils	1.9.4
commons-cli	commons-cli	1．2
commons-codec	commons-codec	1.10
commons-collections	commons-collections	3.2.2
commons configuration	commons configuration	1．6
commons-dbcp	commons-dbcp	1．4
commons-digester	commons-digester	1．8
commons-fileupload	commons-fileupload	1.3.3
commons-httpclient	commons-httpclient	3．1
commons-io	commons-io	2.4
commons lang	commons lang	2.6
通用日誌	通用日誌	1.1.3
commons net	commons net	3．1
commons-pool	commons-pool	1.5.4
info.ganglia.gmetric4j	gmetric4j	1.0.10
io.airlift	aircompressor	0．10
io.dropwizard.metrics	metrics-core	以下4.4.1
io.dropwizard.metrics	metrics-graphite	以下4.4.1
io.dropwizard.metrics	metrics-healthchecks	以下4.4.1
io.dropwizard.metrics	metrics-jetty9	以下4.4.1
io.dropwizard.metrics	metrics-jmx	以下4.4.1
io.dropwizard.metrics	metrics-json	以下4.4.1
io.dropwizard.metrics	metrics-jvm	以下4.4.1
io.dropwizard.metrics	metrics-servlets	以下4.4.1
io.netty	netty-all	4.1.51.Final
io.prometheus	simpleclient	0.7.0
io.prometheus	simpleclient_common	0.7.0
io.prometheus	simpleclient_dropwizard	0.7.0
io.prometheus	simpleclient_pushgateway	0.7.0
io.prometheus	simpleclient_servlet	0.7.0
io.prometheus.jmx	收集器	0.12.0
jakarta.annotation	jakarta.annotation-api	1.3.5
jakarta.validation	jakarta.validation-api	2.0.2
jakarta.ws.rs	jakarta.ws.rs-api	2.1.6
javax.activation	激活	1.1.1
javax.el	javax.el-api	2.2.4
javax.jdo	jdo api	3.0.1
javax.servlet	javax.servlet-api	3.1.0
javax.servlet.jsp	jsp-api	2.1
javax.transaction	jta	1．1
javax.transaction	事務api	1．1
javax.xml.bind	jaxb-api	2.2.2
javax.xml.stream	stax-api	1.0 - 2
javolution	javolution	5.5.1
jline	jline	2.14.6
joda-time	joda-time	2.10.5
log4j	apache-log4j-extras	1.2.17
log4j	log4j	1.2.17
net.razorvine	地幔岩	4.30
net.sf.jpam	jpam	1．1
net.sf.opencsv	opencsv	2．3
net.sf.supercsv	super-csv	2.2.0
net.snowflake	snowflake-ingest-sdk	0.9.6
net.snowflake	snowflake-jdbc	3.12.8
net.snowflake	spark-snowflake_2.12	2.8.1-spark_3.0
net.sourceforge.f2j	arpack_combined_all	0．1
org.acplt.remotetea	remotetea-oncrpc	1.1.2
org.antlr	ST4	4.0.4
org.antlr	antlr-runtime	3.5.2
org.antlr	antlr4-runtime	4.8 - 1
org.antlr	stringtemplate	3.2.1之上
org.apache.ant	螞蟻	1.9.2
org.apache.ant	ant-jsch	1.9.2
org.apache.ant	ant-launcher	1.9.2
org.apache.arrow	arrow-format	2.0.0
org.apache.arrow	arrow-memory-core	2.0.0
org.apache.arrow	arrow-memory-netty	2.0.0
org.apache.arrow	arrow-vector	2.0.0
org.apache.avro	avro	1.8.2
org.apache.avro	avro-ipc	1.8.2
org.apache.avro	avro-mapred-hadoop2	1.8.2
org.apache.commons	commons-compress	1.20
org.apache.commons	commons-crypto	1.1.0
org.apache.commons	commons-lang3	3.10
org.apache.commons	commons-math3	3.4.1
org.apache.commons	commons-text	1．6
org.apache.curator	curator-client	2.7.1
org.apache.curator	curator-framework	2.7.1
org.apache.curator	curator-recipes	2.7.1
org.apache.derby	德比	10.12.1.1
org.apache.directory.api	api-asn1-api	1.0.0-M20
org.apache.directory.api	api-util	1.0.0-M20
org.apache.directory.server	apacheds-i18n	2.0.0-M15
org.apache.directory.server	apacheds-kerberos-codec	2.0.0-M15
org.apache.hadoop	hadoop-annotations	第2.7.4
org.apache.hadoop	hadoop-auth	第2.7.4
org.apache.hadoop	hadoop-client	第2.7.4
org.apache.hadoop	hadoop-common	第2.7.4
org.apache.hadoop	hadoop-hdfs	第2.7.4
org.apache.hadoop	hadoop-mapreduce-client-app	第2.7.4
org.apache.hadoop	hadoop-mapreduce-client-common	第2.7.4
org.apache.hadoop	hadoop-mapreduce-client-core	第2.7.4
org.apache.hadoop	hadoop-mapreduce-client-jobclient	第2.7.4
org.apache.hadoop	hadoop-mapreduce-client-shuffle	第2.7.4
org.apache.hadoop	hadoop-yarn-api	第2.7.4
org.apache.hadoop	hadoop-yarn-client	第2.7.4
org.apache.hadoop	hadoop-yarn-common	第2.7.4
org.apache.hadoop	hadoop-yarn-server-common	第2.7.4
org.apache.hive	hive-beeline	2.3.7
org.apache.hive	hive-cli	2.3.7
org.apache.hive	hive-common	2.3.7
org.apache.hive	hive-exec-core	2.3.7
org.apache.hive	hive-jdbc	2.3.7
org.apache.hive	hive-llap-client	2.3.7
org.apache.hive	hive-llap-common	2.3.7
org.apache.hive	hive-metastore	2.3.7
org.apache.hive	hive-serde	2.3.7
org.apache.hive	hive-shims	2.3.7
org.apache.hive	hive-storage-api	2.7.2
org.apache.hive	hive-vector-code-gen	2.3.7
org.apache.hive.shims	蜂巢0.23 -墊片	2.3.7
org.apache.hive.shims	hive-shims-common	2.3.7
org.apache.hive.shims	hive-shims-scheduler	2.3.7
org.apache.htrace	htrace-core	3.1.0-incubating
org.apache.httpcomponents	httpclient	4.5.6
org.apache.httpcomponents	httpcore	4.4.12
org.apache.ivy	艾薇	測試盒框
org.apache.mesos	mesos-shaded-protobuf	1.4.0
org.apache.orc	orc-core	1.5.12
org.apache.orc	orc-mapreduce	1.5.12
org.apache.orc	orc-shims	1.5.12
org.apache.parquet	parquet-column	1.10.1-databricks6
org.apache.parquet	parquet-common	1.10.1-databricks6
org.apache.parquet	parquet-encoding	1.10.1-databricks6
org.apache.parquet	parquet-format	測試盒框
org.apache.parquet	parquet-hadoop	1.10.1-databricks6
org.apache.parquet	parquet-jackson	1.10.1-databricks6
org.apache.thrift	libfb303	0.9.3
org.apache.thrift	libthrift	0.12.0
org.apache.velocity	速度	1．5
org.apache.xbean	xbean-asm7-shaded	4.15
org.apache.yetus	audience-annotations	0.5.0
org.apache.zookeeper	動物園管理員	3.4.14
org.codehaus.jackson	jackson-core-asl	1.9.13
org.codehaus.jackson	jackson-jaxrs	1.9.13
org.codehaus.jackson	jackson-mapper-asl	1.9.13
org.codehaus.jackson	jackson-xc	1.9.13
org.codehaus.janino	commons-compiler	3.0.16
org.codehaus.janino	janino	3.0.16
org.datanucleus	datanucleus-api-jdo	4.2.4
org.datanucleus	datanucleus-core	4.1.17
org.datanucleus	datanucleus-rdbms	4.1.19
org.datanucleus	javax.jdo	3.2.0-m3
org.eclipse.jetty	jetty-client	9.4.34.v20201102
org.eclipse.jetty	jetty-continuation	9.4.34.v20201102
org.eclipse.jetty	jetty-http	9.4.34.v20201102
org.eclipse.jetty	jetty-io	9.4.34.v20201102
org.eclipse.jetty	jetty-jndi	9.4.34.v20201102
org.eclipse.jetty	jetty-plus	9.4.34.v20201102
org.eclipse.jetty	jetty-proxy	9.4.34.v20201102
org.eclipse.jetty	jetty-security	9.4.34.v20201102
org.eclipse.jetty	jetty服務器	9.4.34.v20201102
org.eclipse.jetty	jetty servlet	9.4.34.v20201102
org.eclipse.jetty	jetty-servlets	9.4.34.v20201102
org.eclipse.jetty	jetty-util	9.4.34.v20201102
org.eclipse.jetty	jetty-webapp	9.4.34.v20201102
org.eclipse.jetty	jetty-xml	9.4.34.v20201102
org.fusesource.leveldbjni	leveldbjni-all	1．8
org.glassfish.hk2	hk2-api	2.6.1
org.glassfish.hk2	hk2-locator	2.6.1
org.glassfish.hk2	hk2-utils	2.6.1
org.glassfish.hk2	osgi-resource-locator	1.0.3
org.glassfish.hk2.external	aopalliance-repackaged	2.6.1
org.glassfish.hk2.external	jakarta.inject	2.6.1
org.glassfish.jersey.containers	jersey-container-servlet	2.30
org.glassfish.jersey.containers	jersey-container-servlet-core	2.30
org.glassfish.jersey.core	jersey客戶端	2.30
org.glassfish.jersey.core	jersey-common	2.30
org.glassfish.jersey.core	jersey-server	2.30
org.glassfish.jersey.inject	jersey-hk2	2.30
org.glassfish.jersey.media	jersey-media-jaxb	2.30
org.hibernate.validator	hibernate驗證框架	6.1.0.Final
org.javassist	javassist	3.25.0-GA
org.jboss.logging	jboss-logging	3.3.2.Final
org.jdbi	jdbi	2.63.1
org.joda	joda-convert	1.7
org.jodd	jodd-core	3.5.2
org.json4s	json4s-ast_2.12	3.7.0-M5
org.json4s	json4s-core_2.12	3.7.0-M5
org.json4s	json4s-jackson_2.12	3.7.0-M5
org.json4s	json4s-scalap_2.12	3.7.0-M5
org.lz4	lz4-java	1.7.1上
org.mariadb.jdbc	mariadb-java-client	2.1.2
org.objenesis	objenesis	2.5.1
org.postgresql	postgresql	42.1.4
org.roaringbitmap	RoaringBitmap	0.9.0
org.roaringbitmap	墊片	0.9.0
org.rocksdb	rocksdbjni	6.2.2
org.rosuda.REngine	REngine	魅惑
org.scala-lang	scala-compiler_2.12	2.12.10
org.scala-lang	scala-library_2.12	2.12.10
org.scala-lang	scala-reflect_2.12	2.12.10
org.scala-lang.modules	scala-collection-compat_2.12	2.1.1
org.scala-lang.modules	scala-parser-combinators_2.12	1.1.2
org.scala-lang.modules	scala-xml_2.12	1.2.0
org.scala-sbt	測試界麵	1．0
org.scalacheck	scalacheck_2.12	1.14.2
org.scalactic	scalactic_2.12	3.0.8
org.scalanlp	breeze-macros_2.12	1．0
org.scalanlp	breeze_2.12	1．0
org.scalatest	scalatest_2.12	3.0.8
org.slf4j	jcl-over-slf4j	1.7.30
org.slf4j	jul-to-slf4j	1.7.30
org.slf4j	slf4j-api	1.7.30
org.slf4j	slf4j-log4j12	1.7.30
org.spark-project.spark	未使用的	1.0.0
org.springframework	spring核心	4.1.4.RELEASE
org.springframework	spring測試	4.1.4.RELEASE
org.threeten	threeten-extra	1.5.0
org.tukaani	xz	1．5
org.typelevel	algebra_2.12	2.0.0-M2
org.typelevel	cats-kernel_2.12	2.0.0-M4
org.typelevel	machinist_2.12	0.6.8
org.typelevel	macro-compat_2.12	1.1.1
org.typelevel	spire-macros_2.12	0.17.0-M1
org.typelevel	spire-Beplay体育安卓版本platform_2.12	0.17.0-M1
org.typelevel	spire-util_2.12	0.17.0-M1
org.typelevel	spire_2.12	0.17.0-M1
org.wildfly.openssl	wildfly-openssl	1.0.7.Final
org.xerial	sqlite-jdbc	3.8.11.2
org.xerial.snappy	snappy-java	1.1.8.2
org.yaml	snakeyaml	1.24
奧羅	奧羅	2.0.8
pl.edu.icm	JLargeArrays	1．5
software.amazon.ion	ion-java	1.0.2中
stax	stax-api	1.0.1
xmlenc	xmlenc	0.52