Databricks Runtime 9.0(不支持)
以下版本說明提供了由Apache Spark 3.1.2支持的Databricks Runtime 9.0和Databricks Runtime 9.0 Photon的相關信息。Databricks在2021年8月發布了這些圖片。光子是在公共預覽.
新功能和改進
用於數據集彙總統計的新API(公開預覽)
新dbutils.data.summarize
命令允許您啟動一個Spark作業,該作業自動計算Spark DataFrame的列的彙總統計信息,然後以交互的方式顯示結果。該函數在Scala和Python中可用。看到數據效用(dbutils.data).
Azure Synapse連接器的外部數據源配置更簡單
新externalDataSource
選項Azure突觸分析連接器允許您使用預先配置的外部數據源從Azure Synapse數據庫讀取數據。的externalDataSource
選項刪除了對控製
之前許可要求。
當設置externalDataSource
,外部數據源和tempDir
用於配置臨時存儲的選項必須引用存儲帳戶中的相同容器。
可選地,將會話限製為Amazon Redshift連接器的指定持續時間
新fs.s3a.assumed.role.session.duration
選項亞馬遜紅移連接器允許您在Redshift使用假定的角色訪問臨時S3桶時為會話設置持續時間。
自動加載程序
優化文件清單
當列出雲存儲中的嵌套目錄時,包括AWS S3、Azure數據湖存儲Gen2 (ADLS Gen2)和穀歌雲存儲(GCS), Auto Loader優化提供了性能改進和成本節約。
例如,如果您上傳的文件是/一些/道路/ / MM / DD / YYYY HH /文件名
,為了找到這些目錄中的所有文件,Auto Loader用來對所有子目錄進行並行列出,造成365(每天)* 24(每小時)= 8760次對底層存儲的LIST API目錄調用。通過接收來自這些存儲係統的扁平響應,Auto Loader將API調用的數量減少到存儲係統中的文件數量除以每個API調用返回的結果數量(S3為1000,ADLS Gen2為5000,GCS為1024),大大降低了您的雲計算成本。
優化的圖像數據存儲
Auto Loader現在可以自動檢測正在攝入的圖像數據,並優化其在Delta表中的存儲,以提高讀寫性能。看到將圖像或二進製數據輸入到Delta Lake進行ML.
二進製文件的圖像縮略圖(公開預覽)
圖片binaryFile
使用Auto Loader加載或保存為Delta表的格式附有注釋,以便在Databricks筆記本中顯示表時顯示圖像縮略圖。有關更多信息,請參見圖片.
DirectoryRename
事件支持對多個文件進行原子處理
在Azure Data Lake Storage Gen2上的Databricks Runtime 9.0及以上版本中創建的Auto Loader流設置了文件事件通知,包括目錄重命名和偵聽RenameDirectory
事件。您可以使用目錄重命名使多個文件以原子方式顯示給自動加載器。
SQL
排除列選擇*
(公共預覽版)
選擇*
現在支持一個除了
關鍵字,該關鍵字允許您從展開中排除指定的頂級列。例如,選擇*除了(b)從資源描述
從具有模式的表(一個b,c)
擴大到(一個c)
.
SQL標量函數(公共預覽)
創建函數
現在支持SQL標量函數。可以創建接受一組參數並返回單個標量類型值的標量函數。SQL函數體可以是任何表達式。例如:
創建函數廣場(x雙)返回雙返回x*x;選擇廣場(2);
有關詳細信息,請參見創建函數(SQL).
中引用前麵的別名和列從
子查詢(公共預覽版)
子查詢的從
子句的前麵現在可以加上橫向
關鍵字,該關鍵字允許它們引用前麵的別名和列從
物品。例如:
選擇*從t1,橫向(選擇*從t2在哪裏t1.c1=t2.c1)
的橫向
關鍵詞支持內心的
,交叉
,左(外部)加入
.
R的支持
筆記本範圍的R圖書館(公開預覽)
筆記本範圍的庫允許您安裝庫並創建一個筆記本會話範圍的環境。這些庫不會影響運行在同一集群上的其他筆記本。這些庫在驅動程序節點和工作節點上都可用,因此可以在用戶定義的函數中引用它們。看到Notebook-scoped R庫.
在R筆記本上的警告信息
的默認值警告
選項現在設置為1在R筆記本。因此,所有警告現在都作為命令結果的一部分公開。要了解更多關於警告
選項,看到選項設置.
為結構化流狀態處理指定初始狀態,避免重做
您現在可以使用為結構化流有狀態處理指定用戶定義的初始狀態(平)MapGroupsWithState
操作符。
Delta MERGE INTO命令的低洗牌實現現在可用(公開預覽)
δ合並成
命令有一個新的實現,可以減少對未修改行的洗牌。這提高了命令的性能,並有助於保留表上現有的集群,例如z排序。啟用低洗牌合並,設置spark.databricks.delta.merge.enableLowShuffle
來真正的
.看到低洗牌合並在Databricks.
庫升級
升級的Python庫:
2021.5.30至2020.12.5的證書
Chardet從3.0.4到4.0.0
Cython從0.29.21到0.29.23
從4.4.2到5.0.6的Decorator
Ipython從7.19.0到7.22.0
Joblib從0.17.0到1.0.1
從6.1.7到6.1.12的木星客戶端
從4.6.3到4.7.1的木星核心
新西蘭從1.3.0升級到1.3.1
Matplotlib從3.2.2到3.4.2
熊貓從1.1.5到1.2.4
PIP從20.2.4到21.0.1
從3.0.8到3.0.17的提示-工具包
從3.17.3到3.17.2的Protobuf
Ptyprocess從0.6.0到0.7.0
Pyarrow從1.0.1到4.0.0
2.7.2到2.8.1的pygts
從19.0.2到20.0.0的Pyzmq
從2.24.0到2.24.1的請求
S3transfer從0.3.6到0.3.7
Scikit-learn從0.23.2到0.24.1
從1.5.2到1.6.2的Scipy
從0.10.0海運到0.11.1
Setuptools從50.3.1到52.0.0
statmodeler從0.12.0到0.12.2
龍卷風從6.0.4到6.1
Virtualenv從20.2.1到20.4.1
輪子從0.35.1轉到0.36.2
升級R庫:
矩陣從1.3-3到1.3-4
Apache火花
Databricks Runtime 9.0包含Apache Spark 3.1.2。該版本包括所有Spark修複和改進Databricks運行時8.4(不支持),以及對Spark進行的以下額外bug修複和改進:
(火花- 35886)[SQL][3.1] PromotePrecision不應覆蓋genCodePromotePrecision不應覆蓋genCode
(火花- 35879)[CORE][SHUFFLE]修複由collectFetchRequests導致的性能下降
(火花- 35817)[SQL][3.1]恢複對寬Avro表的查詢性能
(火花- 35841)將字符串轉換為十進製類型不能工作,如果…
(火花- 35783)[SQL]在任務配置中設置讀列列表,減少ORC數據的讀取
(火花- 35576)[SQL][3.1]編輯Set命令結果中的敏感信息
(火花- 35449)[SQL][3.1]如果設置了elseValue,則隻從CaseWhen值中提取通用表達式
(火花- 35288)[SQL] StaticInvoke應該找到沒有精確參數類匹配的方法
(火花- 34794)修複嵌套DataFrame函數中的lambda變量名問題
(火花- 35278)[SQL]調用應該找到具有正確參數數量的方法
(火花- 35226)在JDBC數據源中支持refreshKrb5Config選項
(火花- 35244)調用應該拋出原始異常
(火花- 35213)[SQL]保持嵌套結構在chain withField操作中的正確順序
(火花- 35087)[UI] stage-detail頁麵的aggregate Metrics by Executor表中的一些列顯示錯誤。
(火花- 35168)[SQL] mapred.reduce.tasks應該是shuffle。分區不adaptive.coalescePartitions.initialPartitionNum
(火花- 35127)當我們在不同的舞台細節頁麵之間切換時,新打開的頁麵中的條目可能是空白的
(火花- 35142)[PYTHON][ML]修複錯誤的返回類型
rawPredictionUDF
在OneVsRestModel
(火花- 35096)[SQL] SchemaPruning應該堅持spark.sql.caseSensitive配置
(火花- 34639)[SQL] [3.1] RelationalGroupedDataset。alias不應該創建UnresolvedAlias
(火花- 35080)[SQL]在聚合子查詢時,隻允許相關相等謂詞的子集
(火花- 35117)[UI]更改進度條,以突出顯示正在進行的任務的比例
(火花- 35136)刪除LiveStage.info的初始空值
(火花- 34834)修複TransportResponseHandler中潛在的Netty內存泄漏
(火花- 35045)[SQL]增加一個內部選項來控製大學的輸入緩衝區
(火花- 35014)修複PhysicalAggregation模式,使其不重寫可折疊表達式
(火花- 35019)[PYTHON][SQL]修複pyspark.sql.*中的類型提示不匹配問題
(火花- 34926)[SQL][3.1] PartitioningUtils.getPathFragment()應該尊重分區值為空
(火花- 34630)為pyspark添加類型提示。版本
(火花- 34963)修複了從struct數組中提取不區分大小寫的struct字段的嵌套列修剪
(火花- 34988)[3.1]升級CVE-2021-28165的Jetty
(火花- 34922)[SQL][3.1]在CBO中使用相對成本比較函數
(火花- 34970)[SQL][SECURITY][3.1]在explain()的輸出中編校映射類型選項
(火花- 34923)如果有更多的計劃,元數據輸出應該為空
(火花- 34949)[CORE]當Executor關閉時,阻止BlockManager重新注冊
(火花- 34939)當無法反序列化廣播映射狀態時拋出獲取失敗異常
(火花- 34909)修複conv()中負號到無符號的轉換
(火花- 34845)ProcfsMetricsGetter不應該返回部分procfs度量
(火花- 34814)LikeSimplification應該處理NULL
(火花- 34876)[SQL]填充非空聚合的defaultResult
(火花- 34829)修正高階函數的結果
(火花- 34840)[SHUFFLE]修複合並SHUFFLE中的腐敗情況…
(火花- 34833)[SQL]為相關子查詢正確應用右填充
(火花- 34630)[PYTHON][SQL]為pyspark.sql.Column.contains增加了類型提示
(火花- 34763)[SQL] col(), $ "
"和df(" name ")應該正確處理帶引號的列名 (火花- 33482)(火花- 34756)[SQL] Fix FileScan equal check
(火花- 34790)[CORE]當啟用io加密時,禁止批量抓取shuffle block
(火花- 34803)[PYSPARK]如果導入熊貓或pyarrow失敗,傳遞引發的ImportError
(火花- 34225)當一個URI表單字符串被傳遞給addFile或addJar時,不要進一步編碼
(火花- 34811)(核心)修訂fs.s3a.access。密鑰就像秘密和標記
(火花- 34796)[SQL][3.1]在doProduce()中初始化LIMIT代碼生成的計數器變量
(火花- 34128)[SQL]抑製THRIFT-4805中涉及的不需要的TTransportException警告
(火花- 34776)嵌套列修剪不應該修剪窗口生成的屬性
(火花- 34087)[3.1][SQL]修複ExecutionListenerBus內存泄漏問題
(火花- 34772)[SQL] RebaseDateTime loadRebaseRecords應該使用Spark類加載器而不是上下文
(火花- 34719)[SQL][3.1]正確解析有重複列名的視圖查詢
(火花- 34766)[SQL][3.1]不捕獲視圖的maven配置
(火花- 34731)在編輯EventLoggingListener中的屬性時避免ConcurrentModificationException
(火花- 34737)[SQL][3.1]將輸入float轉換為double in
TIMESTAMP_SECONDS
(火花- 34749)[SQL][3.1]簡化ResolveCreateNamedStruct
(火花- 34768)[SQL]使用大學默認的輸入緩衝區大小
(火花- 34770)[SQL] InMemoryCatalog。如果數據庫不存在,tableExists應該不會失敗
(火花- 34504)[SQL]避免為DDL命令解析不必要的SQL臨時視圖
(火花- 34727)修複了將float轉換為timestamp的不一致
(火花- 34723)[SQL]正確的參數類型消除子表達式在整個階段
(火花- 34724)修複了用getMethod代替getDeclaredMethod的解釋計算問題
(火花- 34713)[SQL]修複組CreateStruct與ExtractValue
(火花- 34697)[SQL] Allow DESCRIBE FUNCTION and SHOW FUNCTIONS解釋||(字符串連接操作符)
(火花- 34682)[SQL]使用PrivateMethodTester代替反射
(火花- 34682)在CustomShuffleReaderExec中修複規範化錯誤檢查中的回歸問題
(火花- 34681)修複了不相等條件下構建左側時的完整外部洗牌哈希連接的錯誤
(火花- 34545)修複了軟錳礦的valueCompare特性的問題
(火花- 34607)[SQL] [3.1]
Utils.isMemberClass
修複jdk8u上畸形的類名錯誤(火花- 34596)[SQL]使用跑龍套。getSimpleName以避免觸及NewInstance.doGenCode中的畸形類名
(火花- 34613)修複視圖不捕獲禁用提示配置
(火花- 32924)[web]使主UI中的duration列按照正確的順序排序
(火花- 34482)更正StreamExecution.logicalPlan的活動SparkSession
(火花- 34567)CreateTableAsSelect也應該更新度量
(火花- 34599)修複了INSERT INTO OVERWRITE不支持DSv2包含點的分區列的問題
(火花- 34577)的數據集中刪除/添加列的問題
描述名稱空間
(火花- 34584)靜態分區在插入到v2表時也應該遵循StoreAssignmentPolicy
(火花- 34555)解析DataFrame的元數據輸出
(火花- 34534)修正了使用FetchShuffleBlocks獲取塊時的blockIds順序
(火花- 34547)最後才使用元數據列進行解析
(火花- 34417)[SQL] org.apache.spark.sql.DataFrameNaFunctions.fillMap因列名中有一個點而失敗
(火花- 34561)修複了從/到v2數據集中刪除/添加列的問題
描述表格
(火花- 34556)檢查重複的靜態分區列應尊重區分大小寫的conf
(火花- 34392)[SQL]在DateTimeUtils中支持ZoneOffset +h:mmgetZoneId
(火花- 34550)在推濾到Hive metastore時,跳過InSet null值
(火花- 34543)[SQL]尊重
spark.sql.caseSensitive
在解決v1中的分區規範時進行配置集位置
(火花- 34436)DPP支持LIKE任意/所有表達式
(火花- 34531)刪除PrometheusServlet中的Experimental API標簽
(火花- 34497)修複內置JDBC連接提供程序以恢複JVM安全上下文更改
(火花- 34515)[SQL]修複InSet在getPartitionsByFilter過程中包含空值的NPE
(火花- 34490)如果視圖引用了被刪除的表,分析就會失敗
(火花- 34473)[SQL]避免在dataframerader .schema(StructType)中使用NPE
(火花- 34384)[CORE]為ResourceProfile api添加缺少的文檔
(火花- 34373)[SQL] HiveThriftServer2 startWithContext可能掛起與種族問題
(火花- 20977)使用非final字段作為CollectionAccumulator的狀態
(火花- 34421)解析帶有cte的視圖中的臨時函數和視圖
(火花- 34431)(核心)隻有負載
hive-site.xml
一次(火花- 34405)修複PrometheusServlet類中timersLabels的平均值
(火花- 33438)使用已定義的SQL conf命令主動初始化對象
集- v
(火花- 34158)pom.xml中唯一的開發人員Matei的url錯誤
(火花- 34346)[CORE][SQL][3.1] spark.buffer.size設置的io.file.buffer.size將被重載hive-site.xml時不小心導致perf回歸
(火花- 34359)[SQL][3.1]添加一個遺留配置來恢複SHOW數據庫的輸出模式
(火花- 34331)[SQL]加速DS v2元數據解析
(火花- 34318)數據集[SQL][3.1]。colRegex應該與包含換行符的列名和限定符一起工作
(火花- 34326)[CORE][SQL]修複SPARK-31793中根據臨時路徑長度增加的UTs
(火花- 34319)[SQL]解析FlatMapCoGroupsInPandas/MapInPandas的重複屬性
(火花- 34310)[CORE][SQL]將map和flatten替換為flatMap
(火花- 34083)[SQL][3.1]使用TPCDS對char/varchar列的原始定義
(火花- 34233)[SQL][3.1]修複二進製比較中字符填充的NPE
(火花- 34270)[SS] Combine StateStoreMetrics不應該覆蓋StateStoreCustomMetric
(火花- 34144)試圖將LocalDate和Instant值寫入JDBC關係時拋出異常
(火花- 34273)當SparkContext停止時,不要重新注冊BlockManager
(火花- 34262)[SQL][3.1]刷新v1表的緩存數據
改變表格..集位置
(火花- 34275)[CORE][SQL][MLLIB]將過濾器和大小替換為計數
(火花- 34260)修複了兩次創建臨時視圖時出現的未解析dexception問題
(火花- 33867)生成SQL查詢時不處理Instant和LocalDate值
(火花- 34193)[核心]TorrentBroadcast塊管理器退役比賽修複
(火花- 34221)[web]確保在UI頁麵某一階段出現故障時,能夠正確顯示相應的錯誤提示
(火花- 34236)[SQL] Fix v2 Overwrite w/ null static partition raise無法將表達式轉換為源過濾器:null
(火花- 34212)修複從Parquet文件中讀取錯誤的十進製
(火花- 34244)[SQL]刪除Scala函數版本的regexp_extract_all
(火花- 34235)[SS]將spark.sql.hive作為一個私有包
(火花- 34232)在日誌中編輯SparkListenerEnvironmentUpdate事件
(火花- 34229)Avro應該在文件模式中讀取十進製值
(火花- 34223)[SQL]修複靜態分區InsertIntoHadoopFsRelationCommand為空的NPE
(火花- 34192)移動字符填充到寫端並刪除讀端長度檢查
(火花- 34203)[SQL]轉換
零
分區的值__HIVE_DEFAULT_PARTITION__
在v1內存中
目錄(火花- 33726)修複聚合過程中字段名重複的問題
(火花- 34133)[AVRO]在執行Catalyst-to-Avro字段匹配時,尊重大小寫敏感性
(火花- 34187)[SS]在檢查偏移驗證時,使用輪詢期間獲得的可用偏移範圍
(火花- 34052)[SQL][3.1]存儲使用“CACHE TABLE ..”創建的臨時視圖的SQL文本。當選擇……”
(火花- 34213)刷新v1表的緩存數據
負載數據
(火花- 34191)[PYTHON][SQL]為udf重載添加類型
(火花- 34200)不明確的列引用應考慮屬性可用性
(火花- 33813)[SQL][3.1]修複JDBC源代碼不能處理MS SQL Server的空間類型的問題
(火花- 34178)複製multiinstancerrelated . newinstance創建的新節點的標記
(火花- 34005)[CORE][3.1]更新任務端每個Executor的峰值內存指標
(火花- 34115)檢查SPARK_TESTING為惰性值以避免減速
(火花- 34153)[SQL][3.1][3.0]刪除未使用的
getRawTable ()
從HiveExternalCatalog.alterPartitions ()
(火花- 34130)使用StaticInvoke改進char varchar填充和長度檢查的預formace
(火花- 34027)[SQL][3.1]刷新緩存
改變表格..恢複分區
(火花- 34151)[SQL]替換
java.io.File.toURL
與java.io.File.toURI.toURL
(火花- 34140)[SQL] [3.1] QueryCompilationErrors移動。scala org/apache/spark/sql/errors
(火花- 34080)(毫升)(PYTHON)添加UnivariateFeatureSelector
(火花- 33790)[CORE][3.1]減少SingleFileEventLogFileReader中getFileStatus的rpc調用
(火花- 34118)[CORE][SQL][3.1]用exists或forall替換過濾器和空檢查
(火花- 34114)[SQL]不應該對讀側字符長度檢查和填充進行右修剪
(火花- 34086)[SQL][3.1] RaiseError生成太多的代碼,可能在字符varchar的長度檢查中代碼生成失敗
(火花- 34075)[SQL][CORE]正在列出用於分區推斷的隱藏目錄
(火花- 34076)[SQL] SQLContext。如果緩存非空,dropTempTable失敗
(火花- 34084)[SQL][3.1]修複了表統計信息的自動更新
改變表格..添加分區
(火花- 34090)緩存HadoopDelegationTokenManager [SS]。KafkaTokenUtil.needTokenUpdate中使用的isServiceEnabled結果
(火花- 34069)Kill barrier任務應該尊重SPARK_JOB_INTERRUPT_ON_CANCEL
(火花- 34091)[SQL] Shuffle批處理獲取應該能夠禁用後,它被啟用
(火花- 34059)[SQL][CORE][3.1]使用for/foreach而不是map來確保它的執行是急切的
(火花- 34002)修正ScalaUDF中編碼器的使用
(火花- 34060)[SQL][3.1]修複Hive表緩存的問題
改變表格..下降分區
(火花- 31952)修複聚合時不正確的內存溢出度量
(火花- 33591)[SQL][3.1]識別
零
分區規格值(火花- 34055)[SQL][3.1]刷新緩存
改變表格..添加分區
(火花- 34039)[SQL][3.1] ReplaceTable應該使緩存失效
(火花- 34003)修複PaddingAndLengthCheckForCharVarchar和ResolveAggregateFunctions之間的規則衝突
(火花- 33938)[SQL][3.1]通過Like esimplification進行Like Any/All的優化
(火花- 34021)修複SparkR文檔中CRAN提交的超鏈接
(火花- 34011)[SQL][3.1][3.0]刷新緩存
改變表格..重命名來分區
(火花- 33948)[SQL]修複MapObjects的CodeGen錯誤doGenCode方法
(火花- 33635)[SS]調整KafkaTokenUtil檢查的順序。needTokenUpdate修正perf回歸
(火花- 33029)[CORE][web]修複UI執行程序頁麵錯誤地將驅動程序標記為排除
(火花- 34015)[R]修正gapply的輸入時序
(火花- 34012)[SQL]在conf . conf . conf時保持行為一致
spark.sql.legacy.parser.havingWithoutGroupByAsWhere
遷移指南是正確的嗎(火花- 33844)[SQL][3.1] InsertIntoHiveDir命令也應該檢查col名稱
(火花- 33935)修正CBO成本函數
(火花- 33100)[SQL]忽略spark-sql中括號注釋中的分號
(火花- 34000)修複了stageAttemptToNumSpeculativeTasks java.util.NoSuchElementException問題
(火花- 33992)[SQL]重寫transformUpWithNewOutput添加allowInvokingTransformsInAnalyzer
(火花- 33894)改變mllib中私有case類的可見性,以避免Scala 2.13的運行時編譯錯誤
(火花- 33950)[SQL][3.1][3.0]在v1中刷新緩存
改變表格..下降分區
(火花- 33980)[SS]在spark.readStream.schema中無效char/varchar
(火花- 33945)[SQL][3.1]處理由expr樹組成的隨機種子
(火花- 33398)修複Spark 3.0之前的加載樹模型
(火花- 33963)[SQL]規範化
HiveTableRelation
w / o表統計(火花- 33906)修複了UI Executor頁麵由於未定義的peakMemoryMetrics卡住的bug
(火花- 33944)SharedState選項中倉庫鍵的錯誤日誌記錄
(火花- 33936)[SQL][3.1]添加添加連接器接口時的版本
(火花- 33916)修複回退存儲偏移,提高壓縮編解碼器測試覆蓋率
(火花- 33899)[SQL][3.1]修複v1 SHOW表/視圖的斷言失敗
spark_catalog
(火花- 33901)修複ddl後Char和Varchar顯示錯誤
(火花- 33897)[SQL]不能在連接方法中設置選項“交叉”
(火花- 33907)[SQL][3.1]如果解析選項為空,則隻刪除JsonToStructs的列
(火花- 33621)(火花- 33784)[SQL][3.1]添加一種注入數據源重寫規則的方法
(火花- 33900)[web]當隻有remotebytesread可用時,正確顯示shuffle讀大小/記錄
(火花- 33892)[SQL]在DESC和SHOW CREATE TABLE中顯示char/varchar
(火花- 33895)[SQL] Char和Varchar在ThriftServer的元操作中失敗
(火花- 33659)記錄DataStreamWriter的當前行為。toTable API
(火花- 33893)從executorList中排除回退塊管理器
(火花- 33277)[PYSPARK][SQL]使用contconttawareiterator在任務結束後停止消費
(火花- 33889)[SQL][3.1] Fix NPE from
顯示分區
V2表上(火花- 33879)[SQL] Char Varchar值失敗,匹配錯誤作為分區列
(火花- 33877)[SQL] INSERT的SQL參考文檔
(火花- 33876)[SQL]增加長度檢查,從有外部位置的表中讀取char/varchar
(火花- 33846)在StructType.toDDL中包含嵌套模式的注釋
(火花- 33860)[SQL] CatalystTypeConverters。convertToCatalyst匹配特殊的數組值
(火花- 33834)用Char和Varchar驗證ALTER TABLE CHANGE COLUMN
(火花- 33853)[SQL] EXPLAIN CODEGEN和BenchmarkQueryTest不顯示子查詢代碼
(火花- 33836)[SS] [PYTHON)暴露DataStreamReader。表和DataStreamWriter.toTable
(火花- 33829)[SQL][3.1]重命名v2表將重新創建緩存
(火花- 33756)使bytestbytesmap的MapIterator冪等
(火花- 33850)如果啟用了AQE, [SQL] EXPLAIN formatting不會顯示子查詢的計劃
(火花- 33841)[3.1]修複了高負載下SHS中作業間歇性消失的問題
(火花- 33593)向量閱讀器的二進製分區值數據不正確
(火花- 26341)在“階段”選項卡中,公開執行程序在階段級別的內存指標
(火花- 33831)[UI]更新到碼頭9.4.34
(火花- 33822)[SQL]使用
CastSupport.cast
方法在HashJoin(火花- 33774)[UI][CORE] Back to Master "在獨立集群中返回500錯誤
(火花- 26199)(火花- 31517)[R]修正處理…名字變異的策略
(火花- 33819)[CORE][3.1] SingleFileEventLogFileReader/RollingEventLogFilesFileReader應該是
包私人
(火花- 33697)[SQL] RemoveRedundantProjects默認情況下需要列排序
(火花- 33752)[SQL][3.1]避免AnalysisException的getSimpleMessage重複添加分號
(火花- 33788)[SQL][3.1][3.0][2.4] Throw NoSuchPartitionsException from HiveExternalCatalog.dropPartitions()
(火花- 33803)[SQL]在description table命令中按鍵排序表屬性
(火花- 33786)[SQL]當表名被改變時,緩存的存儲級別應該被尊重
(火花- 33273)修複子查詢執行時的競態條件
(火花- 33653)[SQL][3.1] DSv2: REFRESH TABLE應該重新緩存表本身
(火花- 33777)[SQL]對V2 SHOW partition的輸出進行排序
(火花- 33733)[SQL] PullOutNondeterministic應該檢查並收集確定性字段
(火花- 33764)[SS]將狀態存儲維護間隔設置為SQL配置
(火花- 33729)[SQL]當刷新緩存時,Spark在重新讀取數據時不應該使用緩存計劃
(火花- 33742)[SQL][3.1]拋出PartitionsAlreadyExistException from HiveExternalCatalog.createPartitions()
(火花- 33706)在partitionExists()中需要完全指定的分區標識符
(火花- 33740)hive-site.xml中的hadoop配置可以覆蓋已經存在的hadoop配置
(火花- 33692)視圖應該使用捕獲的目錄和命名空間來查找函數
(火花- 33669)當sc.在YARN客戶端模式下停止時,來自YARN應用程序狀態監視器的錯誤消息
(火花- 32110)[SQL] normalize hyperloglog++中的特殊浮點數
(火花- 33677)如果pattern中包含任何escapeChar,則跳過LikeSimplification規則
(火花- 33693)[SQL]輕視spark.sql.hive.convertCTAS
(火花- 33641)在產生錯誤結果的公共api中,無效新的char/varchar類型
(火花- 32680)[SQL]不處理未解析查詢的V2 CTAS
(火花- 33676)[SQL]要求分區規範與V2中的模式完全匹配
改變表格..添加/刪除分區
(火花- 33670)在v1 SHOW TABLE EXTENDED中驗證分區提供程序是Hive
(火花- 33663)不應該在不存在的臨時視圖上調用取消緩存
(火花- 33667)[SQL]尊重
spark.sql.caseSensitive
在解決v1中的分區規範時進行配置顯示分區
(火花- 33652)[SQL] DSv2: DeleteFrom應該刷新緩存
係統環境
操作係統: Ubuntu 20.04.2 LTS
Java:祖魯8.54.0.21-CA-linux64
Scala: 2.12.10
Python: 3.8.10
R: 4.1.0 (2021-05-18)
三角洲湖1.0.0
安裝Python庫
圖書館 |
版本 |
圖書館 |
版本 |
圖書館 |
版本 |
---|---|---|---|---|---|
Antergos Linux |
2015.10 (ISO-Rolling) |
appdirs |
1.4.4 |
backcall |
0.2.0 |
boto3 |
1.16.7 |
botocore |
1.19.7 |
certifi |
2020.12.5 |
chardet |
4.0.0 |
周期計 |
0.10.0 |
Cython |
0.29.23 |
dbus-python |
1.2.16 |
裝飾 |
5.0.6 |
distlib |
0.3.2 |
distro-info |
0.23 ubuntu1 |
facets-overview |
1.0.0 |
filelock |
3.0.12 |
idna |
2.10 |
ipykernel |
5.3.4 |
ipython |
7.22.0 |
ipython-genutils |
0.2.0 |
絕地武士 |
0.17.2 |
jmespath |
0.10.0 |
joblib |
1.0.1 |
jupyter-client |
6.1.12 |
jupyter-core |
4.7.1 |
kiwisolver |
1.3.1 |
考拉 |
1.8.1 |
matplotlib |
3.4.2 |
numpy |
1.19.2 |
熊貓 |
1.2.4 |
parso |
0.7.0 |
容易受騙的人 |
0.5.1 |
pexpect |
4.8.0 |
pickleshare |
0.7.5 |
枕頭 |
8.2.0 |
皮普 |
21.0.1 |
情節 |
4.14.3 |
prompt-toolkit |
3.0.17 |
protobuf |
3.17.2 |
psycopg2 |
2.8.5 |
ptyprocess |
0.7.0 |
pyarrow |
4.0.0 |
Pygments |
2.8.1發布 |
PyGObject |
3.36.0 |
pyparsing |
2.4.7 |
python-apt |
2.0.0 + ubuntu0.20.4.5 |
python-dateutil |
2.8.1發布 |
pytz |
2020.5 |
pyzmq |
20.0.0 |
請求 |
2.25.1 |
requests-unixsocket |
0.2.0 |
重試 |
1.3.3 |
s3transfer |
0.3.7 |
scikit-learn |
0.24.1 |
scipy |
1.6.2 |
seaborn |
0.11.1 |
setuptools |
52.0.0 |
六個 |
1.15.0 |
ssh-import-id |
5.10 |
statsmodels |
0.12.2 |
threadpoolctl |
魅惑 |
龍卷風 |
6.1 |
traitlets |
5.0.5 |
unattended-upgrades |
0.1 |
urllib3 |
1.25.11 |
virtualenv |
20.4.1 |
wcwidth |
0.2.5 |
輪 |
0.36.2 |
安裝R庫
R庫從Microsoft CRAN快照於2021年7月28日.
圖書館 |
版本 |
圖書館 |
版本 |
圖書館 |
版本 |
---|---|---|---|---|---|
askpass |
1.1 |
為了 |
0.2.1 |
補丁 |
1.2.1 " |
基地 |
4.1.0 |
base64enc |
0.1 - 3 |
黑洞 |
1.72.0-3 |
位 |
4.0.4 |
bit64 |
你 |
團 |
1.2.1 " |
引導 |
-28 - 1.3 |
釀造 |
1.0 6 |
生動 |
1.1.0 |
掃帚 |
0.7.2 |
callr |
3.5.1 |
脫字符號 |
-86 - 6.0 |
cellranger |
1.1.0 |
時間 |
-56 - 2.3 |
類 |
-19 - 7.3 |
cli |
2.2.0 |
clipr |
是0.7.1 |
集群 |
2.1.2 |
codetools |
-18 - 0.2 |
色彩 |
2.0 0 |
commonmark |
1.7 |
編譯器 |
4.1.0 |
配置 |
0.3 |
covr |
3.5.1 |
cpp11 |
0.2.4 |
蠟筆 |
1.3.4 |
憑證 |
1.3.0 |
相聲 |
1.1.0.1 |
旋度 |
4.3 |
data.table |
1.13.4 |
數據集 |
4.1.0 |
DBI |
1.1.0 |
dbplyr |
2.0.0 |
desc |
1.2.0 |
devtools |
2.3.2 |
diffobj |
0.3.2 |
消化 |
0.6.27 |
dplyr |
1.0.2中 |
DT |
0.16 |
省略 |
0.3.1 |
評估 |
0.14 |
fansi |
0.4.1 |
farver |
2.0.3 |
fastmap |
1.0.1 |
forcats |
0.5.0 |
foreach |
1.5.1 |
外國 |
-81 - 0.8 |
打造 |
0.2.0 |
fs |
1.5.0 |
未來 |
1.21.0 |
泛型 |
0.1.0 |
哥特 |
1.0.2中 |
ggplot2 |
3.3.2 |
“大酒店” |
1.2.0 |
gitcreds |
0.1.1 |
glmnet |
4.0 - 2 |
全局變量 |
0.14.0 |
膠水 |
1.4.2 |
高爾 |
0.2.2 |
圖形 |
4.1.0 |
grDevices |
4.1.0 |
網格 |
4.1.0 |
gridExtra |
2.3 |
gsubfn |
0.7 |
gtable |
0.3.0 |
還 |
2.3.1 |
highr |
0.8 |
hms |
0.5.3 |
htmltools |
0.5.0 |
htmlwidgets |
1.5.3 |
httpuv |
1.5.4 |
httr |
1.4.2 |
hwriter |
1.3.2 |
hwriterPlus |
1.0 - 3 |
ini |
0.3.1 |
不小 |
0.9 9 |
isoband |
0.2.3 |
迭代器 |
1.0.13 |
jsonlite |
1.7.2 |
KernSmooth |
-20 - 2.23 |
knitr |
1.30 |
標簽 |
0.4.2 |
晚些時候 |
1.1.0.1 |
晶格 |
-44 - 0.20 |
熔岩 |
1.6.8.1 |
lazyeval |
0.2.2 |
生命周期 |
0.2.0 |
listenv |
0.8.0 |
lubridate |
1.7.9.2 |
magrittr |
2.0.1 |
減價 |
1.1 |
質量 |
-54 - 7.3 |
矩陣 |
1.3 - 4 |
memoise |
1.1.0 |
方法 |
4.1.0 |
mgcv |
-36 - 1.8 |
mime |
0.9 |
ModelMetrics |
1.2.2.2 |
modelr |
0.1.8 |
孟塞爾 |
0.5.0 |
nlme |
-152 - 3.1 |
nnet |
-16 - 7.3 |
numDeriv |
2016.8 - -1.1 |
openssl |
3 |
平行 |
4.1.0 |
平行 |
1.22.0 |
支柱 |
1.4.7 |
pkgbuild |
1.1.0 |
pkgconfig |
2.0.3 |
pkgload |
1.1.0 |
plogr |
0.2.0 |
plyr |
1.8.6 |
讚美 |
1.0.0 |
prettyunits |
1.1.1 |
pROC |
1.16.2 |
processx |
3.4.5 |
prodlim |
2019.11.13 |
進步 |
1.2.2 |
承諾 |
1.1.1 |
原型 |
1.0.0 |
ps |
1.5.0 |
purrr |
0.3.4 |
r2d3 |
0.2.3 |
R6 |
2.5.0 |
randomForest |
-14 - 4.6 |
rappdirs |
0.3.1 |
rcmdcheck |
1.3.3 |
RColorBrewer |
1.1 - 2 |
Rcpp |
1.0.5 |
readr |
1.4.0 |
readxl |
1.3.1 |
食譜 |
0.1.15 |
複賽 |
1.0.1 |
rematch2 |
2.1.2 |
遙控器 |
2.2.0 |
reprex |
0.3.0 |
reshape2 |
1.4.4 |
雷克斯 |
1.2.0 |
rlang |
0.4.9 |
rmarkdown |
2.6 |
RODBC |
-17 - 1.3 |
roxygen2 |
安裝7.1.1 |
rpart |
-15 - 4.1 |
rprojroot |
2.0.2 |
Rserve |
1.8 8 |
RSQLite |
2.2.1 |
rstudioapi |
0.13 |
rversions |
2.0.2 |
房車 |
0.3.6 |
尺度 |
1.1.1 |
selectr |
0.4 - 2 |
sessioninfo |
1.1.1 |
形狀 |
1.4.5 |
閃亮的 |
1.5.0 |
sourcetools |
0.1.7 |
sparklyr |
1.5.2 |
SparkR |
3.1.1 |
空間 |
-11 - 7.3 |
樣條函數 |
4.1.0 |
sqldf |
-11 - 0.4 |
SQUAREM |
2020.5 |
統計數據 |
4.1.0 |
stats4 |
4.1.0 |
stringi |
1.5.3 |
stringr |
1.4.0 |
生存 |
-11 - 3.2 |
sys |
3.4 |
tcltk |
4.1.0 |
TeachingDemos |
2.10 |
testthat |
3.0.0 |
寵物貓 |
3.0.4 |
tidyr |
1.1.2 |
tidyselect |
1.1.0 |
tidyverse |
1.3.0 |
timeDate |
3043.102 |
tinytex |
0.28 |
工具 |
4.1.0 |
usethis |
2.0.0 |
use utf8 |
1.1.4 |
跑龍套 |
4.1.0 |
uuid |
0.1 - 4 |
vctrs |
0.3.5 |
viridisLite |
0.3.0 |
沃爾多 |
0.2.3 |
晶須 |
0.4 |
withr |
tripwire |
xfun |
0.19 |
xml2 |
1.3.2 |
xopen |
1.0.0 |
xtable |
1.8 - 4 |
yaml |
2.2.1 |
郵政編碼 |
2.1.1 |
已安裝的Java和Scala庫(Scala 2.12集群版本)
組ID |
工件ID |
版本 |
---|---|---|
antlr |
antlr |
2.7.7 |
com.amazonaws |
amazon-kinesis-client |
1.12.0 |
com.amazonaws |
aws-java-sdk-autoscaling |
1.11.655 |
com.amazonaws |
aws-java-sdk-cloudformation |
1.11.655 |
com.amazonaws |
aws-java-sdk-cloudfront |
1.11.655 |
com.amazonaws |
aws-java-sdk-cloudhsm |
1.11.655 |
com.amazonaws |
aws-java-sdk-cloudsearch |
1.11.655 |
com.amazonaws |
aws-java-sdk-cloudtrail |
1.11.655 |
com.amazonaws |
aws-java-sdk-cloudwatch |
1.11.655 |
com.amazonaws |
aws-java-sdk-cloudwatchmetrics |
1.11.655 |
com.amazonaws |
aws-java-sdk-codedeploy |
1.11.655 |
com.amazonaws |
aws-java-sdk-cognitoidentity |
1.11.655 |
com.amazonaws |
aws-java-sdk-cognitosync |
1.11.655 |
com.amazonaws |
aws-java-sdk-config |
1.11.655 |
com.amazonaws |
aws-java-sdk-core |
1.11.655 |
com.amazonaws |
aws-java-sdk-datapipeline |
1.11.655 |
com.amazonaws |
aws-java-sdk-directconnect |
1.11.655 |
com.amazonaws |
aws-java-sdk-directory |
1.11.655 |
com.amazonaws |
aws-java-sdk-dynamodb |
1.11.655 |
com.amazonaws |
aws-java-sdk-ec2 |
1.11.655 |
com.amazonaws |
aws-java-sdk-ecs |
1.11.655 |
com.amazonaws |
aws-java-sdk-efs |
1.11.655 |
com.amazonaws |
aws-java-sdk-elasticache |
1.11.655 |
com.amazonaws |
aws-java-sdk-elasticbeanstalk |
1.11.655 |
com.amazonaws |
aws-java-sdk-elasticloadbalancing |
1.11.655 |
com.amazonaws |
aws-java-sdk-elastictranscoder |
1.11.655 |
com.amazonaws |
aws-java-sdk-emr |
1.11.655 |
com.amazonaws |
aws-java-sdk-glacier |
1.11.655 |
com.amazonaws |
aws-java-sdk-glue |
1.11.655 |
com.amazonaws |
aws-java-sdk-iam |
1.11.655 |
com.amazonaws |
aws-java-sdk-importexport |
1.11.655 |
com.amazonaws |
aws-java-sdk-kinesis |
1.11.655 |
com.amazonaws |
aws-java-sdk-kms |
1.11.655 |
com.amazonaws |
aws-java-sdk-lambda |
1.11.655 |
com.amazonaws |
aws-java-sdk-logs |
1.11.655 |
com.amazonaws |
aws-java-sdk-machinelearning |
1.11.655 |
com.amazonaws |
aws-java-sdk-marketplacecommerceanalytics |
1.11.655 |
com.amazonaws |
aws-java-sdk-marketplacemeteringservice |
1.11.655 |
com.amazonaws |
aws-java-sdk-opsworks |
1.11.655 |
com.amazonaws |
aws-java-sdk-rds |
1.11.655 |
com.amazonaws |
aws-java-sdk-redshift |
1.11.655 |
com.amazonaws |
aws-java-sdk-route53 |
1.11.655 |
com.amazonaws |
aws-java-sdk-s3 |
1.11.655 |
com.amazonaws |
aws-java-sdk-ses |
1.11.655 |
com.amazonaws |
aws-java-sdk-simpledb |
1.11.655 |
com.amazonaws |
aws-java-sdk-simpleworkflow |
1.11.655 |
com.amazonaws |
aws-java-sdk-sns |
1.11.655 |
com.amazonaws |
aws-java-sdk-sqs |
1.11.655 |
com.amazonaws |
aws-java-sdk-ssm |
1.11.655 |
com.amazonaws |
aws-java-sdk-storagegateway |
1.11.655 |
com.amazonaws |
aws-java-sdk-sts |
1.11.655 |
com.amazonaws |
aws-java-sdk-support |
1.11.655 |
com.amazonaws |
aws-java-sdk-swf-libraries |
1.11.22 |
com.amazonaws |
aws-java-sdk-workspaces |
1.11.655 |
com.amazonaws |
jmespath-java |
1.11.655 |
com.chuusai |
shapeless_2.12 |
2.3.3 |
com.clearspring.analytics |
流 |
2.9.6 |
com.databricks |
Rserve |
1.8 - 3 |
com.databricks |
jets3t |
0.7.1-0 |
com.databricks.scalapb |
compilerplugin_2.12 |
0.4.15-10 |
com.databricks.scalapb |
scalapb-runtime_2.12 |
0.4.15-10 |
com.esotericsoftware |
kryo-shaded |
4.0.2 |
com.esotericsoftware |
minlog |
1.3.0 |
com.fasterxml |
同學 |
1.3.4 |
com.fasterxml.jackson.core |
jackson-annotations |
2.10.0 |
com.fasterxml.jackson.core |
jackson-core |
2.10.0 |
com.fasterxml.jackson.core |
jackson-databind |
2.10.0 |
com.fasterxml.jackson.dataformat |
jackson-dataformat-cbor |
2.10.0 |
com.fasterxml.jackson.datatype |
jackson-datatype-joda |
2.10.0 |
com.fasterxml.jackson.module |
jackson-module-paranamer |
2.10.0 |
com.fasterxml.jackson.module |
jackson-module-scala_2.12 |
2.10.0 |
com.github.ben-manes.caffeine |
咖啡因 |
2.3.4 |
com.github.fommil |
jniloader |
1.1 |
com.github.fommil.netlib |
核心 |
1.1.2 |
com.github.fommil.netlib |
native_ref-java |
1.1 |
com.github.fommil.netlib |
native_ref-java-natives |
1.1 |
com.github.fommil.netlib |
native_system-java |
1.1 |
com.github.fommil.netlib |
native_system-java-natives |
1.1 |
com.github.fommil.netlib |
netlib-native_ref-linux-x86_64-natives |
1.1 |
com.github.fommil.netlib |
netlib-native_system-linux-x86_64-natives |
1.1 |
com.github.joshelser |
dropwizard-metrics-hadoop-metrics2-reporter |
0.1.2 |
com.github.luben |
zstd-jni |
1.4.8-1 |
com.github.wendykierp |
JTransforms |
3.1 |
com.google.code.findbugs |
jsr305 |
3.0.0 |
com.google.code.gson |
gson |
2.2.4 |
com.google.flatbuffers |
flatbuffers-java |
1.9.0 |
com.google.guava |
番石榴 |
15.0 |
com.google.protobuf |
protobuf-java |
2.6.1 |
com.h2database |
h2 |
1.4.195 |
com.helger |
分析器 |
1.1.1 |
com.jcraft |
jsch |
0.1.50 |
com.jolbox |
bonecp |
0.8.0.RELEASE |
com.lihaoyi |
sourcecode_2.12 |
0.1.9 |
com.microsoft.azure |
azure-data-lake-store-sdk |
2.3.9 |
com.microsoft.sqlserver |
mssql-jdbc |
9.2.1.jre8 |
com.ning |
compress-lzf |
1.0.3 |
com.sun.mail |
javax.mail |
1.5.2 |
com.tdunning |
json |
1.8 |
com.thoughtworks.paranamer |
paranamer |
2.8 |
com.trueaccord.lenses |
lenses_2.12 |
0.4.12 |
com.twitter |
chill-java |
0.9.5 |
com.twitter |
chill_2.12 |
0.9.5 |
com.twitter |
util-app_2.12 |
7.1.0 |
com.twitter |
util-core_2.12 |
7.1.0 |
com.twitter |
util-function_2.12 |
7.1.0 |
com.twitter |
util-jvm_2.12 |
7.1.0 |
com.twitter |
util-lint_2.12 |
7.1.0 |
com.twitter |
util-registry_2.12 |
7.1.0 |
com.twitter |
util-stats_2.12 |
7.1.0 |
com.typesafe |
配置 |
1.2.1 " |
com.typesafe.scala-logging |
scala-logging_2.12 |
3.7.2章 |
com.univocity |
univocity-parsers |
2.9.1 |
com.zaxxer |
HikariCP |
3.1.0 |
commons-beanutils |
commons-beanutils |
1.9.4 |
commons-cli |
commons-cli |
1.2 |
commons-codec |
commons-codec |
1.10 |
commons-collections |
commons-collections |
3.2.2 |
commons configuration |
commons configuration |
1.6 |
commons-dbcp |
commons-dbcp |
1.4 |
commons-digester |
commons-digester |
1.8 |
commons-fileupload |
commons-fileupload |
1.3.3 |
commons-httpclient |
commons-httpclient |
3.1 |
commons-io |
commons-io |
2.4 |
commons lang |
commons lang |
2.6 |
通用日誌 |
通用日誌 |
1.1.3 |
commons net |
commons net |
3.1 |
commons-pool |
commons-pool |
1.5.4 |
蜂巢2.7 - 2.3 - __hadoop - |
jets3t - 0.7 |
liball_deps_2.12 |
蜂巢2.7 - 2.3 - __hadoop - |
動物園管理員- 3.4 |
liball_deps_2.12 |
info.ganglia.gmetric4j |
gmetric4j |
1.0.10 |
io.airlift |
aircompressor |
0.10 |
io.delta |
delta-sharing-spark_2.12 |
0.1.0 |
io.dropwizard.metrics |
metrics-core |
以下4.4.1 |
io.dropwizard.metrics |
metrics-graphite |
以下4.4.1 |
io.dropwizard.metrics |
metrics-healthchecks |
以下4.4.1 |
io.dropwizard.metrics |
metrics-jetty9 |
以下4.4.1 |
io.dropwizard.metrics |
metrics-jmx |
以下4.4.1 |
io.dropwizard.metrics |
metrics-json |
以下4.4.1 |
io.dropwizard.metrics |
metrics-jvm |
以下4.4.1 |
io.dropwizard.metrics |
metrics-servlets |
以下4.4.1 |
io.netty |
netty-all |
4.1.51.Final |
io.prometheus |
simpleclient |
0.7.0 |
io.prometheus |
simpleclient_common |
0.7.0 |
io.prometheus |
simpleclient_dropwizard |
0.7.0 |
io.prometheus |
simpleclient_pushgateway |
0.7.0 |
io.prometheus |
simpleclient_servlet |
0.7.0 |
io.prometheus.jmx |
收集器 |
0.12.0 |
jakarta.annotation |
jakarta.annotation-api |
1.3.5 |
jakarta.validation |
jakarta.validation-api |
2.0.2 |
jakarta.ws.rs |
jakarta.ws.rs-api |
2.1.6 |
javax.activation |
激活 |
1.1.1 |
javax.el |
javax.el-api |
2.2.4 |
javax.jdo |
jdo api |
3.0.1 |
javax.servlet |
javax.servlet-api |
3.1.0 |
javax.servlet.jsp |
jsp-api |
2.1 |
javax.transaction |
jta |
1.1 |
javax.transaction |
事務api |
1.1 |
javax.xml.bind |
jaxb-api |
2.2.2 |
javax.xml.stream |
stax-api |
1.0 - 2 |
javolution |
javolution |
5.5.1 |
jline |
jline |
2.14.6 |
joda-time |
joda-time |
2.10.5 |
log4j |
apache-log4j-extras |
1.2.17 |
log4j |
log4j |
1.2.17 |
maven-trees |
蜂巢2.7 - 2.3 - __hadoop - |
liball_deps_2.12 |
net.java.dev.jna |
jna |
5.8.0 |
net.razorvine |
地幔岩 |
4.30 |
net.sf.jpam |
jpam |
1.1 |
net.sf.opencsv |
opencsv |
2.3 |
net.sf.supercsv |
super-csv |
2.2.0 |
net.snowflake |
snowflake-ingest-sdk |
0.9.6 |
net.snowflake |
snowflake-jdbc |
3.13.3 |
net.snowflake |
spark-snowflake_2.12 |
2.9.0-spark_3.1 |
net.sourceforge.f2j |
arpack_combined_all |
0.1 |
org.acplt.remotetea |
remotetea-oncrpc |
1.1.2 |
org.antlr |
ST4 |
4.0.4 |
org.antlr |
antlr-runtime |
3.5.2 |
org.antlr |
antlr4-runtime |
4.8 - 1 |
org.antlr |
stringtemplate |
3.2.1之上 |
org.apache.ant |
螞蟻 |
1.9.2 |
org.apache.ant |
ant-jsch |
1.9.2 |
org.apache.ant |
ant-launcher |
1.9.2 |
org.apache.arrow |
arrow-format |
2.0.0 |
org.apache.arrow |
arrow-memory-core |
2.0.0 |
org.apache.arrow |
arrow-memory-netty |
2.0.0 |
org.apache.arrow |
arrow-vector |
2.0.0 |
org.apache.avro |
avro |
1.8.2 |
org.apache.avro |
avro-ipc |
1.8.2 |
org.apache.avro |
avro-mapred-hadoop2 |
1.8.2 |
org.apache.commons |
commons-compress |
1.20 |
org.apache.commons |
commons-crypto |
1.1.0 |
org.apache.commons |
commons-lang3 |
3.10 |
org.apache.commons |
commons-math3 |
3.4.1 |
org.apache.commons |
commons-text |
1.6 |
org.apache.curator |
curator-client |
2.7.1 |
org.apache.curator |
curator-framework |
2.7.1 |
org.apache.curator |
curator-recipes |
2.7.1 |
org.apache.derby |
德比 |
10.12.1.1 |
org.apache.directory.api |
api-asn1-api |
1.0.0-M20 |
org.apache.directory.api |
api-util |
1.0.0-M20 |
org.apache.directory.server |
apacheds-i18n |
2.0.0-M15 |
org.apache.directory.server |
apacheds-kerberos-codec |
2.0.0-M15 |
org.apache.hadoop |
hadoop-annotations |
第2.7.4 |
org.apache.hadoop |
hadoop-auth |
第2.7.4 |
org.apache.hadoop |
hadoop-client |
第2.7.4 |
org.apache.hadoop |
hadoop-common |
第2.7.4 |
org.apache.hadoop |
hadoop-hdfs |
第2.7.4 |
org.apache.hadoop |
hadoop-mapreduce-client-app |
第2.7.4 |
org.apache.hadoop |
hadoop-mapreduce-client-common |
第2.7.4 |
org.apache.hadoop |
hadoop-mapreduce-client-core |
第2.7.4 |
org.apache.hadoop |
hadoop-mapreduce-client-jobclient |
第2.7.4 |
org.apache.hadoop |
hadoop-mapreduce-client-shuffle |
第2.7.4 |
org.apache.hadoop |
hadoop-yarn-api |
第2.7.4 |
org.apache.hadoop |
hadoop-yarn-client |
第2.7.4 |
org.apache.hadoop |
hadoop-yarn-common |
第2.7.4 |
org.apache.hadoop |
hadoop-yarn-server-common |
第2.7.4 |
org.apache.hive |
hive-beeline |
2.3.7 |
org.apache.hive |
hive-cli |
2.3.7 |
org.apache.hive |
hive-jdbc |
2.3.7 |
org.apache.hive |
hive-llap-client |
2.3.7 |
org.apache.hive |
hive-llap-common |
2.3.7 |
org.apache.hive |
hive-serde |
2.3.7 |
org.apache.hive |
hive-shims |
2.3.7 |
org.apache.hive |
hive-storage-api |
2.7.2 |
org.apache.hive.shims |
蜂巢0.23 -墊片 |
2.3.7 |
org.apache.hive.shims |
hive-shims-common |
2.3.7 |
org.apache.hive.shims |
hive-shims-scheduler |
2.3.7 |
org.apache.htrace |
htrace-core |
3.1.0-incubating |
org.apache.httpcomponents |
httpclient |
4.5.6 |
org.apache.httpcomponents |
httpcore |
4.4.12 |
org.apache.ivy |
艾薇 |
測試盒框 |
org.apache.mesos |
mesos-shaded-protobuf |
1.4.0 |
org.apache.orc |
orc-core |
1.5.12 |
org.apache.orc |
orc-mapreduce |
1.5.12 |
org.apache.orc |
orc-shims |
1.5.12 |
org.apache.parquet |
parquet-column |
1.10.1-databricks9 |
org.apache.parquet |
parquet-common |
1.10.1-databricks9 |
org.apache.parquet |
parquet-encoding |
1.10.1-databricks9 |
org.apache.parquet |
parquet-format |
測試盒框 |
org.apache.parquet |
parquet-hadoop |
1.10.1-databricks9 |
org.apache.parquet |
parquet-jackson |
1.10.1-databricks9 |
org.apache.thrift |
libfb303 |
0.9.3 |
org.apache.thrift |
libthrift |
0.12.0 |
org.apache.xbean |
xbean-asm7-shaded |
4.15 |
org.apache.yetus |
audience-annotations |
0.5.0 |
org.apache.zookeeper |
動物園管理員 |
3.4.14 |
org.codehaus.jackson |
jackson-core-asl |
1.9.13 |
org.codehaus.jackson |
jackson-jaxrs |
1.9.13 |
org.codehaus.jackson |
jackson-mapper-asl |
1.9.13 |
org.codehaus.jackson |
jackson-xc |
1.9.13 |
org.codehaus.janino |
commons-compiler |
3.0.16 |
org.codehaus.janino |
janino |
3.0.16 |
org.datanucleus |
datanucleus-api-jdo |
4.2.4 |
org.datanucleus |
datanucleus-core |
4.1.17 |
org.datanucleus |
datanucleus-rdbms |
4.1.19 |
org.datanucleus |
javax.jdo |
3.2.0-m3 |
org.eclipse.jetty |
jetty-client |
9.4.36.v20210114 |
org.eclipse.jetty |
jetty-continuation |
9.4.36.v20210114 |
org.eclipse.jetty |
jetty-http |
9.4.36.v20210114 |
org.eclipse.jetty |
jetty-io |
9.4.36.v20210114 |
org.eclipse.jetty |
jetty-jndi |
9.4.36.v20210114 |
org.eclipse.jetty |
jetty-plus |
9.4.36.v20210114 |
org.eclipse.jetty |
jetty-proxy |
9.4.36.v20210114 |
org.eclipse.jetty |
jetty-security |
9.4.36.v20210114 |
org.eclipse.jetty |
jetty服務器 |
9.4.36.v20210114 |
org.eclipse.jetty |
jetty servlet |
9.4.36.v20210114 |
org.eclipse.jetty |
jetty-servlets |
9.4.36.v20210114 |
org.eclipse.jetty |
jetty-util |
9.4.36.v20210114 |
org.eclipse.jetty |
jetty-util-ajax |
9.4.36.v20210114 |
org.eclipse.jetty |
jetty-webapp |
9.4.36.v20210114 |
org.eclipse.jetty |
jetty-xml |
9.4.36.v20210114 |
org.fusesource.leveldbjni |
leveldbjni-all |
1.8 |
org.glassfish.hk2 |
hk2-api |
2.6.1 |
org.glassfish.hk2 |
hk2-locator |
2.6.1 |
org.glassfish.hk2 |
hk2-utils |
2.6.1 |
org.glassfish.hk2 |
osgi-resource-locator |
1.0.3 |
org.glassfish.hk2.external |
aopalliance-repackaged |
2.6.1 |
org.glassfish.hk2.external |
jakarta.inject |
2.6.1 |
org.glassfish.jersey.containers |
jersey-container-servlet |
2.30 |
org.glassfish.jersey.containers |
jersey-container-servlet-core |
2.30 |
org.glassfish.jersey.core |
jersey客戶端 |
2.30 |
org.glassfish.jersey.core |
jersey-common |
2.30 |
org.glassfish.jersey.core |
jersey-server |
2.30 |
org.glassfish.jersey.inject |
jersey-hk2 |
2.30 |
org.glassfish.jersey.media |
jersey-media-jaxb |
2.30 |
org.hibernate.validator |
hibernate驗證框架 |
6.1.0.Final |
org.javassist |
javassist |
3.25.0-GA |
org.jboss.logging |
jboss-logging |
3.3.2.Final |
org.jdbi |
jdbi |
2.63.1 |
org.joda |
joda-convert |
1.7 |
org.jodd |
jodd-core |
3.5.2 |
org.json4s |
json4s-ast_2.12 |
3.7.0-M5 |
org.json4s |
json4s-core_2.12 |
3.7.0-M5 |
org.json4s |
json4s-jackson_2.12 |
3.7.0-M5 |
org.json4s |
json4s-scalap_2.12 |
3.7.0-M5 |
org.lz4 |
lz4-java |
1.7.1上 |
org.mariadb.jdbc |
mariadb-java-client |
2.2.5 |
org.objenesis |
objenesis |
2.5.1 |
org.postgresql |
postgresql |
42.1.4 |
org.roaringbitmap |
RoaringBitmap |
0.9.14 |
org.roaringbitmap |
墊片 |
0.9.14 |
org.rocksdb |
rocksdbjni |
6.20.3 |
org.rosuda.REngine |
REngine |
魅惑 |
org.scala-lang |
scala-compiler_2.12 |
2.12.10 |
org.scala-lang |
scala-library_2.12 |
2.12.10 |
org.scala-lang |
scala-reflect_2.12 |
2.12.10 |
org.scala-lang.modules |
scala-collection-compat_2.12 |
2.1.1 |
org.scala-lang.modules |
scala-parser-combinators_2.12 |
1.1.2 |
org.scala-lang.modules |
scala-xml_2.12 |
1.2.0 |
org.scala-sbt |
測試界麵 |
1.0 |
org.scalacheck |
scalacheck_2.12 |
1.14.2 |
org.scalactic |
scalactic_2.12 |
3.0.8 |
org.scalanlp |
breeze-macros_2.12 |
1.0 |
org.scalanlp |
breeze_2.12 |
1.0 |
org.scalatest |
scalatest_2.12 |
3.0.8 |
org.slf4j |
jcl-over-slf4j |
1.7.30 |
org.slf4j |
jul-to-slf4j |
1.7.30 |
org.slf4j |
slf4j-api |
1.7.30 |
org.slf4j |
slf4j-log4j12 |
1.7.30 |
org.spark-project.spark |
未使用的 |
1.0.0 |
org.springframework |
spring核心 |
4.1.4.RELEASE |
org.springframework |
spring測試 |
4.1.4.RELEASE |
org.threeten |
threeten-extra |
1.5.0 |
org.tukaani |
xz |
1.5 |
org.typelevel |
algebra_2.12 |
2.0.0-M2 |
org.typelevel |
cats-kernel_2.12 |
2.0.0-M4 |
org.typelevel |
machinist_2.12 |
0.6.8 |
org.typelevel |
macro-compat_2.12 |
1.1.1 |
org.typelevel |
spire-macros_2.12 |
0.17.0-M1 |
org.typelevel |
spire-Beplay体育安卓版本platform_2.12 |
0.17.0-M1 |
org.typelevel |
spire-util_2.12 |
0.17.0-M1 |
org.typelevel |
spire_2.12 |
0.17.0-M1 |
org.wildfly.openssl |
wildfly-openssl |
1.0.7.Final |
org.xerial |
sqlite-jdbc |
3.8.11.2 |
org.xerial.snappy |
snappy-java |
1.1.8.2 |
org.yaml |
snakeyaml |
1.24 |
奧羅 |
奧羅 |
2.0.8 |
pl.edu.icm |
JLargeArrays |
1.5 |
software.amazon.ion |
ion-java |
1.0.2中 |
stax |
stax-api |
1.0.1 |
xmlenc |
xmlenc |
0.52 |