Databricks Runtime 9.0(不支持)

以下版本說明提供了由Apache Spark 3.1.2支持的Databricks Runtime 9.0和Databricks Runtime 9.0 Photon的相關信息。Databricks在2021年8月發布了這些圖片。光子是在公共預覽

修正

這些發布說明的前一個版本錯誤地聲明Apache Parquet依賴項從1.10升級到1.12。事實上,Parquet依賴關係仍然保留在1.10版本中。錯誤的發布說明已被刪除。

新功能和改進

用於數據集彙總統計的新API(公開預覽)

dbutils.data.summarize命令允許您啟動一個Spark作業,該作業自動計算Spark DataFrame的列的彙總統計信息,然後以交互的方式顯示結果。該函數在Scala和Python中可用。看到數據效用(dbutils.data)

Azure Synapse連接器的外部數據源配置更簡單

externalDataSource選項Azure突觸分析連接器允許您使用預先配置的外部數據源從Azure Synapse數據庫讀取數據。的externalDataSource選項刪除了對控製之前許可要求。

當設置externalDataSource,外部數據源和tempDir用於配置臨時存儲的選項必須引用存儲帳戶中的相同容器。

可選地,將會話限製為Amazon Redshift連接器的指定持續時間

fs.s3a.assumed.role.session.duration選項亞馬遜紅移連接器允許您在Redshift使用假定的角色訪問臨時S3桶時為會話設置持續時間。

自動加載程序

優化文件清單

當列出雲存儲中的嵌套目錄時,包括AWS S3、Azure數據湖存儲Gen2 (ADLS Gen2)和穀歌雲存儲(GCS), Auto Loader優化提供了性能改進和成本節約。

例如,如果您上傳的文件是/一些/道路/ / MM / DD / YYYY HH /文件名,為了找到這些目錄中的所有文件,Auto Loader用來對所有子目錄進行並行列出,造成365(每天)* 24(每小時)= 8760次對底層存儲的LIST API目錄調用。通過接收來自這些存儲係統的扁平響應,Auto Loader將API調用的數量減少到存儲係統中的文件數量除以每個API調用返回的結果數量(S3為1000,ADLS Gen2為5000,GCS為1024),大大降低了您的雲計算成本。

優化的圖像數據存儲

Auto Loader現在可以自動檢測正在攝入的圖像數據,並優化其在Delta表中的存儲,以提高讀寫性能。看到將圖像或二進製數據輸入到Delta Lake進行ML

二進製文件的圖像縮略圖(公開預覽)

圖片binaryFile使用Auto Loader加載或保存為Delta表的格式附有注釋,以便在Databricks筆記本中顯示表時顯示圖像縮略圖。有關更多信息,請參見圖片

DirectoryRename事件支持對多個文件進行原子處理

在Azure Data Lake Storage Gen2上的Databricks Runtime 9.0及以上版本中創建的Auto Loader流設置了文件事件通知,包括目錄重命名和偵聽RenameDirectory事件。您可以使用目錄重命名使多個文件以原子方式顯示給自動加載器。

SQL

排除列選擇(公共預覽版)

選擇現在支持一個除了關鍵字,該關鍵字允許您從展開中排除指定的頂級列。例如,選擇除了(b)資源描述從具有模式的表(一個b,c)擴大到(一個c)

SQL標量函數(公共預覽)

創建函數現在支持SQL標量函數。可以創建接受一組參數並返回單個標量類型值的標量函數。SQL函數體可以是任何表達式。例如:

創建函數廣場x返回返回xx選擇廣場2);

有關詳細信息,請參見創建函數(SQL)

中引用前麵的別名和列子查詢(公共預覽版)

子查詢的子句的前麵現在可以加上橫向關鍵字,該關鍵字允許它們引用前麵的別名和列物品。例如:

選擇t1橫向選擇t2在哪裏t1c1t2c1

橫向關鍵詞支持內心的交叉,(外部)加入

看到參數而且參數

R的支持

筆記本範圍的R圖書館(公開預覽)

筆記本範圍的庫允許您安裝庫並創建一個筆記本會話範圍的環境。這些庫不會影響運行在同一集群上的其他筆記本。這些庫在驅動程序節點和工作節點上都可用,因此可以在用戶定義的函數中引用它們。看到Notebook-scoped R庫

在R筆記本上的警告信息

的默認值警告選項現在設置為1在R筆記本。因此,所有警告現在都作為命令結果的一部分公開。要了解更多關於警告選項,看到選項設置

為結構化流狀態處理指定初始狀態,避免重做

您現在可以使用為結構化流有狀態處理指定用戶定義的初始狀態(平)MapGroupsWithState操作符。

看到指定結構化流mapGroupsWithState的初始狀態

Delta MERGE INTO命令的低洗牌實現現在可用(公開預覽)

δ合並命令有一個新的實現,可以減少對未修改行的洗牌。這提高了命令的性能,並有助於保留表上現有的集群,例如z排序。啟用低洗牌合並,設置spark.databricks.delta.merge.enableLowShuffle真正的.看到低洗牌合並在Databricks

錯誤修複

  • 您不能再通過創建同名的視圖來覆蓋視圖。

庫升級

  • 升級的Python庫:

    • 2021.5.30至2020.12.5的證書

    • Chardet從3.0.4到4.0.0

    • Cython從0.29.21到0.29.23

    • 從4.4.2到5.0.6的Decorator

    • Ipython從7.19.0到7.22.0

    • Joblib從0.17.0到1.0.1

    • 從6.1.7到6.1.12的木星客戶端

    • 從4.6.3到4.7.1的木星核心

    • 新西蘭從1.3.0升級到1.3.1

    • Matplotlib從3.2.2到3.4.2

    • 熊貓從1.1.5到1.2.4

    • PIP從20.2.4到21.0.1

    • 從3.0.8到3.0.17的提示-工具包

    • 從3.17.3到3.17.2的Protobuf

    • Ptyprocess從0.6.0到0.7.0

    • Pyarrow從1.0.1到4.0.0

    • 2.7.2到2.8.1的pygts

    • 從19.0.2到20.0.0的Pyzmq

    • 從2.24.0到2.24.1的請求

    • S3transfer從0.3.6到0.3.7

    • Scikit-learn從0.23.2到0.24.1

    • 從1.5.2到1.6.2的Scipy

    • 從0.10.0海運到0.11.1

    • Setuptools從50.3.1到52.0.0

    • statmodeler從0.12.0到0.12.2

    • 龍卷風從6.0.4到6.1

    • Virtualenv從20.2.1到20.4.1

    • 輪子從0.35.1轉到0.36.2

  • 升級R庫:

    • 矩陣從1.3-3到1.3-4

Apache火花

Databricks Runtime 9.0包含Apache Spark 3.1.2。該版本包括所有Spark修複和改進Databricks運行時8.4(不支持),以及對Spark進行的以下額外bug修複和改進:

  • (火花- 35886)[SQL][3.1] PromotePrecision不應覆蓋genCodePromotePrecision不應覆蓋genCode

  • (火花- 35879)[CORE][SHUFFLE]修複由collectFetchRequests導致的性能下降

  • (火花- 35817)[SQL][3.1]恢複對寬Avro表的查詢性能

  • (火花- 35841)將字符串轉換為十進製類型不能工作,如果…

  • (火花- 35783)[SQL]在任務配置中設置讀列列表,減少ORC數據的讀取

  • (火花- 35576)[SQL][3.1]編輯Set命令結果中的敏感信息

  • (火花- 35449)[SQL][3.1]如果設置了elseValue,則隻從CaseWhen值中提取通用表達式

  • (火花- 35288)[SQL] StaticInvoke應該找到沒有精確參數類匹配的方法

  • (火花- 34794)修複嵌套DataFrame函數中的lambda變量名問題

  • (火花- 35278)[SQL]調用應該找到具有正確參數數量的方法

  • (火花- 35226)在JDBC數據源中支持refreshKrb5Config選項

  • (火花- 35244)調用應該拋出原始異常

  • (火花- 35213)[SQL]保持嵌套結構在chain withField操作中的正確順序

  • (火花- 35087)[UI] stage-detail頁麵的aggregate Metrics by Executor表中的一些列顯示錯誤。

  • (火花- 35168)[SQL] mapred.reduce.tasks應該是shuffle。分區不adaptive.coalescePartitions.initialPartitionNum

  • (火花- 35127)當我們在不同的舞台細節頁麵之間切換時,新打開的頁麵中的條目可能是空白的

  • (火花- 35142)[PYTHON][ML]修複錯誤的返回類型rawPredictionUDFOneVsRestModel

  • (火花- 35096)[SQL] SchemaPruning應該堅持spark.sql.caseSensitive配置

  • (火花- 34639)[SQL] [3.1] RelationalGroupedDataset。alias不應該創建UnresolvedAlias

  • (火花- 35080)[SQL]在聚合子查詢時,隻允許相關相等謂詞的子集

  • (火花- 35117)[UI]更改進度條,以突出顯示正在進行的任務的比例

  • (火花- 35136)刪除LiveStage.info的初始空值

  • (火花- 34834)修複TransportResponseHandler中潛在的Netty內存泄漏

  • (火花- 35045)[SQL]增加一個內部選項來控製大學的輸入緩衝區

  • (火花- 35014)修複PhysicalAggregation模式,使其不重寫可折疊表達式

  • (火花- 35019)[PYTHON][SQL]修複pyspark.sql.*中的類型提示不匹配問題

  • (火花- 34926)[SQL][3.1] PartitioningUtils.getPathFragment()應該尊重分區值為空

  • (火花- 34630)為pyspark添加類型提示。版本

  • (火花- 34963)修複了從struct數組中提取不區分大小寫的struct字段的嵌套列修剪

  • (火花- 34988)[3.1]升級CVE-2021-28165的Jetty

  • (火花- 34922)[SQL][3.1]在CBO中使用相對成本比較函數

  • (火花- 34970)[SQL][SECURITY][3.1]在explain()的輸出中編校映射類型選項

  • (火花- 34923)如果有更多的計劃,元數據輸出應該為空

  • (火花- 34949)[CORE]當Executor關閉時,阻止BlockManager重新注冊

  • (火花- 34939)當無法反序列化廣播映射狀態時拋出獲取失敗異常

  • (火花- 34909)修複conv()中負號到無符號的轉換

  • (火花- 34845)ProcfsMetricsGetter不應該返回部分procfs度量

  • (火花- 34814)LikeSimplification應該處理NULL

  • (火花- 34876)[SQL]填充非空聚合的defaultResult

  • (火花- 34829)修正高階函數的結果

  • (火花- 34840)[SHUFFLE]修複合並SHUFFLE中的腐敗情況…

  • (火花- 34833)[SQL]為相關子查詢正確應用右填充

  • (火花- 34630)[PYTHON][SQL]為pyspark.sql.Column.contains增加了類型提示

  • (火花- 34763)[SQL] col(), $ " "和df(" name ")應該正確處理帶引號的列名

  • (火花- 33482)(火花- 34756)[SQL] Fix FileScan equal check

  • (火花- 34790)[CORE]當啟用io加密時,禁止批量抓取shuffle block

  • (火花- 34803)[PYSPARK]如果導入熊貓或pyarrow失敗,傳遞引發的ImportError

  • (火花- 34225)當一個URI表單字符串被傳遞給addFile或addJar時,不要進一步編碼

  • (火花- 34811)(核心)修訂fs.s3a.access。密鑰就像秘密和標記

  • (火花- 34796)[SQL][3.1]在doProduce()中初始化LIMIT代碼生成的計數器變量

  • (火花- 34128)[SQL]抑製THRIFT-4805中涉及的不需要的TTransportException警告

  • (火花- 34776)嵌套列修剪不應該修剪窗口生成的屬性

  • (火花- 34087)[3.1][SQL]修複ExecutionListenerBus內存泄漏問題

  • (火花- 34772)[SQL] RebaseDateTime loadRebaseRecords應該使用Spark類加載器而不是上下文

  • (火花- 34719)[SQL][3.1]正確解析有重複列名的視圖查詢

  • (火花- 34766)[SQL][3.1]不捕獲視圖的maven配置

  • (火花- 34731)在編輯EventLoggingListener中的屬性時避免ConcurrentModificationException

  • (火花- 34737)[SQL][3.1]將輸入float轉換為double inTIMESTAMP_SECONDS

  • (火花- 34749)[SQL][3.1]簡化ResolveCreateNamedStruct

  • (火花- 34768)[SQL]使用大學默認的輸入緩衝區大小

  • (火花- 34770)[SQL] InMemoryCatalog。如果數據庫不存在,tableExists應該不會失敗

  • (火花- 34504)[SQL]避免為DDL命令解析不必要的SQL臨時視圖

  • (火花- 34727)修複了將float轉換為timestamp的不一致

  • (火花- 34723)[SQL]正確的參數類型消除子表達式在整個階段

  • (火花- 34724)修複了用getMethod代替getDeclaredMethod的解釋計算問題

  • (火花- 34713)[SQL]修複組CreateStruct與ExtractValue

  • (火花- 34697)[SQL] Allow DESCRIBE FUNCTION and SHOW FUNCTIONS解釋||(字符串連接操作符)

  • (火花- 34682)[SQL]使用PrivateMethodTester代替反射

  • (火花- 34682)在CustomShuffleReaderExec中修複規範化錯誤檢查中的回歸問題

  • (火花- 34681)修複了不相等條件下構建左側時的完整外部洗牌哈希連接的錯誤

  • (火花- 34545)修複了軟錳礦的valueCompare特性的問題

  • (火花- 34607)[SQL] [3.1]Utils.isMemberClass修複jdk8u上畸形的類名錯誤

  • (火花- 34596)[SQL]使用跑龍套。getSimpleName以避免觸及NewInstance.doGenCode中的畸形類名

  • (火花- 34613)修複視圖不捕獲禁用提示配置

  • (火花- 32924)[web]使主UI中的duration列按照正確的順序排序

  • (火花- 34482)更正StreamExecution.logicalPlan的活動SparkSession

  • (火花- 34567)CreateTableAsSelect也應該更新度量

  • (火花- 34599)修複了INSERT INTO OVERWRITE不支持DSv2包含點的分區列的問題

  • (火花- 34577)的數據集中刪除/添加列的問題描述名稱空間

  • (火花- 34584)靜態分區在插入到v2表時也應該遵循StoreAssignmentPolicy

  • (火花- 34555)解析DataFrame的元數據輸出

  • (火花- 34534)修正了使用FetchShuffleBlocks獲取塊時的blockIds順序

  • (火花- 34547)最後才使用元數據列進行解析

  • (火花- 34417)[SQL] org.apache.spark.sql.DataFrameNaFunctions.fillMap因列名中有一個點而失敗

  • (火花- 34561)修複了從/到v2數據集中刪除/添加列的問題描述表格

  • (火花- 34556)檢查重複的靜態分區列應尊重區分大小寫的conf

  • (火花- 34392)[SQL]在DateTimeUtils中支持ZoneOffset +h:mmgetZoneId

  • (火花- 34550)在推濾到Hive metastore時,跳過InSet null值

  • (火花- 34543)[SQL]尊重spark.sql.caseSensitive在解決v1中的分區規範時進行配置位置

  • (火花- 34436)DPP支持LIKE任意/所有表達式

  • (火花- 34531)刪除PrometheusServlet中的Experimental API標簽

  • (火花- 34497)修複內置JDBC連接提供程序以恢複JVM安全上下文更改

  • (火花- 34515)[SQL]修複InSet在getPartitionsByFilter過程中包含空值的NPE

  • (火花- 34490)如果視圖引用了被刪除的表,分析就會失敗

  • (火花- 34473)[SQL]避免在dataframerader .schema(StructType)中使用NPE

  • (火花- 34384)[CORE]為ResourceProfile api添加缺少的文檔

  • (火花- 34373)[SQL] HiveThriftServer2 startWithContext可能掛起與種族問題

  • (火花- 20977)使用非final字段作為CollectionAccumulator的狀態

  • (火花- 34421)解析帶有cte的視圖中的臨時函數和視圖

  • (火花- 34431)(核心)隻有負載hive-site.xml一次

  • (火花- 34405)修複PrometheusServlet類中timersLabels的平均值

  • (火花- 33438)使用已定義的SQL conf命令主動初始化對象- v

  • (火花- 34158)pom.xml中唯一的開發人員Matei的url錯誤

  • (火花- 34346)[CORE][SQL][3.1] spark.buffer.size設置的io.file.buffer.size將被重載hive-site.xml時不小心導致perf回歸

  • (火花- 34359)[SQL][3.1]添加一個遺留配置來恢複SHOW數據庫的輸出模式

  • (火花- 34331)[SQL]加速DS v2元數據解析

  • (火花- 34318)數據集[SQL][3.1]。colRegex應該與包含換行符的列名和限定符一起工作

  • (火花- 34326)[CORE][SQL]修複SPARK-31793中根據臨時路徑長度增加的UTs

  • (火花- 34319)[SQL]解析FlatMapCoGroupsInPandas/MapInPandas的重複屬性

  • (火花- 34310)[CORE][SQL]將map和flatten替換為flatMap

  • (火花- 34083)[SQL][3.1]使用TPCDS對char/varchar列的原始定義

  • (火花- 34233)[SQL][3.1]修複二進製比較中字符填充的NPE

  • (火花- 34270)[SS] Combine StateStoreMetrics不應該覆蓋StateStoreCustomMetric

  • (火花- 34144)試圖將LocalDate和Instant值寫入JDBC關係時拋出異常

  • (火花- 34273)當SparkContext停止時,不要重新注冊BlockManager

  • (火花- 34262)[SQL][3.1]刷新v1表的緩存數據改變表格..位置

  • (火花- 34275)[CORE][SQL][MLLIB]將過濾器和大小替換為計數

  • (火花- 34260)修複了兩次創建臨時視圖時出現的未解析dexception問題

  • (火花- 33867)生成SQL查詢時不處理Instant和LocalDate值

  • (火花- 34193)[核心]TorrentBroadcast塊管理器退役比賽修複

  • (火花- 34221)[web]確保在UI頁麵某一階段出現故障時,能夠正確顯示相應的錯誤提示

  • (火花- 34236)[SQL] Fix v2 Overwrite w/ null static partition raise無法將表達式轉換為源過濾器:null

  • (火花- 34212)修複從Parquet文件中讀取錯誤的十進製

  • (火花- 34244)[SQL]刪除Scala函數版本的regexp_extract_all

  • (火花- 34235)[SS]將spark.sql.hive作為一個私有包

  • (火花- 34232)在日誌中編輯SparkListenerEnvironmentUpdate事件

  • (火花- 34229)Avro應該在文件模式中讀取十進製值

  • (火花- 34223)[SQL]修複靜態分區InsertIntoHadoopFsRelationCommand為空的NPE

  • (火花- 34192)移動字符填充到寫端並刪除讀端長度檢查

  • (火花- 34203)[SQL]轉換分區的值__HIVE_DEFAULT_PARTITION__在v1內存中目錄

  • (火花- 33726)修複聚合過程中字段名重複的問題

  • (火花- 34133)[AVRO]在執行Catalyst-to-Avro字段匹配時,尊重大小寫敏感性

  • (火花- 34187)[SS]在檢查偏移驗證時,使用輪詢期間獲得的可用偏移範圍

  • (火花- 34052)[SQL][3.1]存儲使用“CACHE TABLE ..”創建的臨時視圖的SQL文本。當選擇……”

  • (火花- 34213)刷新v1表的緩存數據負載數據

  • (火花- 34191)[PYTHON][SQL]為udf重載添加類型

  • (火花- 34200)不明確的列引用應考慮屬性可用性

  • (火花- 33813)[SQL][3.1]修複JDBC源代碼不能處理MS SQL Server的空間類型的問題

  • (火花- 34178)複製multiinstancerrelated . newinstance創建的新節點的標記

  • (火花- 34005)[CORE][3.1]更新任務端每個Executor的峰值內存指標

  • (火花- 34115)檢查SPARK_TESTING為惰性值以避免減速

  • (火花- 34153)[SQL][3.1][3.0]刪除未使用的getRawTable ()HiveExternalCatalog.alterPartitions ()

  • (火花- 34130)使用StaticInvoke改進char varchar填充和長度檢查的預formace

  • (火花- 34027)[SQL][3.1]刷新緩存改變表格..恢複分區

  • (火花- 34151)[SQL]替換java.io.File.toURLjava.io.File.toURI.toURL

  • (火花- 34140)[SQL] [3.1] QueryCompilationErrors移動。scala org/apache/spark/sql/errors

  • (火花- 34080)(毫升)(PYTHON)添加UnivariateFeatureSelector

  • (火花- 33790)[CORE][3.1]減少SingleFileEventLogFileReader中getFileStatus的rpc調用

  • (火花- 34118)[CORE][SQL][3.1]用exists或forall替換過濾器和空檢查

  • (火花- 34114)[SQL]不應該對讀側字符長度檢查和填充進行右修剪

  • (火花- 34086)[SQL][3.1] RaiseError生成太多的代碼,可能在字符varchar的長度檢查中代碼生成失敗

  • (火花- 34075)[SQL][CORE]正在列出用於分區推斷的隱藏目錄

  • (火花- 34076)[SQL] SQLContext。如果緩存非空,dropTempTable失敗

  • (火花- 34084)[SQL][3.1]修複了表統計信息的自動更新改變表格..添加分區

  • (火花- 34090)緩存HadoopDelegationTokenManager [SS]。KafkaTokenUtil.needTokenUpdate中使用的isServiceEnabled結果

  • (火花- 34069)Kill barrier任務應該尊重SPARK_JOB_INTERRUPT_ON_CANCEL

  • (火花- 34091)[SQL] Shuffle批處理獲取應該能夠禁用後,它被啟用

  • (火花- 34059)[SQL][CORE][3.1]使用for/foreach而不是map來確保它的執行是急切的

  • (火花- 34002)修正ScalaUDF中編碼器的使用

  • (火花- 34060)[SQL][3.1]修複Hive表緩存的問題改變表格..下降分區

  • (火花- 31952)修複聚合時不正確的內存溢出度量

  • (火花- 33591)[SQL][3.1]識別分區規格值

  • (火花- 34055)[SQL][3.1]刷新緩存改變表格..添加分區

  • (火花- 34039)[SQL][3.1] ReplaceTable應該使緩存失效

  • (火花- 34003)修複PaddingAndLengthCheckForCharVarchar和ResolveAggregateFunctions之間的規則衝突

  • (火花- 33938)[SQL][3.1]通過Like esimplification進行Like Any/All的優化

  • (火花- 34021)修複SparkR文檔中CRAN提交的超鏈接

  • (火花- 34011)[SQL][3.1][3.0]刷新緩存改變表格..重命名分區

  • (火花- 33948)[SQL]修複MapObjects的CodeGen錯誤doGenCode方法

  • (火花- 33635)[SS]調整KafkaTokenUtil檢查的順序。needTokenUpdate修正perf回歸

  • (火花- 33029)[CORE][web]修複UI執行程序頁麵錯誤地將驅動程序標記為排除

  • (火花- 34015)[R]修正gapply的輸入時序

  • (火花- 34012)[SQL]在conf . conf . conf時保持行為一致spark.sql.legacy.parser.havingWithoutGroupByAsWhere遷移指南是正確的嗎

  • (火花- 33844)[SQL][3.1] InsertIntoHiveDir命令也應該檢查col名稱

  • (火花- 33935)修正CBO成本函數

  • (火花- 33100)[SQL]忽略spark-sql中括號注釋中的分號

  • (火花- 34000)修複了stageAttemptToNumSpeculativeTasks java.util.NoSuchElementException問題

  • (火花- 33992)[SQL]重寫transformUpWithNewOutput添加allowInvokingTransformsInAnalyzer

  • (火花- 33894)改變mllib中私有case類的可見性,以避免Scala 2.13的運行時編譯錯誤

  • (火花- 33950)[SQL][3.1][3.0]在v1中刷新緩存改變表格..下降分區

  • (火花- 33980)[SS]在spark.readStream.schema中無效char/varchar

  • (火花- 33945)[SQL][3.1]處理由expr樹組成的隨機種子

  • (火花- 33398)修複Spark 3.0之前的加載樹模型

  • (火花- 33963)[SQL]規範化HiveTableRelationw / o表統計

  • (火花- 33906)修複了UI Executor頁麵由於未定義的peakMemoryMetrics卡住的bug

  • (火花- 33944)SharedState選項中倉庫鍵的錯誤日誌記錄

  • (火花- 33936)[SQL][3.1]添加添加連接器接口時的版本

  • (火花- 33916)修複回退存儲偏移,提高壓縮編解碼器測試覆蓋率

  • (火花- 33899)[SQL][3.1]修複v1 SHOW表/視圖的斷言失敗spark_catalog

  • (火花- 33901)修複ddl後Char和Varchar顯示錯誤

  • (火花- 33897)[SQL]不能在連接方法中設置選項“交叉”

  • (火花- 33907)[SQL][3.1]如果解析選項為空,則隻刪除JsonToStructs的列

  • (火花- 33621)(火花- 33784)[SQL][3.1]添加一種注入數據源重寫規則的方法

  • (火花- 33900)[web]當隻有remotebytesread可用時,正確顯示shuffle讀大小/記錄

  • (火花- 33892)[SQL]在DESC和SHOW CREATE TABLE中顯示char/varchar

  • (火花- 33895)[SQL] Char和Varchar在ThriftServer的元操作中失敗

  • (火花- 33659)記錄DataStreamWriter的當前行為。toTable API

  • (火花- 33893)從executorList中排除回退塊管理器

  • (火花- 33277)[PYSPARK][SQL]使用contconttawareiterator在任務結束後停止消費

  • (火花- 33889)[SQL][3.1] Fix NPE from顯示分區V2表上

  • (火花- 33879)[SQL] Char Varchar值失敗,匹配錯誤作為分區列

  • (火花- 33877)[SQL] INSERT的SQL參考文檔

  • (火花- 33876)[SQL]增加長度檢查,從有外部位置的表中讀取char/varchar

  • (火花- 33846)在StructType.toDDL中包含嵌套模式的注釋

  • (火花- 33860)[SQL] CatalystTypeConverters。convertToCatalyst匹配特殊的數組值

  • (火花- 33834)用Char和Varchar驗證ALTER TABLE CHANGE COLUMN

  • (火花- 33853)[SQL] EXPLAIN CODEGEN和BenchmarkQueryTest不顯示子查詢代碼

  • (火花- 33836)[SS] [PYTHON)暴露DataStreamReader。表和DataStreamWriter.toTable

  • (火花- 33829)[SQL][3.1]重命名v2表將重新創建緩存

  • (火花- 33756)使bytestbytesmap的MapIterator冪等

  • (火花- 33850)如果啟用了AQE, [SQL] EXPLAIN formatting不會顯示子查詢的計劃

  • (火花- 33841)[3.1]修複了高負載下SHS中作業間歇性消失的問題

  • (火花- 33593)向量閱讀器的二進製分區值數據不正確

  • (火花- 26341)在“階段”選項卡中,公開執行程序在階段級別的內存指標

  • (火花- 33831)[UI]更新到碼頭9.4.34

  • (火花- 33822)[SQL]使用CastSupport.cast方法在HashJoin

  • (火花- 33774)[UI][CORE] Back to Master "在獨立集群中返回500錯誤

  • (火花- 26199)(火花- 31517)[R]修正處理…名字變異的策略

  • (火花- 33819)[CORE][3.1] SingleFileEventLogFileReader/RollingEventLogFilesFileReader應該是私人

  • (火花- 33697)[SQL] RemoveRedundantProjects默認情況下需要列排序

  • (火花- 33752)[SQL][3.1]避免AnalysisException的getSimpleMessage重複添加分號

  • (火花- 33788)[SQL][3.1][3.0][2.4] Throw NoSuchPartitionsException from HiveExternalCatalog.dropPartitions()

  • (火花- 33803)[SQL]在description table命令中按鍵排序表屬性

  • (火花- 33786)[SQL]當表名被改變時,緩存的存儲級別應該被尊重

  • (火花- 33273)修複子查詢執行時的競態條件

  • (火花- 33653)[SQL][3.1] DSv2: REFRESH TABLE應該重新緩存表本身

  • (火花- 33777)[SQL]對V2 SHOW partition的輸出進行排序

  • (火花- 33733)[SQL] PullOutNondeterministic應該檢查並收集確定性字段

  • (火花- 33764)[SS]將狀態存儲維護間隔設置為SQL配置

  • (火花- 33729)[SQL]當刷新緩存時,Spark在重新讀取數據時不應該使用緩存計劃

  • (火花- 33742)[SQL][3.1]拋出PartitionsAlreadyExistException from HiveExternalCatalog.createPartitions()

  • (火花- 33706)在partitionExists()中需要完全指定的分區標識符

  • (火花- 33740)hive-site.xml中的hadoop配置可以覆蓋已經存在的hadoop配置

  • (火花- 33692)視圖應該使用捕獲的目錄和命名空間來查找函數

  • (火花- 33669)當sc.在YARN客戶端模式下停止時,來自YARN應用程序狀態監視器的錯誤消息

  • (火花- 32110)[SQL] normalize hyperloglog++中的特殊浮點數

  • (火花- 33677)如果pattern中包含任何escapeChar,則跳過LikeSimplification規則

  • (火花- 33693)[SQL]輕視spark.sql.hive.convertCTAS

  • (火花- 33641)在產生錯誤結果的公共api中,無效新的char/varchar類型

  • (火花- 32680)[SQL]不處理未解析查詢的V2 CTAS

  • (火花- 33676)[SQL]要求分區規範與V2中的模式完全匹配改變表格..添加/刪除分區

  • (火花- 33670)在v1 SHOW TABLE EXTENDED中驗證分區提供程序是Hive

  • (火花- 33663)不應該在不存在的臨時視圖上調用取消緩存

  • (火花- 33667)[SQL]尊重spark.sql.caseSensitive在解決v1中的分區規範時進行配置顯示分區

  • (火花- 33652)[SQL] DSv2: DeleteFrom應該刷新緩存

維護更新

看到Databricks Runtime 9.0維護更新

係統環境

  • 操作係統: Ubuntu 20.04.2 LTS

  • Java:祖魯8.54.0.21-CA-linux64

  • Scala: 2.12.10

  • Python: 3.8.10

  • R: 4.1.0 (2021-05-18)

  • 三角洲湖1.0.0

安裝Python庫

圖書館

版本

圖書館

版本

圖書館

版本

Antergos Linux

2015.10 (ISO-Rolling)

appdirs

1.4.4

backcall

0.2.0

boto3

1.16.7

botocore

1.19.7

certifi

2020.12.5

chardet

4.0.0

周期計

0.10.0

Cython

0.29.23

dbus-python

1.2.16

裝飾

5.0.6

distlib

0.3.2

distro-info

0.23 ubuntu1

facets-overview

1.0.0

filelock

3.0.12

idna

2.10

ipykernel

5.3.4

ipython

7.22.0

ipython-genutils

0.2.0

絕地武士

0.17.2

jmespath

0.10.0

joblib

1.0.1

jupyter-client

6.1.12

jupyter-core

4.7.1

kiwisolver

1.3.1

考拉

1.8.1

matplotlib

3.4.2

numpy

1.19.2

熊貓

1.2.4

parso

0.7.0

容易受騙的人

0.5.1

pexpect

4.8.0

pickleshare

0.7.5

枕頭

8.2.0

皮普

21.0.1

情節

4.14.3

prompt-toolkit

3.0.17

protobuf

3.17.2

psycopg2

2.8.5

ptyprocess

0.7.0

pyarrow

4.0.0

Pygments

2.8.1發布

PyGObject

3.36.0

pyparsing

2.4.7

python-apt

2.0.0 + ubuntu0.20.4.5

python-dateutil

2.8.1發布

pytz

2020.5

pyzmq

20.0.0

請求

2.25.1

requests-unixsocket

0.2.0

重試

1.3.3

s3transfer

0.3.7

scikit-learn

0.24.1

scipy

1.6.2

seaborn

0.11.1

setuptools

52.0.0

六個

1.15.0

ssh-import-id

5.10

statsmodels

0.12.2

threadpoolctl

魅惑

龍卷風

6.1

traitlets

5.0.5

unattended-upgrades

0.1

urllib3

1.25.11

virtualenv

20.4.1

wcwidth

0.2.5

0.36.2

安裝R庫

R庫從Microsoft CRAN快照於2021年7月28日

圖書館

版本

圖書館

版本

圖書館

版本

askpass

1.1

為了

0.2.1

補丁

1.2.1 "

基地

4.1.0

base64enc

0.1 - 3

黑洞

1.72.0-3

4.0.4

bit64

1.2.1 "

引導

-28 - 1.3

釀造

1.0 6

生動

1.1.0

掃帚

0.7.2

callr

3.5.1

脫字符號

-86 - 6.0

cellranger

1.1.0

時間

-56 - 2.3

-19 - 7.3

cli

2.2.0

clipr

是0.7.1

集群

2.1.2

codetools

-18 - 0.2

色彩

2.0 0

commonmark

1.7

編譯器

4.1.0

配置

0.3

covr

3.5.1

cpp11

0.2.4

蠟筆

1.3.4

憑證

1.3.0

相聲

1.1.0.1

旋度

4.3

data.table

1.13.4

數據集

4.1.0

DBI

1.1.0

dbplyr

2.0.0

desc

1.2.0

devtools

2.3.2

diffobj

0.3.2

消化

0.6.27

dplyr

1.0.2中

DT

0.16

省略

0.3.1

評估

0.14

fansi

0.4.1

farver

2.0.3

fastmap

1.0.1

forcats

0.5.0

foreach

1.5.1

外國

-81 - 0.8

打造

0.2.0

fs

1.5.0

未來

1.21.0

泛型

0.1.0

哥特

1.0.2中

ggplot2

3.3.2

“大酒店”

1.2.0

gitcreds

0.1.1

glmnet

4.0 - 2

全局變量

0.14.0

膠水

1.4.2

高爾

0.2.2

圖形

4.1.0

grDevices

4.1.0

網格

4.1.0

gridExtra

2.3

gsubfn

0.7

gtable

0.3.0

2.3.1

highr

0.8

hms

0.5.3

htmltools

0.5.0

htmlwidgets

1.5.3

httpuv

1.5.4

httr

1.4.2

hwriter

1.3.2

hwriterPlus

1.0 - 3

ini

0.3.1

不小

0.9 9

isoband

0.2.3

迭代器

1.0.13

jsonlite

1.7.2

KernSmooth

-20 - 2.23

knitr

1.30

標簽

0.4.2

晚些時候

1.1.0.1

晶格

-44 - 0.20

熔岩

1.6.8.1

lazyeval

0.2.2

生命周期

0.2.0

listenv

0.8.0

lubridate

1.7.9.2

magrittr

2.0.1

減價

1.1

質量

-54 - 7.3

矩陣

1.3 - 4

memoise

1.1.0

方法

4.1.0

mgcv

-36 - 1.8

mime

0.9

ModelMetrics

1.2.2.2

modelr

0.1.8

孟塞爾

0.5.0

nlme

-152 - 3.1

nnet

-16 - 7.3

numDeriv

2016.8 - -1.1

openssl

3

平行

4.1.0

平行

1.22.0

支柱

1.4.7

pkgbuild

1.1.0

pkgconfig

2.0.3

pkgload

1.1.0

plogr

0.2.0

plyr

1.8.6

讚美

1.0.0

prettyunits

1.1.1

pROC

1.16.2

processx

3.4.5

prodlim

2019.11.13

進步

1.2.2

承諾

1.1.1

原型

1.0.0

ps

1.5.0

purrr

0.3.4

r2d3

0.2.3

R6

2.5.0

randomForest

-14 - 4.6

rappdirs

0.3.1

rcmdcheck

1.3.3

RColorBrewer

1.1 - 2

Rcpp

1.0.5

readr

1.4.0

readxl

1.3.1

食譜

0.1.15

複賽

1.0.1

rematch2

2.1.2

遙控器

2.2.0

reprex

0.3.0

reshape2

1.4.4

雷克斯

1.2.0

rlang

0.4.9

rmarkdown

2.6

RODBC

-17 - 1.3

roxygen2

安裝7.1.1

rpart

-15 - 4.1

rprojroot

2.0.2

Rserve

1.8 8

RSQLite

2.2.1

rstudioapi

0.13

rversions

2.0.2

房車

0.3.6

尺度

1.1.1

selectr

0.4 - 2

sessioninfo

1.1.1

形狀

1.4.5

閃亮的

1.5.0

sourcetools

0.1.7

sparklyr

1.5.2

SparkR

3.1.1

空間

-11 - 7.3

樣條函數

4.1.0

sqldf

-11 - 0.4

SQUAREM

2020.5

統計數據

4.1.0

stats4

4.1.0

stringi

1.5.3

stringr

1.4.0

生存

-11 - 3.2

sys

3.4

tcltk

4.1.0

TeachingDemos

2.10

testthat

3.0.0

寵物貓

3.0.4

tidyr

1.1.2

tidyselect

1.1.0

tidyverse

1.3.0

timeDate

3043.102

tinytex

0.28

工具

4.1.0

usethis

2.0.0

use utf8

1.1.4

跑龍套

4.1.0

uuid

0.1 - 4

vctrs

0.3.5

viridisLite

0.3.0

沃爾多

0.2.3

晶須

0.4

withr

tripwire

xfun

0.19

xml2

1.3.2

xopen

1.0.0

xtable

1.8 - 4

yaml

2.2.1

郵政編碼

2.1.1

已安裝的Java和Scala庫(Scala 2.12集群版本)

組ID

工件ID

版本

antlr

antlr

2.7.7

com.amazonaws

amazon-kinesis-client

1.12.0

com.amazonaws

aws-java-sdk-autoscaling

1.11.655

com.amazonaws

aws-java-sdk-cloudformation

1.11.655

com.amazonaws

aws-java-sdk-cloudfront

1.11.655

com.amazonaws

aws-java-sdk-cloudhsm

1.11.655

com.amazonaws

aws-java-sdk-cloudsearch

1.11.655

com.amazonaws

aws-java-sdk-cloudtrail

1.11.655

com.amazonaws

aws-java-sdk-cloudwatch

1.11.655

com.amazonaws

aws-java-sdk-cloudwatchmetrics

1.11.655

com.amazonaws

aws-java-sdk-codedeploy

1.11.655

com.amazonaws

aws-java-sdk-cognitoidentity

1.11.655

com.amazonaws

aws-java-sdk-cognitosync

1.11.655

com.amazonaws

aws-java-sdk-config

1.11.655

com.amazonaws

aws-java-sdk-core

1.11.655

com.amazonaws

aws-java-sdk-datapipeline

1.11.655

com.amazonaws

aws-java-sdk-directconnect

1.11.655

com.amazonaws

aws-java-sdk-directory

1.11.655

com.amazonaws

aws-java-sdk-dynamodb

1.11.655

com.amazonaws

aws-java-sdk-ec2

1.11.655

com.amazonaws

aws-java-sdk-ecs

1.11.655

com.amazonaws

aws-java-sdk-efs

1.11.655

com.amazonaws

aws-java-sdk-elasticache

1.11.655

com.amazonaws

aws-java-sdk-elasticbeanstalk

1.11.655

com.amazonaws

aws-java-sdk-elasticloadbalancing

1.11.655

com.amazonaws

aws-java-sdk-elastictranscoder

1.11.655

com.amazonaws

aws-java-sdk-emr

1.11.655

com.amazonaws

aws-java-sdk-glacier

1.11.655

com.amazonaws

aws-java-sdk-glue

1.11.655

com.amazonaws

aws-java-sdk-iam

1.11.655

com.amazonaws

aws-java-sdk-importexport

1.11.655

com.amazonaws

aws-java-sdk-kinesis

1.11.655

com.amazonaws

aws-java-sdk-kms

1.11.655

com.amazonaws

aws-java-sdk-lambda

1.11.655

com.amazonaws

aws-java-sdk-logs

1.11.655

com.amazonaws

aws-java-sdk-machinelearning

1.11.655

com.amazonaws

aws-java-sdk-marketplacecommerceanalytics

1.11.655

com.amazonaws

aws-java-sdk-marketplacemeteringservice

1.11.655

com.amazonaws

aws-java-sdk-opsworks

1.11.655

com.amazonaws

aws-java-sdk-rds

1.11.655

com.amazonaws

aws-java-sdk-redshift

1.11.655

com.amazonaws

aws-java-sdk-route53

1.11.655

com.amazonaws

aws-java-sdk-s3

1.11.655

com.amazonaws

aws-java-sdk-ses

1.11.655

com.amazonaws

aws-java-sdk-simpledb

1.11.655

com.amazonaws

aws-java-sdk-simpleworkflow

1.11.655

com.amazonaws

aws-java-sdk-sns

1.11.655

com.amazonaws

aws-java-sdk-sqs

1.11.655

com.amazonaws

aws-java-sdk-ssm

1.11.655

com.amazonaws

aws-java-sdk-storagegateway

1.11.655

com.amazonaws

aws-java-sdk-sts

1.11.655

com.amazonaws

aws-java-sdk-support

1.11.655

com.amazonaws

aws-java-sdk-swf-libraries

1.11.22

com.amazonaws

aws-java-sdk-workspaces

1.11.655

com.amazonaws

jmespath-java

1.11.655

com.chuusai

shapeless_2.12

2.3.3

com.clearspring.analytics

2.9.6

com.databricks

Rserve

1.8 - 3

com.databricks

jets3t

0.7.1-0

com.databricks.scalapb

compilerplugin_2.12

0.4.15-10

com.databricks.scalapb

scalapb-runtime_2.12

0.4.15-10

com.esotericsoftware

kryo-shaded

4.0.2

com.esotericsoftware

minlog

1.3.0

com.fasterxml

同學

1.3.4

com.fasterxml.jackson.core

jackson-annotations

2.10.0

com.fasterxml.jackson.core

jackson-core

2.10.0

com.fasterxml.jackson.core

jackson-databind

2.10.0

com.fasterxml.jackson.dataformat

jackson-dataformat-cbor

2.10.0

com.fasterxml.jackson.datatype

jackson-datatype-joda

2.10.0

com.fasterxml.jackson.module

jackson-module-paranamer

2.10.0

com.fasterxml.jackson.module

jackson-module-scala_2.12

2.10.0

com.github.ben-manes.caffeine

咖啡因

2.3.4

com.github.fommil

jniloader

1.1

com.github.fommil.netlib

核心

1.1.2

com.github.fommil.netlib

native_ref-java

1.1

com.github.fommil.netlib

native_ref-java-natives

1.1

com.github.fommil.netlib

native_system-java

1.1

com.github.fommil.netlib

native_system-java-natives

1.1

com.github.fommil.netlib

netlib-native_ref-linux-x86_64-natives

1.1

com.github.fommil.netlib

netlib-native_system-linux-x86_64-natives

1.1

com.github.joshelser

dropwizard-metrics-hadoop-metrics2-reporter

0.1.2

com.github.luben

zstd-jni

1.4.8-1

com.github.wendykierp

JTransforms

3.1

com.google.code.findbugs

jsr305

3.0.0

com.google.code.gson

gson

2.2.4

com.google.flatbuffers

flatbuffers-java

1.9.0

com.google.guava

番石榴

15.0

com.google.protobuf

protobuf-java

2.6.1

com.h2database

h2

1.4.195

com.helger

分析器

1.1.1

com.jcraft

jsch

0.1.50

com.jolbox

bonecp

0.8.0.RELEASE

com.lihaoyi

sourcecode_2.12

0.1.9

com.microsoft.azure

azure-data-lake-store-sdk

2.3.9

com.microsoft.sqlserver

mssql-jdbc

9.2.1.jre8

com.ning

compress-lzf

1.0.3

com.sun.mail

javax.mail

1.5.2

com.tdunning

json

1.8

com.thoughtworks.paranamer

paranamer

2.8

com.trueaccord.lenses

lenses_2.12

0.4.12

com.twitter

chill-java

0.9.5

com.twitter

chill_2.12

0.9.5

com.twitter

util-app_2.12

7.1.0

com.twitter

util-core_2.12

7.1.0

com.twitter

util-function_2.12

7.1.0

com.twitter

util-jvm_2.12

7.1.0

com.twitter

util-lint_2.12

7.1.0

com.twitter

util-registry_2.12

7.1.0

com.twitter

util-stats_2.12

7.1.0

com.typesafe

配置

1.2.1 "

com.typesafe.scala-logging

scala-logging_2.12

3.7.2章

com.univocity

univocity-parsers

2.9.1

com.zaxxer

HikariCP

3.1.0

commons-beanutils

commons-beanutils

1.9.4

commons-cli

commons-cli

1.2

commons-codec

commons-codec

1.10

commons-collections

commons-collections

3.2.2

commons configuration

commons configuration

1.6

commons-dbcp

commons-dbcp

1.4

commons-digester

commons-digester

1.8

commons-fileupload

commons-fileupload

1.3.3

commons-httpclient

commons-httpclient

3.1

commons-io

commons-io

2.4

commons lang

commons lang

2.6

通用日誌

通用日誌

1.1.3

commons net

commons net

3.1

commons-pool

commons-pool

1.5.4

蜂巢2.7 - 2.3 - __hadoop -

jets3t - 0.7

liball_deps_2.12

蜂巢2.7 - 2.3 - __hadoop -

動物園管理員- 3.4

liball_deps_2.12

info.ganglia.gmetric4j

gmetric4j

1.0.10

io.airlift

aircompressor

0.10

io.delta

delta-sharing-spark_2.12

0.1.0

io.dropwizard.metrics

metrics-core

以下4.4.1

io.dropwizard.metrics

metrics-graphite

以下4.4.1

io.dropwizard.metrics

metrics-healthchecks

以下4.4.1

io.dropwizard.metrics

metrics-jetty9

以下4.4.1

io.dropwizard.metrics

metrics-jmx

以下4.4.1

io.dropwizard.metrics

metrics-json

以下4.4.1

io.dropwizard.metrics

metrics-jvm

以下4.4.1

io.dropwizard.metrics

metrics-servlets

以下4.4.1

io.netty

netty-all

4.1.51.Final

io.prometheus

simpleclient

0.7.0

io.prometheus

simpleclient_common

0.7.0

io.prometheus

simpleclient_dropwizard

0.7.0

io.prometheus

simpleclient_pushgateway

0.7.0

io.prometheus

simpleclient_servlet

0.7.0

io.prometheus.jmx

收集器

0.12.0

jakarta.annotation

jakarta.annotation-api

1.3.5

jakarta.validation

jakarta.validation-api

2.0.2

jakarta.ws.rs

jakarta.ws.rs-api

2.1.6

javax.activation

激活

1.1.1

javax.el

javax.el-api

2.2.4

javax.jdo

jdo api

3.0.1

javax.servlet

javax.servlet-api

3.1.0

javax.servlet.jsp

jsp-api

2.1

javax.transaction

jta

1.1

javax.transaction

事務api

1.1

javax.xml.bind

jaxb-api

2.2.2

javax.xml.stream

stax-api

1.0 - 2

javolution

javolution

5.5.1

jline

jline

2.14.6

joda-time

joda-time

2.10.5

log4j

apache-log4j-extras

1.2.17

log4j

log4j

1.2.17

maven-trees

蜂巢2.7 - 2.3 - __hadoop -

liball_deps_2.12

net.java.dev.jna

jna

5.8.0

net.razorvine

地幔岩

4.30

net.sf.jpam

jpam

1.1

net.sf.opencsv

opencsv

2.3

net.sf.supercsv

super-csv

2.2.0

net.snowflake

snowflake-ingest-sdk

0.9.6

net.snowflake

snowflake-jdbc

3.13.3

net.snowflake

spark-snowflake_2.12

2.9.0-spark_3.1

net.sourceforge.f2j

arpack_combined_all

0.1

org.acplt.remotetea

remotetea-oncrpc

1.1.2

org.antlr

ST4

4.0.4

org.antlr

antlr-runtime

3.5.2

org.antlr

antlr4-runtime

4.8 - 1

org.antlr

stringtemplate

3.2.1之上

org.apache.ant

螞蟻

1.9.2

org.apache.ant

ant-jsch

1.9.2

org.apache.ant

ant-launcher

1.9.2

org.apache.arrow

arrow-format

2.0.0

org.apache.arrow

arrow-memory-core

2.0.0

org.apache.arrow

arrow-memory-netty

2.0.0

org.apache.arrow

arrow-vector

2.0.0

org.apache.avro

avro

1.8.2

org.apache.avro

avro-ipc

1.8.2

org.apache.avro

avro-mapred-hadoop2

1.8.2

org.apache.commons

commons-compress

1.20

org.apache.commons

commons-crypto

1.1.0

org.apache.commons

commons-lang3

3.10

org.apache.commons

commons-math3

3.4.1

org.apache.commons

commons-text

1.6

org.apache.curator

curator-client

2.7.1

org.apache.curator

curator-framework

2.7.1

org.apache.curator

curator-recipes

2.7.1

org.apache.derby

德比

10.12.1.1

org.apache.directory.api

api-asn1-api

1.0.0-M20

org.apache.directory.api

api-util

1.0.0-M20

org.apache.directory.server

apacheds-i18n

2.0.0-M15

org.apache.directory.server

apacheds-kerberos-codec

2.0.0-M15

org.apache.hadoop

hadoop-annotations

第2.7.4

org.apache.hadoop

hadoop-auth

第2.7.4

org.apache.hadoop

hadoop-client

第2.7.4

org.apache.hadoop

hadoop-common

第2.7.4

org.apache.hadoop

hadoop-hdfs

第2.7.4

org.apache.hadoop

hadoop-mapreduce-client-app

第2.7.4

org.apache.hadoop

hadoop-mapreduce-client-common

第2.7.4

org.apache.hadoop

hadoop-mapreduce-client-core

第2.7.4

org.apache.hadoop

hadoop-mapreduce-client-jobclient

第2.7.4

org.apache.hadoop

hadoop-mapreduce-client-shuffle

第2.7.4

org.apache.hadoop

hadoop-yarn-api

第2.7.4

org.apache.hadoop

hadoop-yarn-client

第2.7.4

org.apache.hadoop

hadoop-yarn-common

第2.7.4

org.apache.hadoop

hadoop-yarn-server-common

第2.7.4

org.apache.hive

hive-beeline

2.3.7

org.apache.hive

hive-cli

2.3.7

org.apache.hive

hive-jdbc

2.3.7

org.apache.hive

hive-llap-client

2.3.7

org.apache.hive

hive-llap-common

2.3.7

org.apache.hive

hive-serde

2.3.7

org.apache.hive

hive-shims

2.3.7

org.apache.hive

hive-storage-api

2.7.2

org.apache.hive.shims

蜂巢0.23 -墊片

2.3.7

org.apache.hive.shims

hive-shims-common

2.3.7

org.apache.hive.shims

hive-shims-scheduler

2.3.7

org.apache.htrace

htrace-core

3.1.0-incubating

org.apache.httpcomponents

httpclient

4.5.6

org.apache.httpcomponents

httpcore

4.4.12

org.apache.ivy

艾薇

測試盒框

org.apache.mesos

mesos-shaded-protobuf

1.4.0

org.apache.orc

orc-core

1.5.12

org.apache.orc

orc-mapreduce

1.5.12

org.apache.orc

orc-shims

1.5.12

org.apache.parquet

parquet-column

1.10.1-databricks9

org.apache.parquet

parquet-common

1.10.1-databricks9

org.apache.parquet

parquet-encoding

1.10.1-databricks9

org.apache.parquet

parquet-format

測試盒框

org.apache.parquet

parquet-hadoop

1.10.1-databricks9

org.apache.parquet

parquet-jackson

1.10.1-databricks9

org.apache.thrift

libfb303

0.9.3

org.apache.thrift

libthrift

0.12.0

org.apache.xbean

xbean-asm7-shaded

4.15

org.apache.yetus

audience-annotations

0.5.0

org.apache.zookeeper

動物園管理員

3.4.14

org.codehaus.jackson

jackson-core-asl

1.9.13

org.codehaus.jackson

jackson-jaxrs

1.9.13

org.codehaus.jackson

jackson-mapper-asl

1.9.13

org.codehaus.jackson

jackson-xc

1.9.13

org.codehaus.janino

commons-compiler

3.0.16

org.codehaus.janino

janino

3.0.16

org.datanucleus

datanucleus-api-jdo

4.2.4

org.datanucleus

datanucleus-core

4.1.17

org.datanucleus

datanucleus-rdbms

4.1.19

org.datanucleus

javax.jdo

3.2.0-m3

org.eclipse.jetty

jetty-client

9.4.36.v20210114

org.eclipse.jetty

jetty-continuation

9.4.36.v20210114

org.eclipse.jetty

jetty-http

9.4.36.v20210114

org.eclipse.jetty

jetty-io

9.4.36.v20210114

org.eclipse.jetty

jetty-jndi

9.4.36.v20210114

org.eclipse.jetty

jetty-plus

9.4.36.v20210114

org.eclipse.jetty

jetty-proxy

9.4.36.v20210114

org.eclipse.jetty

jetty-security

9.4.36.v20210114

org.eclipse.jetty

jetty服務器

9.4.36.v20210114

org.eclipse.jetty

jetty servlet

9.4.36.v20210114

org.eclipse.jetty

jetty-servlets

9.4.36.v20210114

org.eclipse.jetty

jetty-util

9.4.36.v20210114

org.eclipse.jetty

jetty-util-ajax

9.4.36.v20210114

org.eclipse.jetty

jetty-webapp

9.4.36.v20210114

org.eclipse.jetty

jetty-xml

9.4.36.v20210114

org.fusesource.leveldbjni

leveldbjni-all

1.8

org.glassfish.hk2

hk2-api

2.6.1

org.glassfish.hk2

hk2-locator

2.6.1

org.glassfish.hk2

hk2-utils

2.6.1

org.glassfish.hk2

osgi-resource-locator

1.0.3

org.glassfish.hk2.external

aopalliance-repackaged

2.6.1

org.glassfish.hk2.external

jakarta.inject

2.6.1

org.glassfish.jersey.containers

jersey-container-servlet

2.30

org.glassfish.jersey.containers

jersey-container-servlet-core

2.30

org.glassfish.jersey.core

jersey客戶端

2.30

org.glassfish.jersey.core

jersey-common

2.30

org.glassfish.jersey.core

jersey-server

2.30

org.glassfish.jersey.inject

jersey-hk2

2.30

org.glassfish.jersey.media

jersey-media-jaxb

2.30

org.hibernate.validator

hibernate驗證框架

6.1.0.Final

org.javassist

javassist

3.25.0-GA

org.jboss.logging

jboss-logging

3.3.2.Final

org.jdbi

jdbi

2.63.1

org.joda

joda-convert

1.7

org.jodd

jodd-core

3.5.2

org.json4s

json4s-ast_2.12

3.7.0-M5

org.json4s

json4s-core_2.12

3.7.0-M5

org.json4s

json4s-jackson_2.12

3.7.0-M5

org.json4s

json4s-scalap_2.12

3.7.0-M5

org.lz4

lz4-java

1.7.1上

org.mariadb.jdbc

mariadb-java-client

2.2.5

org.objenesis

objenesis

2.5.1

org.postgresql

postgresql

42.1.4

org.roaringbitmap

RoaringBitmap

0.9.14

org.roaringbitmap

墊片

0.9.14

org.rocksdb

rocksdbjni

6.20.3

org.rosuda.REngine

REngine

魅惑

org.scala-lang

scala-compiler_2.12

2.12.10

org.scala-lang

scala-library_2.12

2.12.10

org.scala-lang

scala-reflect_2.12

2.12.10

org.scala-lang.modules

scala-collection-compat_2.12

2.1.1

org.scala-lang.modules

scala-parser-combinators_2.12

1.1.2

org.scala-lang.modules

scala-xml_2.12

1.2.0

org.scala-sbt

測試界麵

1.0

org.scalacheck

scalacheck_2.12

1.14.2

org.scalactic

scalactic_2.12

3.0.8

org.scalanlp

breeze-macros_2.12

1.0

org.scalanlp

breeze_2.12

1.0

org.scalatest

scalatest_2.12

3.0.8

org.slf4j

jcl-over-slf4j

1.7.30

org.slf4j

jul-to-slf4j

1.7.30

org.slf4j

slf4j-api

1.7.30

org.slf4j

slf4j-log4j12

1.7.30

org.spark-project.spark

未使用的

1.0.0

org.springframework

spring核心

4.1.4.RELEASE

org.springframework

spring測試

4.1.4.RELEASE

org.threeten

threeten-extra

1.5.0

org.tukaani

xz

1.5

org.typelevel

algebra_2.12

2.0.0-M2

org.typelevel

cats-kernel_2.12

2.0.0-M4

org.typelevel

machinist_2.12

0.6.8

org.typelevel

macro-compat_2.12

1.1.1

org.typelevel

spire-macros_2.12

0.17.0-M1

org.typelevel

spire-Beplay体育安卓版本platform_2.12

0.17.0-M1

org.typelevel

spire-util_2.12

0.17.0-M1

org.typelevel

spire_2.12

0.17.0-M1

org.wildfly.openssl

wildfly-openssl

1.0.7.Final

org.xerial

sqlite-jdbc

3.8.11.2

org.xerial.snappy

snappy-java

1.1.8.2

org.yaml

snakeyaml

1.24

奧羅

奧羅

2.0.8

pl.edu.icm

JLargeArrays

1.5

software.amazon.ion

ion-java

1.0.2中

stax

stax-api

1.0.1

xmlenc

xmlenc

0.52