磚12.1運行時
以下版本注釋提供信息數據磚12.1運行時,由Apache火花3.3.1。
磚在2023年1月發布這些圖片。
請注意
這些版本注釋可能包括引用功能不可用這個版本的穀歌雲。
新特性和改進
三角洲湖表功能支持協議管理
磚表特性,引入了支持三角洲湖,引入顆粒標記指定給定表支持哪些特性。看到磚三角洲湖管理功能的兼容性如何?。
預測在公共預覽I / O的更新
現在預測I / O加速刪除
,合並
,更新
操作為三角洲表啟用了刪除向量上啟用光子計算。看到預測I / O是什麼?。
數據瀏覽目前可用的所有角色
數據瀏覽器現在可以對所有數據磚使用磚時角色運行時7.3 LTS及以上。
支持多種查詢狀態運營商在一個流
用戶現在可以鏈狀態與append模式運營商流查詢。並不是所有的運營商都完全支持。Stream-stream時間間隔加入flatMapGroupsWithState
不允許其他有狀態操作鏈接。
在公共預覽支持協議緩衝區
您可以使用from_protobuf
和to_protobuf
函數之間交換數據的二進製和結構類型。看到讀和寫協議緩衝區。
支持彙合的模式注冊認證
磚與融合性的模式集成注冊中心現在支持外部模式注冊地址和身份驗證。這個功能是可用的from_avro
,to_avro
,from_protobuf
,to_protobuf
功能。看到Protobuf或Avro。
表版本使用時間戳現在支持δ共享目錄表
現在,您可以使用SQL語法時間戳作為的
在選擇
語句指定版本的三角洲共享表的安裝目錄。表必須共享使用與曆史
。
支持合並成的不匹配時的來源
你現在可以添加當不匹配通過源
條款合並成
更新或刪除行選擇表中沒有匹配的源表的基礎上合並條件。新條款可在SQL, Python, Scala和Java。看到合並成。
優化轉換為δ的統計信息收集
統計信息收集的轉換來δ
操作是現在快得多。這降低了工作負載的數量可能使用沒有統計數據
的效率。
庫升級
升級的Python庫:
filelock 3.8.0 3.8.2
Beplay体育安卓版本platformdirs 2.5.4 2.6.0
setuptools 58.0.4 61.2.0
升級R庫:
升級Java庫:
io.delta.delta-sharing-spark_2.12 0.5.2 0.6.2
org.apache.hive。hive-storage-apifrom 2.7.2 to 2.8.1
org.apache.parquet。parquet-columnfrom 1.12.3-databricks-0001 to 1.12.3-databricks-0002
org.apache.parquet。parquet-commonfrom 1.12.3-databricks-0001 to 1.12.3-databricks-0002
org.apache.parquet。parquet-encodingfrom 1.12.3-databricks-0001 to 1.12.3-databricks-0002
org.apache.parquet。parquet-format-structures 1.12.3-databricks-0001 1.12.3-databricks-0002
org.apache.parquet。parquet-hadoopfrom 1.12.3-databricks-0001 to 1.12.3-databricks-0002
org.apache.parquet。parquet-jacksonfrom 1.12.3-databricks-0001 to 1.12.3-databricks-0002
org.tukaani。xzfrom 1.8 to 1.9
Apache火花
磚12.1運行時包含Apache火花3.3.1。這個版本包括所有火花修複和改進中磚運行時的12.0(不支持)以及以下額外的bug修複和改進了火花:
(火花- 41405)(sc - 119769)[12.1.0]恢複”(sc - 119411) [SQL]集中列解決邏輯”和“[sc - 117170][火花- 41338][SQL]解析外部引用和正常列在同一分析器批”
(火花- 41405)(sc - 119411] [SQL]集中列解決邏輯
(火花- 41859)(sc - 119514] [SQL] CreateHiveTableAsSelectCommand應該正確設置覆蓋國旗
(火花- 41659)(sc - 119526)[連接][12。在pyspark.sql.connect.readwriter X]使doctest
(火花- 41858)(sc - 119427] [SQL]修複獸人讀者由於默認值特性性能回歸
(火花- 41807)(sc - 119399)(核心)刪除不存在的錯誤類:UNSUPPORTED_FEATURE.DISTRIBUTE_BY
(火花- 41578)(12。x] [sc - 119273] [SQL]命名遺產ERROR_TEMP_2141
(火花- 41571)(sc - 119362) [SQL]命名遺產ERROR_TEMP_2310
(火花- 41810)(sc - 119373)(連接)推斷SparkSession.createDataFrame字典的列表的名稱
(火花- 40993)(sc - 119504)[火花- 41705][連接][12。X]移動引發連接文檔和腳本dev /和Python文檔
(火花- 41534)(sc - 119456][連接][SQL] [12。x]設置初始客戶端模塊引發連接
(火花- 41365)(sc - 118498] [UI][3.3]階段UI頁麵無法加載特定的紗環境的代理
(火花- 41481)(sc - 118150)(核心)[SQL]重用
INVALID_TYPED_LITERAL
而不是_LEGACY_ERROR_TEMP_0020
(火花- 41049)(sc - 119305] [SQL]重新處理狀態表達式
(火花- 41726)(sc - 119248) [SQL]刪除
OptimizedCreateHiveTableAsSelectCommand
(火花- 41271)(sc - 118648) [sc - 118348] [SQL]支持參數化SQL查詢
sql ()
(火花- 41066)(sc - 119344)(連接)(PYTHON)實現
DataFrame.sampleBy
和DataFrame.stat.sampleBy
(火花- 41407)(sc - 119402) [sc - 119012] [SQL][所有測試]退出v1 writefile寫
(火花- 41565)(sc - 118868] [SQL]添加錯誤類
UNRESOLVED_ROUTINE
(火花- 41668)(sc - 118925] [SQL]解碼零函數返回錯誤的結果
(火花- 41554)(sc - 119274)修複十進位製,當規模的改變減少了m…
(火花- 41065)(sc - 119324)(連接)(PYTHON)實現
DataFrame.freqItems
和DataFrame.stat.freqItems
(火花- 41742)(sc - 119404)[火花- 41745][連接][12。X]使再能醫生測試和添加缺失列別名數()
(火花- 41069)(sc - 119310)(連接)(PYTHON)實現
DataFrame.approxQuantile
和DataFrame.stat.approxQuantile
(火花- 41809)(sc - 119367)(連接)(PYTHON)功能
from_json
支持數據類型模式(火花- 41804)(sc - 119382] [SQL]選擇正確的元素的大小
InterpretedUnsafeProjection
udt的數組(火花- 41786)PYTHON (sc - 119308)[連接][]刪除處理輔助功能
(火花- 41745)(sc - 119378)[火花- 41789][12。X]使
createDataFrame
支持列表的行(火花- 41344)(sc - 119217] [SQL]讓錯誤更清楚當表中沒有SupportsCatalogOptions目錄
(火花- 41803)(sc - 119380)(連接)(PYTHON)添加缺失的功能
日誌(__arg1、最長)
(火花- 41808)PYTHON (sc - 119356)[連接][]使JSON函數支持選項
(火花- 41779)(sc - 119275)[火花- 41771][連接][PYTHON]
__getitem__
支持過濾和選擇(火花- 41783)(sc - 119288)[火花- 41770][連接][PYTHON]使列op支持
(火花- 41440)(sc - 119279)(連接)(PYTHON)避免緩存操作符一般樣本。
(火花- 41785)(sc - 119290)(連接)(PYTHON)實現
GroupedData.mean
(火花- 41629)(sc - 119276)(連接)支持協議的擴展和表達的關係
(火花- 41417)(sc - 118000)(核心)[SQL]重命名
_LEGACY_ERROR_TEMP_0019
來INVALID_TYPED_LITERAL
(火花- 41533)(sc - 119342)[連接][12。X]適當的錯誤處理引發連接服務器/客戶端
(火花- 41292)(sc - 119357)[連接][12。X]支持pyspark.sql窗口。窗口名稱空間
(火花- 41493)PYTHON (sc - 119339)[連接][]使csv功能支持選項
(火花- 39591)(sc - 118675) [SS]異步跟蹤進展
(火花- 41767)(sc - 119337][連接][PYTHON] [12。X)實現
列。{withField,dropFields}
(火花- 41068)(sc - 119268)(連接)(PYTHON)實現
DataFrame.stat.corr
(火花- 41655)(sc - 119323)[連接][12。在pyspark.sql.connect.column X]使doctest
(火花- 41738)(sc - 119170)(連接)混合ClientId SparkSession緩存
(火花- 41354)(sc - 119194)(連接)添加
RepartitionByExpression
為原型(火花- 41784)(sc - 119289)(連接)(PYTHON)添加失蹤
__rmod__
在列(火花- 41778)(sc - 119262] [SQL] ArrayAggregate添加別名“減少”
(火花- 41067)(sc - 119171)(連接)(PYTHON)實現
DataFrame.stat.cov
(火花- 41764)PYTHON (sc - 119216)[連接][]FunctionRegistry內部字符串op名稱一致
(火花- 41734)(sc - 119160)(連接)添加一個父目錄的信息
(火花- 41742)(sc - 119263)支持df.groupBy () .agg({“*”:“計數”})
(火花- 41761)(sc - 119213)(連接)(PYTHON)解決算術運維:
__neg__
,__pow__
,__rpow__
(火花- 41062)(sc - 118182) [SQL]重命名
UNSUPPORTED_CORRELATED_REFERENCE
來CORRELATED_REFERENCE
(火花- 41751)(sc - 119211)(連接)(PYTHON)修複
列。{isNull,isNotNull,eqNullSafe}
(火花- 41728)(sc - 119164][連接][PYTHON] [12。X)實現
unwrap_udt
函數(火花- 41333)(sc - 119195)[火花- 41737)執行
GroupedData。{最小,馬克斯,avg,總和}
(火花- 41751)(sc - 119206)(連接)(PYTHON)修複
列。{bitwiseAND,bitwiseOR,bitwiseXOR}
(火花- 41631)(sc - 101081] [SQL]支持隱式側列別名決議聚合
(火花- 41529)(sc - 119207)[連接][12。X)實現SparkSession.stop
(火花- 41729)(sc - 119205)(核心)[SQL] [12。X]重命名
_LEGACY_ERROR_TEMP_0011
來UNSUPPORTED_FEATURE.COMBINATION_QUERY_RESULT_CLAUSES
(火花- 41717)(sc - 119078)[連接][12。X]刪除處理和打印repr在LogicalPlan html_
(火花- 41740)(sc - 119169)(連接)(PYTHON)實現
Column.name
(火花- 41733)(sc - 119163] [SQL] [SS]應用基於樹各種規則ResolveWindowTime修剪
(火花- 41732)(sc - 119157] [SQL] [SS]應用基於樹各種規則SessionWindowing修剪
(火花- 41498)通過聯盟(sc - 119018)傳播的元數據
(火花- 41731)(sc - 119166][連接][PYTHON] [12。X]實現列訪問器
(火花- 41736)PYTHON (sc - 119161)[連接][]
pyspark_types_to_proto_types
應該支持ArrayType
(火花- 41473)(sc - 119092)(連接)(PYTHON)實現
format_number
函數(火花- 41707)(sc - 119141)[連接][12。X)實現Catalog API in Spark Connect
(火花- 41710)(sc - 119062)(連接)(PYTHON)實現
Column.between
(火花- 41235)(sc - 119088) [SQL] [PYTHON)高階功能:array_compact實現
(火花- 41518)(sc - 118453] [SQL]錯誤類指定一個名稱
_LEGACY_ERROR_TEMP_2422
(火花- 41723)(sc - 119091)(連接)(PYTHON)實現
序列
函數(火花- 41703)(sc - 119060)(連接)(PYTHON)結合NullType和typed_null文字
(火花- 41722)(sc - 119090)(連接)(PYTHON)實現3失蹤時間窗函數
(火花- 41503)(sc - 119043)(連接)PYTHON實現分區轉換功能
(火花- 41413)(sc - 118968] [SQL]避免洗牌在Storage-Partitioned加入分區鍵不匹配,但連接表達式是兼容的
(火花- 41700)(sc - 119046)(連接)(PYTHON)刪除
FunctionBuilder
(火花- 41706)PYTHON (sc - 119094)[連接][]
pyspark_types_to_proto_types
應該支持MapType
(火花- 41702)(sc - 119049)(連接)(PYTHON)添加無效的列行動
(火花- 41660)(sc - 118866] [SQL]隻傳播如果他們使用元數據列
(火花- 41637)(sc - 119003] [SQL]命令
(火花- 41513)(sc - 118945] [SQL]實現一個累加器來收集每個映射器行數指標
(火花- 41647)(sc - 119064)[連接][12。在pyspark.sql.connect.functions X]刪除處理文檔字符串
(火花- 41701)PYTHON (sc - 119048)[連接][]使列op的支持
小數
(火花- 41383)(sc - 119015)[火花- 41692][火花- 41693]實現
彙總
,多維數據集
和主
(火花- 41635)(sc - 118944] [SQL]組
(火花- 41645)(sc - 119057)[連接][12。在pyspark.sql.connect.dataframe X]刪除處理文檔字符串
(火花- 41688)(sc - 118951)(連接)(PYTHON)表達式expressions.py移動
(火花- 41687)(sc - 118949)(連接)刪除處理pyspark.sql.connect.group文檔字符串
(火花- 41649)(sc - 118950)(連接)刪除處理pyspark.sql.connect.window文檔字符串
(火花- 41681)(sc - 118939)(連接)因素GroupedData group.py
(火花- 41292)(sc - 119038)[火花- 41640][火花- 41641][連接][PYTHON] [12。X)實現
窗口
功能(火花- 41675)(sc - 119031) [sc - 118934][連接][PYTHON] [12。X]使列op的支持
datetime
(火花- 41672)(sc - 118929)(連接)(PYTHON)啟用棄用功能
(火花- 41673)(sc - 118932)(連接)(PYTHON)實現
Column.astype
(火花- 41364)(sc - 118865)(連接)(PYTHON)實現
廣播
函數(火花- 41648)(sc - 118914)[連接][12。在pyspark.sql.connect.readwriter X]刪除處理文檔字符串
(火花- 41646)(sc - 118915)[連接][12。在pyspark.sql.connect.session X]刪除處理文檔字符串
(火花- 41643)(sc - 118862)[連接][12。在pyspark.sql.connect.column X]刪除處理文檔字符串
(火花- 41663)(sc - 118936][連接][PYTHON] [12。X)實現the rest of Lambda functions
(火花- 41441)(sc - 118557] [SQL]支持生成沒有要求孩子輸出主機外部引用
(火花- 41669)(sc - 118923] [SQL]早在canCollapseExpressions修剪
(火花- 41639)(sc - 118927] [SQL] [PROTOBUF]:除去SchemaConverters ScalaReflectionLock
(火花- 41464)(sc - 118861)(連接)(PYTHON)實現
DataFrame.to
(火花- 41434)(sc - 118857)(連接)(PYTHON)初始
LambdaFunction
實現(火花- 41539)(sc - 118802] [SQL]再交換數據和約束對輸出邏輯LogicalRDD的計劃
(火花- 41396)(sc - 118786] [SQL] [PROTOBUF]內的現場支持和遞歸檢查
(火花- 41528)(sc - 118769)[連接][12。X]合並火花連接和PySpark API的名稱空間
(火花- 41568)(sc - 118715) [SQL]命名遺產ERROR_TEMP_1236
(火花- 41440)(sc - 118788)(連接)(PYTHON)實現
DataFrame.randomSplit
(火花- 41583)(sc - 118718) [sc - 118642][連接][PROTOBUF]添加火花和PROTOBUF連接設置。py和指定依賴項
(火花- 27561)[sc - 101081] [12。x] [SQL]支持隱式側列別名決議項目
(火花- 41535)(sc - 118645] [SQL]為日曆設置正確零間隔字段
InterpretedUnsafeProjection
和InterpretedMutableProjection
(火花- 40687)(sc - 118439] [SQL]支持數據屏蔽內置函數“麵具”
(火花- 41520)(sc - 118440] [SQL]分裂AND_OR TreePattern分離和或TreePatterns
(火花- 41349)(sc - 118668)(連接)(PYTHON)實現DataFrame.hint
(火花- 41546)PYTHON (sc - 118541)[連接][]
pyspark_types_to_proto_types
應該支持StructType。(火花- 41334)(sc - 118549)(連接)(PYTHON)移動
排序方式
原型的關係表達式(火花- 41387)(sc - 118450) [SS]斷言當前結束偏移量從卡夫卡Trigger.AvailableNow數據源
(火花- 41508)(sc - 118445)(核心)[SQL]重命名
_LEGACY_ERROR_TEMP_1180
來UNEXPECTED_INPUT_TYPE
和刪除_LEGACY_ERROR_TEMP_1179
(火花- 41319)(sc - 118441)(連接)(PYTHON)實現列。{當,否則}和功能
當
與UnresolvedFunction
(火花- 41541)(sc - 118460] [SQL]修複SQLShuffleWriteMetricsReporter.decRecordsWritten調用錯誤的孩子方法()
(火花- 41453)(sc - 118458)(連接)(PYTHON)實現
DataFrame.subtract
(火花- 41248)(sc - 118436) [sc - 118303] [SQL]添加“spark.sql.json。enablePartialResults“啟用/禁用JSON部分結果
(火花- 41437)恢複“(sc - 117601] [SQL]不優化inputquery兩次v1寫回退”
(火花- 41472)(sc - 118352)(連接)(PYTHON)實現字符串/二元函數的其餘部分
(火花- 41526)(sc - 118355)(連接)(PYTHON)實現
Column.isin
(火花- 32170)(sc - 118384)(核心)提高猜測通過階段任務指標。
(火花- 41524)(sc - 118399) [SS]區分SQLConf和extraOptions StateStoreConf RocksDBConf其用法
(火花- 41465)(sc - 118381] [SQL]錯誤類指定一個名稱遺產ERROR_TEMP_1235
(火花- 41511)(sc - 118365] [SQL] ignoresDuplicatedKey LongToUnsafeRowMap支持
(火花- 41409)(sc - 118302)(核心)[SQL]重命名
_LEGACY_ERROR_TEMP_1043
來WRONG_NUM_ARGS.WITHOUT_SUGGESTION
(火花- 41438)(sc - 118344)(連接)(PYTHON)實現
DataFrame.colRegex
(火花- 41437)(sc - 117601] [SQL]不優化的輸入查詢兩次v1寫回退
(火花- 41314)(sc - 117172] [SQL]錯誤類指定一個名稱
_LEGACY_ERROR_TEMP_1094
(火花- 41443)(sc - 118004] [SQL]錯誤類指定一個名稱遺產ERROR_TEMP_1061
(火花- 41506)(sc - 118241)(連接)(PYTHON)重構LiteralExpression支持數據類型
(火花- 41448)(sc - 118046)使工作IDs FileBatchWriter先生和FileFormatWriter一致
(火花- 41456)(sc - 117970] [SQL]提高try_cast的性能
(火花- 41495)(sc - 118125)(連接)(PYTHON)實現
集合
功能:P ~ Z(火花- 41478)(sc - 118167] [SQL]錯誤類指定一個名稱遺產ERROR_TEMP_1234
(火花- 41406)(sc - 118161] [SQL]重構錯誤消息
NUM_COLUMNS_MISMATCH
使它更通用的(火花- 41404)(sc - 118016) [SQL]重構
ColumnVectorUtils # toBatch
為了使ColumnarBatchSuite # testRandomRows
測試更原始數據類型(火花- 41468)(sc - 118044] [SQL]修複在EquivalentExpressions PlanExpression處理
(火花- 40775)(sc - 118045] [SQL]解決重複描述條目V2文件掃描
(火花- 41492)(sc - 118042)(連接)PYTHON實現MISC功能
(火花- 41459)節儉(sc - 118005] [SQL]修複服務器操作日誌輸出是空的
(火花- 41395)(sc - 117899] [SQL]
InterpretedMutableProjection
應該使用setDecimal
為小數設置null值在一個不安全的行(火花- 41376)(sc - 117840)(核心)[3.3]正確的網狀的preferDirectBufs執行者開始檢查邏輯
(火花- 41484)(sc - 118159) [sc - 118036][連接][PYTHON] [12。x)實現
集合
功能:E ~ M(火花- 41389)(sc - 117426)(核心)[SQL]重用
WRONG_NUM_ARGS
而不是_LEGACY_ERROR_TEMP_1044
(火花- 41462)(sc - 117920] [SQL] TimestampNTZ日期和時間戳類型可以投
(火花- 41435)(sc - 117810] [SQL]改變調用
invalidFunctionArgumentsError
為curdate ()
當表達式
不是空的(火花- 41187)(sc - 118030)(核心)LiveExecutor MemoryLeak在AppStatusListener ExecutorLost發生
(火花- 41360)(sc - 118083)(核心)避免BlockManager續費如果遺囑執行人已經丟失
(火花- 41378)(sc - 117686] [SQL]支持DS v2的列統計
(火花- 41402)(sc - 117910] [SQL][連接][12。X]覆蓋prettyName StringDecode
(火花- 41414)(sc - 118041][連接][PYTHON] [12。x)實現date/timestamp functions
(火花- 41329)(sc - 117975)(連接)解決循環進口引發連接
(火花- 41477)PYTHON (sc - 118025)[連接][]正確推斷文字整數的數據類型
(火花- 41446)(sc - 118024][連接][PYTHON] [12。x]使
createDataFrame
模式和多個輸入數據類型的支持(火花- 41475)(sc - 117997)(連接)修複lint-scala命令錯誤和錯誤
(火花- 38277)(sc - 117799) [SS]明確寫批處理後RocksDB商店的提交狀態
(火花- 41375)(sc - 117801) [SS]最新KafkaSourceOffset避免空
(火花- 41412)(sc - 118015)(連接)實現
Column.cast
(火花- 41439)(sc - 117893)(連接)(PYTHON)實現
DataFrame.melt
和DataFrame.unpivot
(火花- 41399)(sc - 118007] (sc - 117474)(連接)重構測試test_connect_column列相關
(火花- 41351)(sc - 117957) [sc - 117412][連接][12。x)列應該支持! =操作符
(火花- 40697)(sc - 117806) [sc - 112787] [SQL]添加讀字符填充覆蓋外部數據文件
(火花- 41349)(sc - 117594)[連接][12。X)實現DataFrame.hint
(火花- 41338)(sc - 117170] [SQL]解析外部引用和正常列在同一分析器批
(火花- 41436)(sc - 117805)(連接)(PYTHON)實現
集合
功能:A ~ C(火花- 41445)(sc - 117802)(連接)實現DataFrameReader.parquet
(火花- 41452)(sc - 117865] [SQL]
to_char
應該返回null時格式是零(火花- 41444)(sc - 117796)(連接)支持read.json ()
(火花- 41398)(sc - 117508] [SQL]放鬆限製Storage-Partitioned加入後,分區鍵運行時過濾不匹配
(火花- 41228)(sc - 117169] [SQL]重命名&改善錯誤消息
COLUMN_NOT_IN_GROUP_BY_CLAUSE
。(火花- 41381)(sc - 117593)(連接)(PYTHON)實現
count_distinct
和sum_distinct
功能(火花- 41433)(sc - 117596)(連接)使馬克斯箭頭BatchSize可配置的
(火花- 41397)(sc - 117590)(連接)(PYTHON)實現字符串/二元函數的一部分
(火花- 41382)(sc - 117588)(連接)(PYTHON)實現
產品
函數(火花- 41403)(sc - 117595)(連接)(PYTHON)實現
DataFrame.describe
(火花- 41366)(sc - 117580)(連接)DF.groupby.agg()應該是兼容的
(火花- 41369)(sc - 117584)(連接)連接常見添加到服務器的陰影jar
(火花- 41411)(sc - 117562) [SS] Multi-Stateful運營商水印支持錯誤修複
(火花- 41176)(sc - 116630] [SQL]錯誤類指定一個名稱遺產ERROR_TEMP_1042
(火花- 41380)(sc - 117476][連接][PYTHON] [12。X)實現aggregation functions
(火花- 41363)(sc - 117470][連接][PYTHON] [12。X]實現正常功能
(火花- 41305)(sc - 117411)(連接)提高文檔命令原型
(火花- 41372)(sc - 117427)(連接)(PYTHON)實現DataFrame TempView
(火花- 41379)PYTHON (sc - 117420) [SS][]提供克隆引發會話在DataFrame用戶函數PySpark foreachBatch水槽
(火花- 41373)(sc - 117405] [SQL](錯誤)重命名CAST_WITH_FUN_SUGGESTION CAST_WITH_FUNC_SUGGESTION
(火花- 41358)(sc - 117417) [SQL]重構
ColumnVectorUtils #填充
方法使用PhysicalDataType
而不是數據類型
(火花- 41355)(sc - 117423] [SQL]工作區蜂巢表名驗證問題
(火花- 41390)(sc - 117429] [SQL]更新腳本用於生成
注冊
函數UDFRegistration
(火花- 41206)(sc - 117233) [sc - 116381] [SQL]重命名錯誤類
_LEGACY_ERROR_TEMP_1233
來COLUMN_ALREADY_EXISTS
(火花- 41357)(sc - 117310][連接][PYTHON] [12。X]實現數學函數
(火花- 40970)(sc - 117308)(連接)(PYTHON)支持(列)加入列表的參數
(火花- 41345)(sc - 117178)(連接)添加提示連接原型
(火花- 41226)(sc - 117194) [SQL] [12。通過引入物理x]重構火花類型
(火花- 41317)(sc - 116902][連接][PYTHON] [12。X]為DataFrameWriter添加基本支持
(火花- 41347)(sc - 117173)(連接)添加演員表達原型
(火花- 41323)(sc - 117128] [SQL] current_schema支持
(火花- 41339)(sc - 117171] [SQL]關閉並重新創建RocksDB寫批處理而不是清算
(火花- 41227)(sc - 117165)(連接)(PYTHON)實現DataFrame交叉連接
(火花- 41346)(sc - 117176)(連接)(PYTHON)實現
asc
和desc
功能(火花- 41343)(sc - 117166)(連接)FunctionName解析移動到服務器端
(火花- 41321)(sc - 117163)(連接)支持UnresolvedStar目標字段
(火花- 41237)(sc - 117167] [SQL]重用錯誤類
UNSUPPORTED_DATATYPE
為_LEGACY_ERROR_TEMP_0030
(火花- 41309)(sc - 116916] [SQL]重用
INVALID_SCHEMA.NON_STRING_LITERAL
而不是_LEGACY_ERROR_TEMP_1093
(火花- 41276)(sc - 117136] [SQL] [ML] [MLLIB] [PROTOBUF] [PYTHON] [R] [SS] [AVRO]優化構造函數的使用
StructType
(火花- 41335)(sc - 117135)(連接)(PYTHON)支持IsNull和IsNotNull列
(火花- 41332)(sc - 117131)(連接)(PYTHON)修複
nullOrdering
在排序方式
(火花- 41325)(sc - 117132)[連接][12。X]修複缺失的avg()對DF GroupBy
(火花- 41327)(sc - 117137)(核心)修複
SparkStatusTracker.getExecutorInfos
通過開關/ OffHeapStorageMemory信息(火花- 41315)(sc - 117129)(連接)(PYTHON)實現
DataFrame.replace
和DataFrame.na.replace
(火花- 41328)(sc - 117125)(連接)(PYTHON) API來列添加邏輯和字符串
(火花- 41331)(sc - 117127)(連接)(PYTHON)添加
orderBy
和drop_duplicates
(火花- 40987)(sc - 117124)(核心)
BlockManager # removeBlockInternal
應該確保鎖解鎖優雅(火花- 41268)(sc - 117102] (sc - 116970)(連接)(PYTHON)重構“列”API兼容性
(火花- 41312)(sc - 116881][連接][PYTHON] [12。X)實現DataFrame.withColumnRenamed
(火花- 41221)(sc - 116607] [SQL]添加錯誤類
INVALID_FORMAT
(火花- 41272)(sc - 116742] [SQL]錯誤類指定一個名稱遺產ERROR_TEMP_2019
(火花- 41180)(sc - 116760] [SQL]重用
INVALID_SCHEMA
而不是_LEGACY_ERROR_TEMP_1227
(火花- 41260)(sc - 116880] [PYTHON] [SS] [12。X]鑄NumPy GroupState更新Python原始類型的實例
(火花- 41174)(sc - 116609)(核心)[SQL]傳播錯誤類用戶無效
格式
的to_binary ()
(火花- 41264)PYTHON (sc - 116971)[連接][]使文字支持更多的數據類型
(火花- 41326)(sc - 116972)(連接)修複刪除處理丟失輸入
(火花- 41316)(sc - 116900] [SQL]盡可能使尾部遞歸
(火花- 41297)(sc - 116931)(連接)(PYTHON)支持字符串表達式過濾器。
(火花- 41256)(sc - 116932] (sc - 116883)(連接)實現DataFrame.withColumn (s)
(火花- 41182)(sc - 116632] [SQL]錯誤類指定一個名稱遺產ERROR_TEMP_1102
(火花- 41181)(sc - 116680] [SQL]遷移映射選項錯誤在錯誤類
(火花- 40940)[sc - 115993] [12。x]刪除Multi-stateful操作員檢查為流查詢。
(火花- 41310)(sc - 116885)(連接)(PYTHON)實現DataFrame.toDF
(火花- 41179)(sc - 116631] [SQL]錯誤類指定一個名稱遺產ERROR_TEMP_1092
(火花- 41003)(sc - 116741] [SQL] BHJ LeftAnti並不時更新numOutputRows codegen是禁用的
(火花- 41148)(sc - 116878)(連接)(PYTHON)實現
DataFrame.dropna
和DataFrame.na.drop
(火花- 41217)(sc - 116380] [SQL]添加錯誤類
FAILED_FUNCTION_CALL
(火花- 41308)(sc - 116875)(連接)(PYTHON)改善DataFrame.count ()
(火花- 41301)(sc - 116786)(連接)行為同質化SparkSession.range ()
(火花- 41306)(sc - 116860)(連接)連接表達式試製改進文檔
(火花- 41280)(sc - 116733)(連接)實現DataFrame.tail
(火花- 41300)(sc - 116751)(連接)設置模式解釋為模式
(火花- 41255)(sc - 116730] (sc - 116695)(連接)重命名RemoteSparkSession
(火花- 41250)(sc - 116788) [sc - 116633][連接][PYTHON] DataFrame。可選的熊貓dataframe toPandas不應該回報
(火花- 41291)PYTHON (sc - 116738)[連接][]
DataFrame.explain
應該打印並返回沒有(火花- 41278)(sc - 116732)(連接)清理閑置QualifiedAttribute Expression.proto
(火花- 41097)(sc - 116653)(核心)[SQL] [SS] [PROTOBUF]刪除冗餘收集轉換基礎上Scala 2.13代碼
(火花- 41261)(sc - 116718] [PYTHON] [SS]修複問題applyInPandasWithState當分組關鍵字的列不放置在從最早的訂單
(火花- 40872)(sc - 116717)[3.3]後備原始洗牌塊當push-merged洗牌塊大小
(火花- 41114)(sc - 116628)(連接)支持LocalRelation本地數據
(火花- 41216)(sc - 116678)(連接)(PYTHON)實現
DataFrame。{isLocal,isStreaming,printSchema,inputFiles}
(火花- 41238)(sc - 116670)(連接)(PYTHON)支持更多的內置數據類型
(火花- 41230)(sc - 116674)(連接)(PYTHON)刪除
str
從聚合表達式類型(火花- 41224)(sc - 116652)[火花- 41165][火花- 41184][連接]優化Arrow-based收集實現流從服務器到客戶端
(火花- 41222)(sc - 116625)(連接)(PYTHON)統一類型定義
(火花- 41225)(sc - 116623)(連接)(PYTHON)禁用不支持的功能。
(火花- 41201)(sc - 116526)(連接)(PYTHON)實現
DataFrame.SelectExpr
在Python客戶機(火花- 41203)(sc - 116258) Dataframe(連接)的支持。在Python客戶機轉換。
(火花- 41213)(sc - 116375)(連接)(PYTHON)實現
DataFrame.__repr__
和DataFrame.dtypes
(火花- 41169)(sc - 116378)(連接)(PYTHON)實現
DataFrame.drop
(火花- 41172)(sc - 116245] [SQL]模棱兩可的裁判的錯誤遷移到一個錯誤類
(火花- 41122)(sc - 116141)(連接)解釋API可以支持不同的模式
(火花- 41209)(sc - 116584] (sc - 116376) (PYTHON)改善PySpark類型推斷合並類型的方法
(火花- 41196)(sc - 116555] (sc - 116179)(連接)同質化protobuf版本在火花連接服務器使用相同的主版本。
(火花- 35531)(sc - 116409] [SQL]更新蜂巢表統計數據沒有不必要的轉換
(火花- 41154)(sc - 116289] [SQL]緩存的查詢時間旅行規範不正確的關係
(火花- 41212)(sc - 116554] (sc - 116389)(連接)(PYTHON)實現
DataFrame.isEmpty
(火花- 41135)(sc - 116400) [SQL]重命名
UNSUPPORTED_EMPTY_LOCATION
來INVALID_EMPTY_LOCATION
(火花- 41183)(sc - 116265] [SQL]添加一個擴展計劃標準化緩存API
(火花- 41054)(sc - 116447] (UI)(核心)支持RocksDB KVStore住UI
(火花- 38550)(sc - 115223)恢複”[SQL](核心)使用基於磁盤的存儲節省更多的調試信息實時界麵”
(火花- 41173)(sc - 116185] [SQL]
要求()
構造函數的字符串表達式(火花- 41188)(sc - 116242)(核心)(ML)設置executorEnv OMP_NUM_THREADS spark.task。cpu在默認情況下為火花執行人的JVM進程
(火花- 41130)(sc - 116155) [SQL]重命名
OUT_OF_DECIMAL_TYPE_RANGE
來NUMERIC_OUT_OF_SUPPORTED_RANGE
(火花- 41175)(sc - 116238] [SQL]錯誤類指定一個名稱遺產ERROR_TEMP_1078
(火花- 41106)(sc - 116073] [SQL]減少轉換時創建AttributeMap集合
(火花- 41139)(sc - 115983] [SQL]改善錯誤類:
PYTHON_UDF_IN_ON_CLAUSE
(火花- 40657)(sc - 115997] [PROTOBUF]需要對Java類jar陰影,改善錯誤處理
(火花- 40999)(sc - 116168)提示傳播子查詢
(火花- 41017)(sc - 116054] [SQL]支持列修剪與多個不確定性過濾器
(火花- 40834)(sc - 114773] [SQL]使用SparkListenerSQLExecutionEnd跟蹤最終SQL在UI
(火花- 41118)(sc - 116027] [SQL]
to_number
/try_to_number
應該返回零
當格式是零
(火花- 39799)(sc - 115984) [SQL] DataSourceV2:視圖目錄界麵
(火花- 40665)(sc - 116210] (sc - 112300)(連接)避免嵌入在Apache火花引發連接二進製版本
(火花- 41048)(sc - 116043] [SQL]改善輸出與AQE緩存分區和訂購
(火花- 41198)(sc - 116256) [SS]修複指標在流查詢CTE和DSv1流源
(火花- 41199)(sc - 116244) [SS]解決度量問題當DSv1 co-used流源和DSv2流源
(火花- 40957)(sc - 116261] (sc - 114706)添加在HDFSMetadataLog內存緩存
(火花- 40940)恢複“(sc - 115993)刪除Multi-stateful流查詢操作符檢查。”
(火花- 41090)(sc - 116040] [SQL]拋出異常
db_name.view_name
在創建臨時視圖數據API(火花- 41133)(sc - 116085] [SQL]積分
UNSCALED_VALUE_TOO_LARGE_FOR_PRECISION
成NUMERIC_VALUE_OUT_OF_RANGE
(火花- 40557)(sc - 116182] (sc - 111442)(連接)轉儲9提交代碼
(火花- 40448)(sc - 114447] (sc - 111314)(連接)火花連接構建與陰影司機插件依賴關係
(火花- 41096)(sc - 115812] [SQL]支持閱讀鋪FIXED_LEN_BYTE_ARRAY類型
(火花- 41140)(sc - 115879] [SQL]重命名錯誤類
_LEGACY_ERROR_TEMP_2440
來INVALID_WHERE_CONDITION
(火花- 40918)(sc - 114438] [SQL] FileSourceScanExec和獸人之間ParquetFileFormat生產柱狀產出
(火花- 41155)(sc - 115991] [SQL] SchemaColumnConvertNotSupportedException添加錯誤消息
(火花- 40940)(sc - 115993)刪除Multi-stateful操作員檢查為流查詢。
(火花- 41098)(sc - 115790) [SQL]重命名
GROUP_BY_POS_REFERS_AGG_EXPR
來GROUP_BY_POS_AGGREGATE
(火花- 40755)(sc - 115912] [SQL]遷移類型檢查數字格式上的失敗錯誤類
(火花- 41059)(sc - 115658) [SQL]重命名
_LEGACY_ERROR_TEMP_2420
來NESTED_AGGREGATE_FUNCTION
(火花- 41044)(sc - 115662] [SQL] DATATYPE_MISMATCH進行轉換。UNSPECIFIED_FRAME, INTERNAL_ERROR
(火花- 40973)(sc - 115132) [SQL]重命名
_LEGACY_ERROR_TEMP_0055
來UNCLOSED_BRACKETED_COMMENT
係統環境
操作係統:Ubuntu 20.04.5 LTS
Java:祖魯8.64.0.19-CA-linux64
Scala:2.12.14
Python:3.9.5
R:4.2.2
三角洲湖:2.2.0
安裝Python庫
圖書館 |
版本 |
圖書館 |
版本 |
圖書館 |
版本 |
---|---|---|---|---|---|
argon2-cffi |
21.3.0 |
argon2-cffi-bindings |
21.2.0 |
asttokens |
2.0.5 |
attrs |
21.4.0 |
backcall |
0.2.0 |
backports.entry-points-selectable |
1.2.0 |
beautifulsoup4 |
4.11.1 |
黑色的 |
22.3.0 |
漂白劑 |
4.1.0 |
boto3 |
1.21.32 |
botocore |
1.24.32 |
certifi |
2021.10.8 |
cffi |
1.15.0 |
chardet |
4.0.0 |
charset-normalizer |
2.0.4 |
點擊 |
8.0.4 |
密碼學 |
3.4.8 |
周期計 |
0.11.0 |
Cython |
0.29.28 |
dbus-python |
1.2.16 |
debugpy |
1.5.1 |
裝飾 |
5.1.1 |
defusedxml |
是0.7.1 |
distlib |
0.3.6 |
docstring-to-markdown |
0.11 |
entrypoints |
0.4 |
執行 |
0.8.3 |
facets-overview |
1.0.0 |
fastjsonschema |
2.16.2 |
filelock |
3.8.2 |
fonttools |
4.25.0 |
idna |
3.3 |
ipykernel |
6.15.3 |
ipython |
8.5.0 |
ipython-genutils |
0.2.0 |
ipywidgets |
7.7.2 |
絕地武士 |
0.18.1 |
Jinja2 |
14 |
jmespath |
0.10.0 |
joblib |
1.1.0 |
jsonschema |
4.4.0 |
jupyter-client |
6.1.12 |
jupyter_core |
4.11.2 |
jupyterlab-pygments |
0.1.2 |
jupyterlab-widgets |
1.0.0 |
kiwisolver |
1.3.2 |
MarkupSafe |
2.0.1 |
matplotlib |
3.5.1 |
matplotlib-inline |
0.1.2 |
麥凱布 |
0.7.0 |
使走調 |
0.8.4 |
mypy-extensions |
0.4.3 |
nbclient |
0.5.13 |
nbconvert |
6.4.4 |
nbformat |
5.3.0 |
nest-asyncio |
1.5.5 |
nodeenv |
1.7.0 |
筆記本 |
6.4.8 |
numpy |
1.21.5 |
包裝 |
21.3 |
熊貓 |
1.4.2 |
pandocfilters |
1.5.0 |
parso |
0.8.3 |
pathspec |
0.9.0 |
容易受騙的人 |
0.5.2 |
pexpect |
4.8.0 |
pickleshare |
0.7.5 |
枕頭 |
9.0.1 |
皮普 |
21.2.4 |
Beplay体育安卓版本platformdirs |
2.6.0 |
情節 |
5.6.0 |
pluggy |
1.0.0 |
prometheus-client |
0.13.1 |
prompt-toolkit |
3.0.20 |
protobuf |
3.19.4 |
psutil |
5.8.0 |
psycopg2 |
2.9.3 |
ptyprocess |
0.7.0 |
pure-eval |
0.2.2 |
pyarrow |
7.0.0 |
pycparser |
2.21 |
pyflakes |
2.5.0 |
Pygments |
2.11.2 |
PyGObject |
3.36.0 |
pyodbc |
4.0.32 |
pyparsing |
3.0.4 |
pyright |
1.1.283 |
pyrsistent |
0.18.0 |
python-dateutil |
2.8.2 |
python-lsp-jsonrpc |
1.0.0 |
python-lsp-server |
1.6.0 |
pytz |
2021.3 |
pyzmq |
22.3.0 |
請求 |
2.27.1 |
requests-unixsocket |
0.2.0 |
繩子 |
0.22.0 |
s3transfer |
0.5.0 |
scikit-learn |
1.0.2中 |
scipy |
1.7.3 |
seaborn |
0.11.2 |
Send2Trash |
1.8.0 |
setuptools |
61.2.0 |
六個 |
1.16.0 |
soupsieve |
2.3.1 |
ssh-import-id |
5.10 |
堆棧數據 |
0.2.0 |
statsmodels |
0.13.2 |
韌性 |
8.0.1 |
terminado |
0.13.1 |
testpath |
0.5.0 |
threadpoolctl |
2.2.0 |
tokenize-rt |
4.2.1 |
tomli |
1.2.2 |
龍卷風 |
6.1 |
traitlets |
5.1.1 |
typing_extensions |
以下4.4.1 |
ujson |
5.1.0 |
unattended-upgrades |
0.1 |
urllib3 |
1.26.9 |
virtualenv |
20.8.0 |
wcwidth |
0.2.5 |
webencodings |
0.5.1 |
whatthepatch |
1.0.3 |
輪 |
0.37.0 |
widgetsnbextension |
3.6.1 |
yapf |
0.31.0 |
安裝R庫
R庫的安裝微軟在2022-11-11凹口快照。
圖書館 |
版本 |
圖書館 |
版本 |
圖書館 |
版本 |
---|---|---|---|---|---|
箭頭 |
10.0.0 |
askpass |
1.1 |
為了 |
0.2.1 |
補丁 |
1.4.1 |
基地 |
4.2.2 |
base64enc |
0.1 - 3 |
位 |
4.0.4 |
bit64 |
你 |
團 |
1.2.3 |
引導 |
-28 - 1.3 |
釀造 |
1.0 8 |
生動 |
1.1.3 |
掃帚 |
1.0.1 |
bslib |
0.4.1 |
cachem |
1.0.6 |
callr |
3.7.3 |
脫字符號 |
-93 - 6.0 |
cellranger |
1.1.0 |
時間 |
-58 - 2.3 |
類 |
-20 - 7.3 |
cli |
3.4.1 |
clipr |
0.8.0 |
時鍾 |
0.6.1 |
集群 |
2.1.4 |
codetools |
-18 - 0.2 |
色彩 |
2.0 - 3 |
commonmark |
1.8.1 |
編譯器 |
4.2.2 |
配置 |
0.3.1 |
cpp11 |
0.4.3 |
蠟筆 |
1.5.2 |
憑證 |
1.3.2 |
旋度 |
4.3.3 |
data.table |
1.14.4 |
數據集 |
4.2.2 |
DBI |
1.1.3 |
dbplyr |
2.2.1 |
desc |
1.4.2 |
devtools |
2.4.5 |
diffobj |
0.3.5 |
消化 |
0.6.30 |
downlit |
0.4.2 |
dplyr |
1.0.10 |
dtplyr |
1.2.2 |
e1071 |
-12 - 1.7 |
省略 |
0.3.2 |
評估 |
0.18 |
fansi |
1.0.3 |
farver |
2.1.1 |
fastmap |
1.1.0 |
fontawesome |
0.4.0 |
forcats |
0.5.2 |
foreach |
1.5.2 |
外國 |
-82 - 0.8 |
打造 |
0.2.0 |
fs |
1.5.2 |
未來 |
1.29.0 |
future.apply |
1.10.0 |
含漱劑 |
1.2.1 " |
泛型 |
0.1.3 |
哥特 |
1.9.1 |
ggplot2 |
3.4.0 |
“大酒店” |
1.3.1 |
gitcreds |
0.1.2 |
glmnet |
4.1 - 4 |
全局變量 |
0.16.1 |
膠水 |
1.6.2 |
googledrive |
2.0.0 |
googlesheets4 |
1.0.1 |
高爾 |
1.0.0 |
圖形 |
4.2.2 |
grDevices |
4.2.2 |
網格 |
4.2.2 |
gridExtra |
2.3 |
gsubfn |
0.7 |
gtable |
0.3.1 |
需要戴安全帽的 |
1.2.0 |
還 |
2.5.1 |
highr |
0.9 |
hms |
1.1.2 |
htmltools |
0.5.3 |
htmlwidgets |
1.5.4 |
httpuv |
1.6.6 |
httr |
1.4.4 |
id |
1.0.1 |
ini |
0.3.1 |
不小 |
-13 - 0.9 |
isoband |
0.2.6雖然隻是 |
迭代器 |
1.0.14 |
jquerylib |
0.1.4 |
jsonlite |
1.8.3 |
KernSmooth |
-20 - 2.23 |
knitr |
1.40 |
標簽 |
0.4.2 |
晚些時候 |
1.3.0 |
晶格 |
-45 - 0.20 |
熔岩 |
1.7.0 |
生命周期 |
1.0.3 |
listenv |
0.8.0 |
lubridate |
1.9.0 |
magrittr |
2.0.3 |
減價 |
1.3 |
質量 |
-58 - 7.3 |
矩陣 |
1.5 - 1 |
memoise |
2.0.1 |
方法 |
4.2.2 |
mgcv |
-41 - 1.8 |
mime |
0.12 |
miniUI |
0.1.1.1 |
ModelMetrics |
1.2.2.2 |
modelr |
0.1.9 |
孟塞爾 |
0.5.0 |
nlme |
-160 - 3.1 |
nnet |
-18 - 7.3 |
numDeriv |
2016.8 - -1.1 |
openssl |
2.0.4 |
平行 |
4.2.2 |
平行 |
1.32.1 |
支柱 |
1.8.1 |
pkgbuild |
1.3.1 |
pkgconfig |
2.0.3 |
pkgdown |
2.0.6 |
pkgload |
1.3.1 |
plogr |
0.2.0 |
plyr |
1.8.7 |
讚美 |
1.0.0 |
prettyunits |
1.1.1 |
pROC |
1.18.0 |
processx |
3.8.0 |
prodlim |
2019.11.13 |
profvis |
0.3.7 |
進步 |
1.2.2 |
progressr |
0.11.0 |
承諾 |
1.2.0.1 |
原型 |
1.0.0 |
代理 |
-27 - 0.4 |
ps |
1.7.2 |
purrr |
0.3.5 |
r2d3 |
0.2.6雖然隻是 |
R6 |
2.5.1 |
ragg |
1.2.4 |
randomForest |
4.7 - -1.1 |
rappdirs |
0.3.3 |
rcmdcheck |
1.4.0 |
RColorBrewer |
1.1 - 3 |
Rcpp |
1.0.9 |
RcppEigen |
0.3.3.9.3 |
readr |
2.1.3 |
readxl |
1.4.1 |
食譜 |
1.0.3 |
複賽 |
1.0.1 |
rematch2 |
2.1.2 |
遙控器 |
2.4.2 |
reprex |
2.0.2 |
reshape2 |
1.4.4 |
rlang |
1.0.6 |
rmarkdown |
2.18 |
RODBC |
-19 - 1.3 |
roxygen2 |
7.2.1 |
rpart |
4.1.19 |
rprojroot |
2.0.3 |
Rserve |
-11 - 1.8 |
RSQLite |
2.2.18 |
rstudioapi |
0.14 |
rversions |
2.1.2 |
房車 |
1.0.3 |
薩斯 |
0.4.2 |
尺度 |
1.2.1 " |
selectr |
0.4 - 2 |
sessioninfo |
1.2.2 |
形狀 |
1.4.6 |
閃亮的 |
1.7.3 |
sourcetools |
0.1.7 |
sparklyr |
1.7.8 |
SparkR |
3.3.1 |
空間 |
-11 - 7.3 |
樣條函數 |
4.2.2 |
sqldf |
-11 - 0.4 |
SQUAREM |
2021.1 |
統計數據 |
4.2.2 |
stats4 |
4.2.2 |
stringi |
1.7.8 |
stringr |
1.4.1 |
生存 |
3.4 0 |
sys |
3.4.1 |
systemfonts |
1.0.4 |
tcltk |
4.2.2 |
testthat |
3.1.5 |
textshaping |
0.3.6 |
寵物貓 |
3.1.8中 |
tidyr |
1.2.1 " |
tidyselect |
1.2.0 |
tidyverse |
1.3.2 |
timechange |
0.1.1 |
timeDate |
4021.106 |
tinytex |
0.42 |
工具 |
4.2.2 |
tzdb |
0.3.0 |
urlchecker |
1.0.1 |
usethis |
2.1.6 |
use utf8 |
1.2.2 |
跑龍套 |
4.2.2 |
uuid |
1.1 0 |
vctrs |
0.5.0 |
viridisLite |
0.4.1 |
發嗚嗚聲 |
1.6.0 |
沃爾多 |
0.4.0 |
晶須 |
0.4 |
withr |
2.5.0 |
xfun |
0.34 |
xml2 |
1.3.3 |
xopen |
1.0.0 |
xtable |
1.8 - 4 |
yaml |
2.3.6 |
郵政編碼 |
2.2.2 |
安裝了Java和Scala庫(Scala 2.12集群版)
組ID |
工件ID |
版本 |
---|---|---|
antlr |
antlr |
2.7.7 |
com.amazonaws |
amazon-kinesis-client |
1.12.0 |
com.amazonaws |
aws-java-sdk-autoscaling |
1.12.189 |
com.amazonaws |
aws-java-sdk-cloudformation |
1.12.189 |
com.amazonaws |
aws-java-sdk-cloudfront |
1.12.189 |
com.amazonaws |
aws-java-sdk-cloudhsm |
1.12.189 |
com.amazonaws |
aws-java-sdk-cloudsearch |
1.12.189 |
com.amazonaws |
aws-java-sdk-cloudtrail |
1.12.189 |
com.amazonaws |
aws-java-sdk-cloudwatch |
1.12.189 |
com.amazonaws |
aws-java-sdk-cloudwatchmetrics |
1.12.189 |
com.amazonaws |
aws-java-sdk-codedeploy |
1.12.189 |
com.amazonaws |
aws-java-sdk-cognitoidentity |
1.12.189 |
com.amazonaws |
aws-java-sdk-cognitosync |
1.12.189 |
com.amazonaws |
aws-java-sdk-config |
1.12.189 |
com.amazonaws |
aws-java-sdk-core |
1.12.189 |
com.amazonaws |
aws-java-sdk-datapipeline |
1.12.189 |
com.amazonaws |
aws-java-sdk-directconnect |
1.12.189 |
com.amazonaws |
aws-java-sdk-directory |
1.12.189 |
com.amazonaws |
aws-java-sdk-dynamodb |
1.12.189 |
com.amazonaws |
aws-java-sdk-ec2 |
1.12.189 |
com.amazonaws |
aws-java-sdk-ecs |
1.12.189 |
com.amazonaws |
aws-java-sdk-efs |
1.12.189 |
com.amazonaws |
aws-java-sdk-elasticache |
1.12.189 |
com.amazonaws |
aws-java-sdk-elasticbeanstalk |
1.12.189 |
com.amazonaws |
aws-java-sdk-elasticloadbalancing |
1.12.189 |
com.amazonaws |
aws-java-sdk-elastictranscoder |
1.12.189 |
com.amazonaws |
aws-java-sdk-emr |
1.12.189 |
com.amazonaws |
aws-java-sdk-glacier |
1.12.189 |
com.amazonaws |
aws-java-sdk-glue |
1.12.189 |
com.amazonaws |
aws-java-sdk-iam |
1.12.189 |
com.amazonaws |
aws-java-sdk-importexport |
1.12.189 |
com.amazonaws |
aws-java-sdk-kinesis |
1.12.189 |
com.amazonaws |
aws-java-sdk-kms |
1.12.189 |
com.amazonaws |
aws-java-sdk-lambda |
1.12.189 |
com.amazonaws |
aws-java-sdk-logs |
1.12.189 |
com.amazonaws |
aws-java-sdk-machinelearning |
1.12.189 |
com.amazonaws |
aws-java-sdk-opsworks |
1.12.189 |
com.amazonaws |
aws-java-sdk-rds |
1.12.189 |
com.amazonaws |
aws-java-sdk-redshift |
1.12.189 |
com.amazonaws |
aws-java-sdk-route53 |
1.12.189 |
com.amazonaws |
aws-java-sdk-s3 |
1.12.189 |
com.amazonaws |
aws-java-sdk-ses |
1.12.189 |
com.amazonaws |
aws-java-sdk-simpledb |
1.12.189 |
com.amazonaws |
aws-java-sdk-simpleworkflow |
1.12.189 |
com.amazonaws |
aws-java-sdk-sns |
1.12.189 |
com.amazonaws |
aws-java-sdk-sqs |
1.12.189 |
com.amazonaws |
aws-java-sdk-ssm |
1.12.189 |
com.amazonaws |
aws-java-sdk-storagegateway |
1.12.189 |
com.amazonaws |
aws-java-sdk-sts |
1.12.189 |
com.amazonaws |
aws-java-sdk-support |
1.12.189 |
com.amazonaws |
aws-java-sdk-swf-libraries |
1.11.22 |
com.amazonaws |
aws-java-sdk-workspaces |
1.12.189 |
com.amazonaws |
jmespath-java |
1.12.189 |
com.chuusai |
shapeless_2.12 |
2.3.3 |
com.clearspring.analytics |
流 |
2.9.6 |
com.databricks |
Rserve |
1.8 - 3 |
com.databricks |
jets3t |
0.7.1-0 |
com.databricks.scalapb |
compilerplugin_2.12 |
0.4.15-10 |
com.databricks.scalapb |
scalapb-runtime_2.12 |
0.4.15-10 |
com.esotericsoftware |
kryo-shaded |
4.0.2 |
com.esotericsoftware |
minlog |
1.3.0 |
com.fasterxml |
同學 |
1.3.4 |
com.fasterxml.jackson.core |
jackson-annotations |
2.13.4 |
com.fasterxml.jackson.core |
jackson-core |
2.13.4 |
com.fasterxml.jackson.core |
jackson-databind |
2.13.4.2 |
com.fasterxml.jackson.dataformat |
jackson-dataformat-cbor |
2.13.4 |
com.fasterxml.jackson.datatype |
jackson-datatype-joda |
2.13.4 |
com.fasterxml.jackson.datatype |
jackson-datatype-jsr310 |
2.13.4 |
com.fasterxml.jackson.module |
jackson-module-paranamer |
2.13.4 |
com.fasterxml.jackson.module |
jackson-module-scala_2.12 |
2.13.4 |
com.github.ben-manes.caffeine |
咖啡因 |
2.3.4 |
com.github.fommil |
jniloader |
1.1 |
com.github.fommil.netlib |
核心 |
1.1.2 |
com.github.fommil.netlib |
native_ref-java |
1.1 |
com.github.fommil.netlib |
native_ref-java-natives |
1.1 |
com.github.fommil.netlib |
native_system-java |
1.1 |
com.github.fommil.netlib |
native_system-java-natives |
1.1 |
com.github.fommil.netlib |
netlib-native_ref-linux-x86_64-natives |
1.1 |
com.github.fommil.netlib |
netlib-native_system-linux-x86_64-natives |
1.1 |
com.github.luben |
zstd-jni |
1.5.2-1 |
com.github.wendykierp |
JTransforms |
3.1 |
com.google.code.findbugs |
jsr305 |
3.0.0 |
com.google.code.gson |
gson |
2.8.6 |
com.google.crypto.tink |
叮叮鈴 |
1.6.1 |
com.google.flatbuffers |
flatbuffers-java |
1.12.0 |
com.google.guava |
番石榴 |
15.0 |
com.google.protobuf |
protobuf-java |
2.6.1 |
com.h2database |
h2 |
2.0.204 |
com.helger |
分析器 |
1.1.1 |
com.jcraft |
jsch |
0.1.50 |
com.jolbox |
bonecp |
0.8.0.RELEASE |
com.lihaoyi |
sourcecode_2.12 |
0.1.9 |
com.microsoft.azure |
azure-data-lake-store-sdk |
2.3.9 |
com.ning |
compress-lzf |
1.1 |
com.sun.mail |
javax.mail |
1.5.2 |
com.tdunning |
json |
1.8 |
com.thoughtworks.paranamer |
paranamer |
2.8 |
com.trueaccord.lenses |
lenses_2.12 |
0.4.12 |
com.twitter |
chill-java |
0.10.0 |
com.twitter |
chill_2.12 |
0.10.0 |
com.twitter |
util-app_2.12 |
7.1.0 |
com.twitter |
util-core_2.12 |
7.1.0 |
com.twitter |
util-function_2.12 |
7.1.0 |
com.twitter |
util-jvm_2.12 |
7.1.0 |
com.twitter |
util-lint_2.12 |
7.1.0 |
com.twitter |
util-registry_2.12 |
7.1.0 |
com.twitter |
util-stats_2.12 |
7.1.0 |
com.typesafe |
配置 |
1.2.1 " |
com.typesafe.scala-logging |
scala-logging_2.12 |
3.7.2章 |
com.uber |
h3 |
3.7.0 |
com.univocity |
univocity-parsers |
2.9.1 |
com.zaxxer |
HikariCP |
4.0.3 |
commons-cli |
commons-cli |
1.5.0 |
commons-codec |
commons-codec |
1.15 |
commons-collections |
commons-collections |
3.2.2 |
commons-dbcp |
commons-dbcp |
1.4 |
commons-fileupload |
commons-fileupload |
1.3.3 |
commons-httpclient |
commons-httpclient |
3.1 |
commons-io |
commons-io |
2.11.0 |
commons lang |
commons lang |
2.6 |
通用日誌 |
通用日誌 |
1.1.3 |
commons-pool |
commons-pool |
1.5.4 |
dev.ludovic.netlib |
arpack |
2.2.1 |
dev.ludovic.netlib |
布拉斯特區 |
2.2.1 |
dev.ludovic.netlib |
lapack |
2.2.1 |
info.ganglia.gmetric4j |
gmetric4j |
1.0.10 |
io.airlift |
aircompressor |
0.21 |
io.delta |
delta-sharing-spark_2.12 |
0.6.2 |
io.dropwizard.metrics |
metrics-core |
以下4.4.1 |
io.dropwizard.metrics |
metrics-graphite |
以下4.4.1 |
io.dropwizard.metrics |
metrics-healthchecks |
以下4.4.1 |
io.dropwizard.metrics |
metrics-jetty9 |
以下4.4.1 |
io.dropwizard.metrics |
metrics-jmx |
以下4.4.1 |
io.dropwizard.metrics |
metrics-json |
以下4.4.1 |
io.dropwizard.metrics |
metrics-jvm |
以下4.4.1 |
io.dropwizard.metrics |
metrics-servlets |
以下4.4.1 |
io.netty |
netty-all |
4.1.74.Final |
io.netty |
netty-buffer |
4.1.74.Final |
io.netty |
netty-codec |
4.1.74.Final |
io.netty |
netty-common |
4.1.74.Final |
io.netty |
netty-handler |
4.1.74.Final |
io.netty |
netty-resolver |
4.1.74.Final |
io.netty |
netty-tcnative-classes |
2.0.48.Final |
io.netty |
netty-transport |
4.1.74.Final |
io.netty |
netty-transport-classes-epoll |
4.1.74.Final |
io.netty |
netty-transport-classes-kqueue |
4.1.74.Final |
io.netty |
netty-transport-native-epoll-linux-aarch_64 |
4.1.74.Final |
io.netty |
netty-transport-native-epoll-linux-x86_64 |
4.1.74.Final |
io.netty |
netty-transport-native-kqueue-osx-aarch_64 |
4.1.74.Final |
io.netty |
netty-transport-native-kqueue-osx-x86_64 |
4.1.74.Final |
io.netty |
netty-transport-native-unix-common |
4.1.74.Final |
io.prometheus |
simpleclient |
0.7.0 |
io.prometheus |
simpleclient_common |
0.7.0 |
io.prometheus |
simpleclient_dropwizard |
0.7.0 |
io.prometheus |
simpleclient_pushgateway |
0.7.0 |
io.prometheus |
simpleclient_servlet |
0.7.0 |
io.prometheus.jmx |
收集器 |
0.12.0 |
jakarta.annotation |
jakarta.annotation-api |
1.3.5 |
jakarta.servlet |
jakarta.servlet-api |
4.0.3 |
jakarta.validation |
jakarta.validation-api |
2.0.2 |
jakarta.ws.rs |
jakarta.ws.rs-api |
2.1.6 |
javax.activation |
激活 |
1.1.1 |
javax.el |
javax.el-api |
2.2.4 |
javax.jdo |
jdo api |
3.0.1 |
javax.transaction |
jta |
1.1 |
javax.transaction |
事務api |
1.1 |
javax.xml.bind |
jaxb-api |
. 2.2.11 |
javolution |
javolution |
5.5.1 |
jline |
jline |
2.14.6 |
joda-time |
joda-time |
2.10.13 |
net.java.dev.jna |
jna |
5.8.0 |
net.razorvine |
泡菜 |
1.2 |
net.sf.jpam |
jpam |
1.1 |
net.sf.opencsv |
opencsv |
2.3 |
net.sf.supercsv |
super-csv |
2.2.0 |
net.snowflake |
snowflake-ingest-sdk |
0.9.6 |
net.snowflake |
snowflake-jdbc |
3.13.22 |
net.sourceforge.f2j |
arpack_combined_all |
0.1 |
org.acplt.remotetea |
remotetea-oncrpc |
1.1.2 |
org.antlr |
ST4 |
4.0.4 |
org.antlr |
antlr-runtime |
3.5.2 |
org.antlr |
antlr4-runtime |
4.8 |
org.antlr |
stringtemplate |
3.2.1之上 |
org.apache.ant |
螞蟻 |
1.9.2 |
org.apache.ant |
ant-jsch |
1.9.2 |
org.apache.ant |
ant-launcher |
1.9.2 |
org.apache.arrow |
arrow-format |
7.0.0 |
org.apache.arrow |
arrow-memory-core |
7.0.0 |
org.apache.arrow |
arrow-memory-netty |
7.0.0 |
org.apache.arrow |
arrow-vector |
7.0.0 |
org.apache.avro |
avro |
1.11.0 |
org.apache.avro |
avro-ipc |
1.11.0 |
org.apache.avro |
avro-mapred |
1.11.0 |
org.apache.commons |
commons-collections4 |
4.4 |
org.apache.commons |
commons-compress |
1.21 |
org.apache.commons |
commons-crypto |
1.1.0 |
org.apache.commons |
commons-lang3 |
3.12.0 |
org.apache.commons |
commons-math3 |
3.6.1 |
org.apache.commons |
commons-text |
1.10.0 |
org.apache.curator |
curator-client |
2.13.0 |
org.apache.curator |
curator-framework |
2.13.0 |
org.apache.curator |
curator-recipes |
2.13.0 |
org.apache.derby |
德比 |
10.14.2.0 |
org.apache.hadoop |
hadoop-client-api |
3.3.4-databricks |
org.apache.hadoop |
hadoop-client-runtime |
3.3.4 |
org.apache.hive |
hive-beeline |
2.3.9 |
org.apache.hive |
hive-cli |
2.3.9 |
org.apache.hive |
hive-jdbc |
2.3.9 |
org.apache.hive |
hive-llap-client |
2.3.9 |
org.apache.hive |
hive-llap-common |
2.3.9 |
org.apache.hive |
hive-serde |
2.3.9 |
org.apache.hive |
hive-shims |
2.3.9 |
org.apache.hive |
hive-storage-api |
2.8.1發布 |
org.apache.hive.shims |
蜂巢0.23 -墊片 |
2.3.9 |
org.apache.hive.shims |
hive-shims-common |
2.3.9 |
org.apache.hive.shims |
hive-shims-scheduler |
2.3.9 |
org.apache.httpcomponents |
httpclient |
4.5.13 |
org.apache.httpcomponents |
httpcore |
4.4.14 |
org.apache.ivy |
艾薇 |
2.5.0 |
org.apache.logging.log4j |
log4j - 1.2 api |
2.18.0 |
org.apache.logging.log4j |
log4j api |
2.18.0 |
org.apache.logging.log4j |
log4j-core |
2.18.0 |
org.apache.logging.log4j |
log4j-slf4j-impl |
2.18.0 |
org.apache.mesos |
mesos-shaded-protobuf |
1.4.0 |
org.apache.orc |
orc-core |
1.7.6 |
org.apache.orc |
orc-mapreduce |
1.7.6 |
org.apache.orc |
orc-shims |
1.7.6 |
org.apache.parquet |
parquet-column |
1.12.3-databricks-0002 |
org.apache.parquet |
parquet-common |
1.12.3-databricks-0002 |
org.apache.parquet |
parquet-encoding |
1.12.3-databricks-0002 |
org.apache.parquet |
parquet-format-structures |
1.12.3-databricks-0002 |
org.apache.parquet |
parquet-hadoop |
1.12.3-databricks-0002 |
org.apache.parquet |
parquet-jackson |
1.12.3-databricks-0002 |
org.apache.thrift |
libfb303 |
0.9.3 |
org.apache.thrift |
libthrift |
0.12.0 |
org.apache.xbean |
xbean-asm9-shaded |
4.20 |
org.apache.yetus |
audience-annotations |
0.13.0 |
org.apache.zookeeper |
動物園管理員 |
操作 |
org.apache.zookeeper |
zookeeper-jute |
操作 |
org.checkerframework |
checker-qual |
3.5.0 |
org.codehaus.jackson |
jackson-core-asl |
1.9.13 |
org.codehaus.jackson |
jackson-mapper-asl |
1.9.13 |
org.codehaus.janino |
commons-compiler |
3.0.16 |
org.codehaus.janino |
janino |
3.0.16 |
org.datanucleus |
datanucleus-api-jdo |
4.2.4 |
org.datanucleus |
datanucleus-core |
4.1.17 |
org.datanucleus |
datanucleus-rdbms |
4.1.19 |
org.datanucleus |
javax.jdo |
3.2.0-m3 |
org.eclipse.jetty |
jetty-client |
9.4.46.v20220331 |
org.eclipse.jetty |
jetty-continuation |
9.4.46.v20220331 |
org.eclipse.jetty |
jetty-http |
9.4.46.v20220331 |
org.eclipse.jetty |
jetty-io |
9.4.46.v20220331 |
org.eclipse.jetty |
jetty-jndi |
9.4.46.v20220331 |
org.eclipse.jetty |
jetty-plus |
9.4.46.v20220331 |
org.eclipse.jetty |
jetty-proxy |
9.4.46.v20220331 |
org.eclipse.jetty |
jetty-security |
9.4.46.v20220331 |
org.eclipse.jetty |
jetty服務器 |
9.4.46.v20220331 |
org.eclipse.jetty |
jetty servlet |
9.4.46.v20220331 |
org.eclipse.jetty |
jetty-servlets |
9.4.46.v20220331 |
org.eclipse.jetty |
jetty-util |
9.4.46.v20220331 |
org.eclipse.jetty |
jetty-util-ajax |
9.4.46.v20220331 |
org.eclipse.jetty |
jetty-webapp |
9.4.46.v20220331 |
org.eclipse.jetty |
jetty-xml |
9.4.46.v20220331 |
org.eclipse.jetty.websocket |
websocket-api |
9.4.46.v20220331 |
org.eclipse.jetty.websocket |
websocket-client |
9.4.46.v20220331 |
org.eclipse.jetty.websocket |
websocket-common |
9.4.46.v20220331 |
org.eclipse.jetty.websocket |
websocket服務器 |
9.4.46.v20220331 |
org.eclipse.jetty.websocket |
websocket-servlet |
9.4.46.v20220331 |
org.fusesource.leveldbjni |
leveldbjni-all |
1.8 |
org.glassfish.hk2 |
hk2-api |
2.6.1 |
org.glassfish.hk2 |
hk2-locator |
2.6.1 |
org.glassfish.hk2 |
hk2-utils |
2.6.1 |
org.glassfish.hk2 |
osgi-resource-locator |
1.0.3 |
org.glassfish.hk2.external |
aopalliance-repackaged |
2.6.1 |
org.glassfish.hk2.external |
jakarta.inject |
2.6.1 |
org.glassfish.jersey.containers |
jersey-container-servlet |
2.36 |
org.glassfish.jersey.containers |
jersey-container-servlet-core |
2.36 |
org.glassfish.jersey.core |
jersey客戶端 |
2.36 |
org.glassfish.jersey.core |
jersey-common |
2.36 |
org.glassfish.jersey.core |
jersey-server |
2.36 |
org.glassfish.jersey.inject |
jersey-hk2 |
2.36 |
org.hibernate.validator |
hibernate驗證框架 |
6.1.0.Final |
org.javassist |
javassist |
3.25.0-GA |
org.jboss.logging |
jboss-logging |
3.3.2.Final |
org.jdbi |
jdbi |
2.63.1 |
org.jetbrains |
注釋 |
17.0.0 |
org.joda |
joda-convert |
1.7 |
org.jodd |
jodd-core |
3.5.2 |
org.json4s |
json4s-ast_2.12 |
3.7.0-M11 |
org.json4s |
json4s-core_2.12 |
3.7.0-M11 |
org.json4s |
json4s-jackson_2.12 |
3.7.0-M11 |
org.json4s |
json4s-scalap_2.12 |
3.7.0-M11 |
org.lz4 |
lz4-java |
1.8.0 |
org.mariadb.jdbc |
mariadb-java-client |
第2.7.4 |
org.mlflow |
mlflow-spark |
1.27.0 |
org.objenesis |
objenesis |
2.5.1 |
org.postgresql |
postgresql |
42.3.3 |
org.roaringbitmap |
RoaringBitmap |
0.9.25 |
org.roaringbitmap |
墊片 |
0.9.25 |
org.rocksdb |
rocksdbjni |
6.24.2 |
org.rosuda.REngine |
REngine |
魅惑 |
org.scala-lang |
scala-compiler_2.12 |
2.12.14 |
org.scala-lang |
scala-library_2.12 |
2.12.14 |
org.scala-lang |
scala-reflect_2.12 |
2.12.14 |
org.scala-lang.modules |
scala-collection-compat_2.12 |
2.4.3 |
org.scala-lang.modules |
scala-parser-combinators_2.12 |
1.1.2 |
org.scala-lang.modules |
scala-xml_2.12 |
1.2.0 |
org.scala-sbt |
測試界麵 |
1.0 |
org.scalacheck |
scalacheck_2.12 |
1.14.2 |
org.scalactic |
scalactic_2.12 |
3.0.8 |
org.scalanlp |
breeze-macros_2.12 |
1.2 |
org.scalanlp |
breeze_2.12 |
1.2 |
org.scalatest |
scalatest_2.12 |
3.0.8 |
org.slf4j |
jcl-over-slf4j |
1.7.36 |
org.slf4j |
jul-to-slf4j |
1.7.36 |
org.slf4j |
slf4j-api |
1.7.36 |
org.spark-project.spark |
未使用的 |
1.0.0 |
org.threeten |
threeten-extra |
1.5.0 |
org.tukaani |
xz |
1.9 |
org.typelevel |
algebra_2.12 |
2.0.1 |
org.typelevel |
cats-kernel_2.12 |
2.1.1 |
org.typelevel |
macro-compat_2.12 |
1.1.1 |
org.typelevel |
spire-macros_2.12 |
0.17.0 |
org.typelevel |
spire-Beplay体育安卓版本platform_2.12 |
0.17.0 |
org.typelevel |
spire-util_2.12 |
0.17.0 |
org.typelevel |
spire_2.12 |
0.17.0 |
org.wildfly.openssl |
wildfly-openssl |
1.0.7.Final |
org.xerial |
sqlite-jdbc |
3.8.11.2 |
org.xerial.snappy |
snappy-java |
1.1.8.4 |
org.yaml |
snakeyaml |
1.24 |
奧羅 |
奧羅 |
2.0.8 |
pl.edu.icm |
JLargeArrays |
1.5 |
software.amazon.ion |
ion-java |
1.0.2中 |
stax |
stax-api |
1.0.1 |