磚運行時的10.5(β)
自動加載程序:CLOUD_FILES_STATE新的SQL函數
您可以使用新的CLOUD_FILES_STATE函數查詢自動加載程序的內部狀態流。
三角洲湖:新maxRecordsPerFile選擇最大記錄寫入一個文件
當你使用DataFrame api來編寫一個δ表,您可以使用
“maxRecordsPerFile”選項指定的最大數量記錄寫一個文件。設置值為零或負值代表沒有限製。
統一目錄:SQL輸出列表刪除“is_directory”專欄並添加拖/目錄路徑…
更多信息https://docs.www.eheci.com/release-notes/runtime/10.5.html
誰讓CLOUD_FILES_STATE 10.5β/ Azure。
語法:
%的sql
SELECT * FROM cloud_files_state (“abfss: / /(電子郵件保護)/測試/檢查點/ ');
我得到這個錯誤:
com.databricks.backend.common.rpc.DatabricksExceptions SQLExecutionException美元:org.apache.spark.sql。AnalysisException:無法解決“cloud_files_state”表值函數