pyspark.sql.Catalog¶
-
類
pyspark.sql。目錄( sparkSession:pyspark.sql.session.SparkSession ) ¶ -
麵向用戶的目錄的API,可以通過SparkSession.catalog。
這是一個Scala實現org.apache.spark.sql.catalog.Catalog瘦包裝器。
方法
cacheTable(表)緩存內存中指定的表。
從內存中刪除所有緩存表緩存。
createExternalTable(表名(路徑,…))創建一個基於數據源中的數據表。
不知道(表名、路徑、源、…)創建一個基於數據源中的數據表。
返回當前默認目錄在這個會話。
返回當前默認數據庫在這個會話。
databaseExists(dbName)檢查是否指定名稱的數據庫存在。
dropGlobalTempView(viewName)滴全局臨時視圖用給定的視圖名稱的目錄。
dropTempView(viewName)滴本地臨時目錄視圖與給定的視圖名稱。
functionExists(functionName [, dbName])檢查函數名稱指定的存在。
getDatabase(dbName)得到指定名稱的數據庫。
getFunction(functionName)得到指定名稱的函數。
可以獲得的(表)得到指定名稱的表或視圖。
isCached(表)如果表目前緩存的內存返回true。
返回一個列表的目錄。
listColumns(表名(,dbName))返回一個給定的表/視圖的列列表中指定的數據庫。
在所有會話返回一個可用的數據庫列表。
listFunctions([dbName])返回一個指定的數據庫中注冊的功能列表。
listTables([dbName])返回一個指定的數據庫中的表/視圖列表。
恢複所有的分區表和更新目錄。
refreshByPath(路徑)無效,刷新緩存的數據和相關的元數據對於任何DataFrame路徑包含給定的數據源。
refreshTable(表)無效並刷新所有給定表的緩存數據和元數據。
registerFunction(名稱、f [, returnType])一個別名
spark.udf.register ()。setCurrentCatalog(catalogName)設置當前默認目錄在這個會話。
setCurrentDatabase(dbName)設置當前的默認數據庫會話。
tableExists(表名(,dbName))檢查是否存在指定名稱的表或視圖。
uncacheTable(表)從內存緩存中刪除指定的表。