開始
用戶指南
管理指南
參考指南
資源
更新於2022年9月2日
給我們反饋
這篇文章解釋了如何從你的Databricks帳戶讀取和分析使用數據。
你可以直接在帳戶控製台中查看計費使用情況．
您還可以通過多種方式下載或安排交付計費使用日誌:
從帳戶控製台直接下載計費使用
使用帳戶API直接下載收費使用
可計費使用交付到S3桶，使用Account API配置
在所有這些情況下CSV文件模式是相同的。
您可以使用Databricks來解析和分析這些日誌．
列
類型
描述
例子
workspaceId
字符串
工作區的ID。
1234567890123456
時間戳
datetime
按提供的用法結束一小時。
2019 - 02年- 22 - t09:59:59z
clusterId
集群ID。
0405 - 020048 brawl507
clusterName
用戶提供的集群名稱。
共享自動定量
clusterNodeType
集群實例類型。
m4.16xlarge
clusterOwnerUserId
創建集群的用戶ID。
12345678901234
clusterCustomTags
字符串(“逃json)
在這一小時內與集群關聯的自定義標記。
“{”“部門”“:”“mktg”“、”“op_phase”“:”“開發”“}”
sku
計費SKU。看到計費sku表，以獲取值列表。
STANDARD_ALL_PURPOSE_COMPUTE
dbus
雙
用戶在這一小時內使用的DBUs數。
1.2345
machineHours
集群中所有容器使用的機器小時總數。
12.345
clusterOwnerUserName
創建集群的用戶名(email)。
user@yourcompany.com
標簽
在這一小時內與集群關聯的默認和自定義集群標記，以及默認和自定義實例池標記(如果適用)。看到集群的標簽而且池標簽．這是的超集clusterCustomTags列。
“{”“部門”“:”“mktg”“、”“op_phase”“:”“開發”,”“供應商”“:”“磚”," ClusterId ": " 0405 - 020048 brawl507””,”“創造者”“:”“user@yourcompany.com”“}”
“{”“部門”“:”“mktg”“、”“op_phase”“:”“開發”,
”“供應商”“:”“磚”,
" ClusterId ": " 0405 - 020048 brawl507””,
”“創造者”“:”“user@yourcompany.com”“}”
AWS_ENHANCED_SECURITY_AND_COMPLIANCE
ENTERPRISE_ALL_PURPOSE_COMPUTE
ENTERPRISE_ALL_PURPOSE_COMPUTE_ (DLT)
ENTERPRISE_ALL_PURPOSE_COMPUTE_(光子)
ENTERPRISE_DLT_ADVANCED_COMPUTE
ENTERPRISE_DLT_ADVANCED_COMPUTE_(光子)
ENTERPRISE_DLT_CORE_COMPUTE
ENTERPRISE_DLT_CORE_COMPUTE_(光子)
ENTERPRISE_DLT_PRO_COMPUTE
ENTERPRISE_DLT_PRO_COMPUTE_(光子)
ENTERPRISE_JOBS_COMPUTE
ENTERPRISE_JOBS_COMPUTE_(光子)
ENTERPRISE_JOBS_LIGHT_COMPUTE
ENTERPRISE_SERVERLESS_SQL_COMPUTE
ENTERPRISE_SERVERLESS_SQL_COMPUTE_AP_SYDNEY
ENTERPRISE_SERVERLESS_SQL_COMPUTE_EUROPE_FRANKFURT
ENTERPRISE_SERVERLESS_SQL_COMPUTE_EUROPE_IRELAND
ENTERPRISE_SERVERLESS_SQL_COMPUTE_US_EAST_N_VIRGINIA
ENTERPRISE_SERVERLESS_SQL_COMPUTE_US_EAST_OHIO
ENTERPRISE_SERVERLESS_SQL_COMPUTE_US_WEST_OREGON
ENTERPRISE_SQL_COMPUTE
PREMIUM_ALL_PURPOSE_COMPUTE
PREMIUM_ALL_PURPOSE_COMPUTE_ (DLT)
PREMIUM_ALL_PURPOSE_COMPUTE_(光子)
PREMIUM_DLT_ADVANCED_COMPUTE
PREMIUM_DLT_ADVANCED_COMPUTE_(光子)
PREMIUM_DLT_CORE_COMPUTE
PREMIUM_DLT_CORE_COMPUTE_(光子)
PREMIUM_DLT_PRO_COMPUTE
PREMIUM_DLT_PRO_COMPUTE_(光子)
PREMIUM_JOBS_COMPUTE
PREMIUM_JOBS_COMPUTE_(光子)
PREMIUM_JOBS_LIGHT_COMPUTE
PREMIUM_SERVERLESS_SQL_COMPUTE
PREMIUM_SERVERLESS_SQL_COMPUTE_AP_SYDNEY
PREMIUM_SERVERLESS_SQL_COMPUTE_EUROPE_FRANKFURT
PREMIUM_SERVERLESS_SQL_COMPUTE_EUROPE_IRELAND
PREMIUM_SERVERLESS_SQL_COMPUTE_US_EAST_OHIO
PREMIUM_SERVERLESS_SQL_COMPUTE_US_EAST_N_VIRGINIA
PREMIUM_SERVERLESS_SQL_COMPUTE_US_WEST_OREGON
PREMIUM_SQL_COMPUTE
STANDARD_ALL_PURPOSE_COMPUTE_ (DLT)
STANDARD_ALL_PURPOSE_COMPUTE_(光子)
STANDARD_DLT_ADVANCED_COMPUTE
STANDARD_DLT_ADVANCED_COMPUTE_(光子)
STANDARD_DLT_CORE_COMPUTE
STANDARD_DLT_CORE_COMPUTE_(光子)
STANDARD_DLT_PRO_COMPUTE
STANDARD_DLT_PRO_COMPUTE_(光子)
STANDARD_JOBS_COMPUTE
STANDARD_JOBS_COMPUTE_(光子)
STANDARD_JOBS_LIGHT_COMPUTE
2020年3月之前的使用量使用以下sku:
LIGHT_AUTOMATED_NON_OPSEC
LIGHT_AUTOMATED_OPSEC
STANDARD_AUTOMATED_NON_OPSEC
STANDARD_AUTOMATED_OPSEC
STANDARD_INTERACTIVE_NON_OPSEC
STANDARD_INTERACTIVE_OPSEC
介紹如何將計費使用CSV文件中的數據提供給數據ricks進行分析。它描述了創建使用情況表的選項，並包括一個示例筆記本，您可以使用它來運行使用情況分析儀表板。
CSV文件使用的格式是商業電子表格應用程序的標準格式，但是需要修改才能被Apache Spark讀取。你必須使用選項(“逃脫”,“\”)當您在數據ricks中創建使用表時。
選項(“逃脫”,“\”)
總DBUs是dbus列。
在這個主題:
通過“創建表”界麵導入日誌
創建Spark DataFrame
創建增量表
使用分析儀表板筆記本
你可以使用在Databricks SQL中上傳數據和創建表導入CSV文件到Databricks進行分析。
你也可以使用下麵的代碼從CSV文件的路徑創建使用表:
df＝（火花．讀．選項（“頭”，“真正的”）．選項（“inferSchema”，“真正的”）．選項（“逸出”，＂\＂＂）．csv（“/ FileStore /表/ usage_data.csv”）)df．createOrReplaceTempView（“使用”）
如果文件存儲在S3 bucket中，例如，當它與日誌傳遞一起使用時，代碼將如下所示。您可以指定文件路徑或目錄。如果傳入一個目錄，則導入所有文件。下麵的示例指定了一個文件。
df＝（火花．讀．選項（“頭”，“真正的”）．選項（“inferSchema”，“真正的”）．選項（“逸出”，＂\＂＂）．負載（“s3: / / < bucketname > / < pathprefix > / billable-usage csv / workspaceId = < workspace-id > -usageMonth = <月> . csv”）)df．createOrReplaceTempView（“使用”）
下麵的例子導入了一個目錄的計費使用文件:
df＝（火花．讀．選項（“頭”，“真正的”）．選項（“inferSchema”，“真正的”）．選項（“逸出”，＂\＂＂）．負載（“s3: / / < bucketname > / < pathprefix > / billable-usage csv /”）)df．createOrReplaceTempView（“使用”）
要從DataFrame (df)，使用下麵的代碼:
df
（df．寫．格式（“δ”）．模式（“覆蓋”）．saveAsTable（“database_name.table_name”））
警告
保存的Delta表是不當添加或替換新的CSV文件時自動更新。如果需要最新的數據，請在使用Delta表之前重新運行這些命令。
如果您使用計費使用交付，您可以使用下麵的筆記本來運行使用分析儀表板，方法是提供一個到存儲CSV文件的S3存儲桶的路徑，並在小部件中輸入報告參數。
當您將筆記本導入到Databricks工作區時，用於輸入報表參數的小部件出現在第一個筆記本單元格上方。小部件不會出現在筆記本的瀏覽器視圖中。下麵是這個小部件的圖片:
在新標簽頁中打開筆記本