開始
加載和管理數據
處理數據
政府
引用和資源
更新2023年6月16日
給我們反饋
本文解釋如何閱讀和分析使用數據從您的磚帳戶。
你可以查看和下載計費在賬戶中直接使用控製台。
列
類型
描述
例子
workspaceId
字符串
ID的工作區。
1234567890123456
時間戳
datetime
提供使用的小時。
2019 - 02年- 22 - t09:59:59.999z
clusterId
ID的集群(集群)或倉庫(用於SQL倉庫)
集群的例子:0406 - 020048 brawl507
0406 - 020048 brawl507
SQL倉庫的例子:8 e00f0c8b392983e
8 e00f0c8b392983e
clusterName
用戶提供的集群的名稱/倉庫。
共享自動定量
clusterNodeType
實例類型的集群/倉庫。
集群的例子:m4.16xlarge
m4.16xlarge
SQL倉庫的例子:db.xlarge
db.xlarge
clusterOwnerUserId
用戶的ID創建集群/倉庫。
12345678901234
clusterCustomTags
字符串(“逃json)
與集群相關的自定義標記/倉庫在這個小時。
“{”“部門”“:”“mktg”“、”“op_phase”“:”“開發”“}”
sku
計費SKU。看到計費sku表的值列表。
STANDARD_ALL_PURPOSE_COMPUTE
dbus
雙
用戶使用的DBUs數量在這一小時。
1.2345
machineHours
機器小時總數由集群中的所有容器/倉庫使用。
12.345
clusterOwnerUserName
用戶名(電子郵件)的用戶創建集群/倉庫。
user@yourcompany.com
標簽
違約和自定義集群/倉庫標簽,默認和自定義實例池標簽與集群相關的(如適用)在這一小時。看到集群的標簽,倉庫標簽,池標簽。這是一種的超集clusterCustomTags列。
“{”“部門”“:”“mktg”“、”“op_phase”“:”“開發”,”“供應商”“:”“磚”," ClusterId ": " 0405 - 020048 brawl507””,”“創造者”“:”“user@yourcompany.com”“}”
“{”“部門”“:”“mktg”“、”“op_phase”“:”“開發”,
”“供應商”“:”“磚”,
" ClusterId ": " 0405 - 020048 brawl507””,
”“創造者”“:”“user@yourcompany.com”“}”
ENTERPRISE_ALL_PURPOSE_COMPUTE
ENTERPRISE_ALL_PURPOSE_COMPUTE_(光子)
ENTERPRISE_JOBS_COMPUTE
ENTERPRISE_JOBS_COMPUTE_(光子)
ENTERPRISE_JOBS_LIGHT_COMPUTE
ENTERPRISE_SQL_COMPUTE
ENTERPRISE_DLT_CORE_COMPUTE
ENTERPRISE_DLT_CORE_COMPUTE_(光子)
ENTERPRISE_DLT_PRO_COMPUTE
ENTERPRISE_DLT_PRO_COMPUTE_(光子)
ENTERPRISE_DLT_ADVANCED_COMPUTE
ENTERPRISE_DLT_ADVANCED_COMPUTE_(光子)
PREMIUM_ALL_PURPOSE_COMPUTE
PREMIUM_ALL_PURPOSE_COMPUTE_(光子)
PREMIUM_JOBS_COMPUTE
PREMIUM_JOBS_COMPUTE_(光子)
PREMIUM_JOBS_LIGHT_COMPUTE
PREMIUM_SQL_COMPUTE
PREMIUM_DLT_CORE_COMPUTE
PREMIUM_DLT_CORE_COMPUTE_(光子)
PREMIUM_DLT_PRO_COMPUTE
PREMIUM_DLT_PRO_COMPUTE_(光子)
PREMIUM_DLT_ADVANCED_COMPUTE
PREMIUM_DLT_ADVANCED_COMPUTE_(光子)
STANDARD_ALL_PURPOSE_COMPUTE_(光子)
STANDARD_JOBS_COMPUTE
STANDARD_JOBS_COMPUTE_(光子)
STANDARD_JOBS_LIGHT_COMPUTE
STANDARD_DLT_CORE_COMPUTE
STANDARD_DLT_CORE_COMPUTE_(光子)
STANDARD_DLT_PRO_COMPUTE
STANDARD_DLT_PRO_COMPUTE_(光子)
STANDARD_DLT_ADVANCED_COMPUTE
STANDARD_DLT_ADVANCED_COMPUTE_(光子)
本節描述如何使計費使用CSV文件中的數據可用於磚進行分析。它描述的選項創建一個表,包括使用一個示例的筆記本,你可以使用它來運行使用分析儀表盤。
CSV文件使用的格式是標準商業電子表格應用程序,但需要讀取修改Apache火花。你必須使用選項(“逃脫”,“\”)當您創建的表在磚使用。
選項(“逃脫”,“\”)
DBUs總額之和dbus列。
您可以使用加載數據使用UI添加數據將CSV文件導入到磚進行分析。
您還可以使用下麵的代碼來創建使用表從CSV文件路徑:
df=(火花。讀。選項(“頭”,“真正的”)。選項(“inferSchema”,“真正的”)。選項(“逸出”,”\””)。csv(“/ FileStore /表/ usage_data.csv”))df。createOrReplaceTempView(“使用”)
如果文件存儲在S3存儲桶,例如使用日誌時交付,將看起來像下麵的代碼。您可以指定一個文件路徑或一個目錄。如果你通過一個目錄,所有文件都是進口的。下麵的示例指定一個文件。
df=(火花。讀。選項(“頭”,“真正的”)。選項(“inferSchema”,“真正的”)。選項(“逸出”,”\””)。負載(“s3: / / < bucketname > / < pathprefix > / billable-usage csv / workspaceId = < workspace-id > -usageMonth = <月> . csv”))df。createOrReplaceTempView(“使用”)
下麵的例子進口計費使用的目錄文件:
df=(火花。讀。選項(“頭”,“真正的”)。選項(“inferSchema”,“真正的”)。選項(“逸出”,”\””)。負載(“s3: / / < bucketname > / < pathprefix > / billable-usage / csv /”))df。createOrReplaceTempView(“使用”)
創建一個增量表DataFrame (df)在前麵的示例中,使用以下代碼:
df
(df。寫。格式(“δ”)。模式(“覆蓋”)。saveAsTable(“database_name.table_name”))
警告
保存的δ表不自動更新當你添加或更換新的CSV文件。如果你需要最新的數據,重新運行這些命令之前使用差值表。
如果你使用計費使用交付,您可以使用以下的筆記本運行使用S3 bucket儀表板通過提供一個路徑分析你的CSV文件並輸入報表參數存儲在一個小部件。
你使用的小部件,進入報表參數上麵出現第一個筆記本電池當你導入筆記本磚工作區。小部件沒有出現在瀏覽器隻視圖的筆記本。這裏有一個小部件的圖片:
在新標簽頁打開筆記本