嗨,有人幫助我如何連接三角洲表與web應用程序?我搜索到一個delta-rs圖書館但我不能獲得連接。
@Fernando巴斯克斯:
連接到三角洲表存儲在blob存儲和顯示一個web應用程序,您可以使用REST API三角洲湖。下麵是步驟:
https:// < storage-account-name >.dfs.core.windows.net/ <容器名稱> / < delta-table-name > ? op = LIST&recu……
這將返回一個JSON響應包含所有三角洲表的列表文件. .
一旦你的列表文件,你可以下載和閱讀他們使用任何三角洲湖API。例如,您可以使用三角洲。read_table方法讀取表成火花DataFrame三角洲。
最後,您可以序列化DataFrame JSON或任何其他格式,您的web應用程序可以顯示並返回響應給客戶端。
這裏有一些Python代碼示例,展示了如何從一個增量表獲取數據存儲在blob存儲使用三角洲湖REST API:
從三角洲進口進口請求DeltaTable def fetch_data_from_delta_table (): storage_account_name = < your-storage-account-name >“container_name = " < your-container-name > " delta_table_name = api_endpoint = f“< your-delta-table-name > https:// {storage_account_name}.dfs.core.windows.net/ {container_name} / {delta_table_name} ?op = LIST&recursive = true "反應= requests.get (api_endpoint)文件= response.json () (“fileStatuses”) (“fileStatus”) delta_files =如果f (f, f文件(“路徑”).endswith (“.snappy.parquet”)] delta_table = DeltaTable。forPath(火花,f”wasbs: / / {container_name} @ {storage_account_name}.dfs.core.windows.net/ {delta_table_name}”) delta_df = delta_table.toDF() #上做一些處理三角洲DataFrame返回delta_df.toJSON () .collect ()
該函數將從三角洲表獲取數據並返回JSON格式。然後您可以在您的web應用程序中使用這些數據顯示給用戶。
每次都沒有直接下載文件,您必須創建一個sql倉庫集群和通過jdbc連接連接到它。這樣你就在python中使用請求庫(或用另一種語言像axios javascript)和將得到的響應格式在桌子上。我自己沒做過但是如果你這樣做,讓我知道它是如何工作的。
https://learn.microsoft.com/en-us/azure/databricks/integrations/jdbc-odbc-bi