取消
顯示的結果
而不是尋找
你的意思是:

加載數據從dataframe Azure存儲隊列/消息隊列。

sensanjoy
貢獻者

嗨,專家,

我們確實有一個用例的批量裝載,在結束,現在我們想創建一個dataframe加載這些數據在Azure存儲隊列/消息隊列,這樣一些Rest API可以從隊列中讀取數據/消息後,相應的處理它。

是可能的嗎?如果不是,什麼是最好的方法來遵循。

謝謝。

1接受解決方案

接受的解決方案

匿名
不適用

@Sanjoy森:

是的,它是可以從DataFrame加載數據到Azure存儲隊列/消息隊列。這是一個可能的方法:

  1. DataFrame轉換為一個JSON字符串使用toJSON()方法。
  2. 使用Azure存儲隊列/消息隊列為Python客戶端庫來創建一個隊列的客戶對象,並將JSON字符串作為消息發送到隊列。您將需要驗證的Azure存儲賬戶使用連接字符串或憑證。

這裏有一些示例代碼開始:

從azure.storage進口json。隊列進口QueueClient # DataFrame轉換為一個JSON字符串json_data = df.toJSON () .collect() #客戶創建一個隊列對象queue_client = QueueClient.from_connection_string (conn_str = <連接字符串>,queue_name = < your-queue-name >) #將JSON字符串作為消息發送到隊列中的數據json_data:消息= json.dumps(數據)queue_client.send_message(消息)

在上麵的代碼中,用的連接字符串替換<連接字符串> Azure存儲賬戶和< your-queue-name >您的隊列的名稱。另外,確保處理過程中可能發生的任何錯誤或異常消息發送過程。

在原帖子查看解決方案

3回複3

sensanjoy
貢獻者

@Suteja卡努裏人尋找您的輸入。謝謝。

匿名
不適用

@Sanjoy森:

是的,它是可以從DataFrame加載數據到Azure存儲隊列/消息隊列。這是一個可能的方法:

  1. DataFrame轉換為一個JSON字符串使用toJSON()方法。
  2. 使用Azure存儲隊列/消息隊列為Python客戶端庫來創建一個隊列的客戶對象,並將JSON字符串作為消息發送到隊列。您將需要驗證的Azure存儲賬戶使用連接字符串或憑證。

這裏有一些示例代碼開始:

從azure.storage進口json。隊列進口QueueClient # DataFrame轉換為一個JSON字符串json_data = df.toJSON () .collect() #客戶創建一個隊列對象queue_client = QueueClient.from_connection_string (conn_str = <連接字符串>,queue_name = < your-queue-name >) #將JSON字符串作為消息發送到隊列中的數據json_data:消息= json.dumps(數據)queue_client.send_message(消息)

在上麵的代碼中,用的連接字符串替換<連接字符串> Azure存儲賬戶和< your-queue-name >您的隊列的名稱。另外,確保處理過程中可能發生的任何錯誤或異常消息發送過程。

@Suteja卡努裏人很好的,我想再次感謝你。

歡迎來到磚社區:讓學習、網絡和一起慶祝

加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。

點擊在這裏注冊今天,加入!

參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。

Baidu
map