如何運行sql查詢/筆記本出現在S3集群磚嗎?

[Kratik]

我有代碼文件(.hql)在s3中運行在蜂巢。但是現在,我需要在磚集群上運行它們。
我可以將文件重命名為. sql和添加評論”——磚筆記本源”的文件將他們視為單細胞筆記本。但是我沒有得到直接運行該文件數據磚。

我也沒有看到任何方式將多個文件從s3磚工作空間運行筆記本隻支持在兩個方麵——工作區或Git。

[Kratik]

因為我沒有找到一種方法直接從S3運行SQL代碼,我提前導入S3磚使用API遵循下麵的文件:

1。添加——磚筆記本的來源上的每個文件,以便它被視為磚筆記本。

2。創建一個筆記本邏輯導入sql文件從s3磚工作區。

包括:邏輯

• 使用boto3 s3文件讀取
• 文件的內容轉換為base64編碼,然後讓它的字符串。
• 通過base64編碼的字符串內容
  
  
• import_params = {
  “路徑” : dbx_workspace_path , #替換為目標數據磚路
  “格式” : “源” ,
  “語言” : “SQL” ,
  ”內容” : base64_string ,
  “覆蓋” : 真正的
  }

  通過這個import_params字典一樣有效載荷post請求api

  api / 2.0 / workspace /導入。

  url的樣子

  url = f“https:// {dbx_host} / api / 2.0 / workspace /導入”

  注意:的dbx_workspace_path應該已經存在。如果沒有你可以通過用戶界麵或API創建它

  api / 2.0 / workspace / mkdir
  這可以創建完整路徑。例如folder1 / folder2 / folder3。如果所有的3文件夾不存在,如果你在有效載荷提供這條路,它將創建所有在給定的層次結構。

  3所示。一旦筆記本磚的工作區中可用,它可以通過工作或磚跑工作的Api

[Debayan]

你好,很抱歉錯過了看到後,問題得到解決了嗎?

[Kratik]

嗨@Debayan,

我已經發布的方法我也跟著在之前的評論。也許選擇運行文件直接從S3是不可能的。