取消
顯示的結果
而不是尋找
你的意思是:

動態創建數據磚表

labromb
貢獻者

你好,

我想可以這樣做……

如果不存在表創建表

使用拚花

= ' / mnt / somelocation位置

一些位置需要連接的靜態和代碼生成的字符串。文檔顯示位置隻接受一個字符串文字和基於我試圖這樣做,似乎是這樣。有解決辦法嗎?

謝謝提前

6個回答6

Kaniz
社區經理
社區經理

謝謝你的快速反應@Brian Labrom !

請與我們保持聯絡。我們將對你的愛最好的答案盡快。

最終解決方案看起來像這樣

首先計算變量的位置(一個月回來今天在我的例子中)

#首先計算歸檔日期(或者其他你需要動態的)從dateutil進口datetime。relativedelta進口relativedelta start_date = datetime.date.today () archive_date = start_date - relativedelta(月= 1)archive_date = archive_date.strftime (% Y - % m) #使用前麵計算的變量構建表導入pyspark.sql。會議文件夾=“容器/文件夾”+ archive_date +”。鑲花的火花。sql (f”使用鑲花的位置創建表存檔/ mnt /{文件夾}”)

找不到SQL方法工作由於某種原因,但這絕對是對我所需要的東西。

許多感謝您的幫助,這將證明v將來有用。

作為一個觀察可能是值得更新磚文檔,因為它目前的狀態位置必須是一個字符串?隻是一個想法。

歡迎來到磚社區:讓學習、網絡和一起慶祝

加入我們的快速增長的數據專業人員和專家的80 k +社區成員,準備發現,幫助和合作而做出有意義的聯係。

點擊在這裏注冊今天,加入!

參與令人興奮的技術討論,加入一個組與你的同事和滿足我們的成員。

Baidu
map