寬表中自動裝載文件格式,但流表中存儲它透視

[simensma]

嘿,我在csv文件獲得寬的表格格式。其中每個傳感器有自己的專欄。我想商店在三角洲直播表。但因為它是低效的過程和存儲空間,由於不同頻率和傳感器數量。我想變成長青銅原始數據表的格式。在ID, SensorID和價值作為列。

這可能與自動裝卸機和δ直播表之間使用例如融化函數?

[匿名 · Accepted solution]

@Simen Smariset:

這是一個大綱可以遵循的步驟:

1. 設置您的三角洲直播表使用Autoloader特性。這允許您自動加載新數據到達您指定的目錄中。
2. 創建一個磚筆記本或腳本,您將執行該轉換任務。您可以使用像Python或Scala編程語言。
3. 使用自動裝卸機讀的寬格式DataFrame CSV文件。自動裝卸機功能將自動檢測新文件,並將它們加載到DataFrame。
4. 執行轉換從寬長格式使用融化函數或任何適當的邏輯。融化功能重塑DataFrame通過透視傳感器列進行與列ID, SensorID,和價值。
5. 寫DataFrame變成一個三角洲表,這將作為青銅原始數據表。這個表將所需的長格式結構ID, SensorID,值列。

[Vartika]

嗨@Simen Smariset,

希望一切進行得很順利。

隻是想檢查如果你能解決你的問題。如果是的,你會很高興的答案標記為最好,其他成員可以找到解決方案更快嗎?如果不是,請告訴我們,我們可以幫助你。

幹杯!

[simensma]

是的這是解決,但它加載到長格式而不是寬格式。

但是謝謝你的答案。