有人成功應用Petastorm + Databricks-Connect +δ湖?
用例是能夠使用DeltaLake作為數據存儲無論我想使用磚工作區或不是我的訓練任務。
我使用一個雲端的jupyterlab環境(在Paperspace),並試圖使用Petastorm +磚連接。
我想做的事:
- 通過databricks-connect連接到集群
- 從三角洲湖讀入數據使用磚火花的集群
- 使用Petastorm dataframe轉換為pytorch準備好對象
相同的代碼,在相同的集群當使用磚筆記本的工作環境。但當運行“make_spark_converter()的函數在我主持jupyterlab環境我拋出一個錯誤“無法推斷模式”。雖然如果我檢查”。模式”的屬性dataframe我給它,它向我展示了一個火花兼容模式。
