客觀的
的上下文中δ生活表,我想合並兩個流聚合,但遇到挑戰。有可能實現這樣一個加入?
上下文
假設
——表交易商店的列表與它們相關的交易時間戳
——表trades_1d所有交易金額的值在給定的一天
——表stock_price商店一個給定的股票價格(不恒定)采樣頻率
——表stock_price_1d平均股價在給定的一天
將翻譯的事情等
進口pyspark.sql。函數作為sqlf sdf_trades = spark.readStream.format(“δ”).table (f stock_price) sdf_price = spark.readStream.format(“δ”).table (f stock_price) w = sqlf。窗口(“timetstamp”、“24小時”)sdf_trades_1d = (sdf_trades .groupby (w) .agg (sqlf.sum (“trade_value”)) .withColumn (“window_end sqlf.col (“window.end”)) .withColumn (“window_start sqlf.col (“window.start”))) sdf_price_1d = (sdf_price .groupby (w) .agg (sqlf.avg(“價值”)).withColumn (“window_end sqlf.col (“window.end”)) .withColumn (“window_start sqlf.col (“window.start”)))。withWatermark (“window_end”、“48小時”)自衛隊= sdf_trades_1d。加入(sdf_price_1d“window_end”、“左”)
問題
當運行上麵的偽代碼中,我得到了
“附加更多的錯誤:多個流不支持聚合流DataFrames /數據集”
任何建議我可以做這個工作嗎?
