如何計算火花結構的差異隨著時間的流?

[chanansh]

我有一個表和一個時間戳列(t)和列表的列,我想計算的差異隨著時間的推移(v),一些關鍵(k): v_diff (t) = v (t)為每個獨立k - v (t - 1)。

通常我會寫:

lag_window = Window.partitionBy (COLS_TO_DIFF) .orderBy(“時間戳”)坳COLS_TO_DIFF: df = df。withColumn (col +“_diff df (col)——F.lag (df (col)) .over (lag_window))

但

AnalysisException: Non-time-based windows不支持流媒體DataFrames /數據集;

所以,我的問題是我怎麼計算我需要什麼?

[chanansh]

我問還在堆棧溢出,因為我沒有得到一個答案https://stackoverflow.com/questions/75161849/spark-structure-streaming-differentiate-over-time

[chanansh]

我發現這但不能使它工作//www.eheci.com/blog/2022/10/18/python-arbitrary-stateful-processing-structured-streaming..。