它應該是一種應用正確的轉換:集
- 你可以通過添加week-of-year每個記錄的命令pyspark.sql.functions.weekofyear (. .)並命名為類似weekOfYear。看到https://spark.apache.org/docs/latest/api/python/pyspark.sql.html?highlight=functions pyspark.sql.fun……
- 一周中的第幾天,您可以使用pyspark.sql.functions.date_format (. .)“u”的格式,收益率(殖利率)本周的數量和名稱之類的dayOfWeek看到https://spark.apache.org/docs/latest/api/python/pyspark.sql.html?highlight=functions pyspark.sql.fun……然後https://docs.oracle.com/javase/8/docs/api/java/text/SimpleDateFormat.html。
- 接下來是添加一列的每一天一周(七個步驟)。
- 第一部分是使用pyspark.sql.functions。當(條件,價值
- )。看到https://spark.apache.org/docs/latest/api/python/pyspark.sql.html?highlight=functions pyspark.sql.fun……
- 將類似的狀況坳(dayOfWeek) = =“1”和價值columnWhatever。
- 然後您可以附加到當(. .)調用一個否則(. .)表達式0就像在當(條件、價值).otherwise (0)。看到https://spark.apache.org/docs/latest/api/python/pyspark.sql.html?highlight=functions pyspark.sql.fun……
- 重複六次
在這個階段的數據是這樣的:
但真正的關鍵是要平,需要的就是集團weekOfYear然後選擇與每一列的總和(S, M T W T F、S),就會看起來像這樣:
df.groupBy (“weekOfYear”) .sum(“太陽”、“我的”,“星期二”、“結婚”、“清華”、“星期五”,“坐”)- - - - - - - - - - - - - - - - - - - - - - - - - - - - - -更新
解決方案包括總和(. .)如果你有數字數據工作。然而,如果您有非數值數據,我們需要一個稍微不同的方法。在這種情況下,我們仍然可以組weekOfYear而是使用總和我們可以使用(. .)gg(第一(…),(…),…)。
感謝亞當的建議總和(. .)並@doug使用的建議gg(第一(. .))。
我們玩這個,我做了示例筆記本,演示了兩種解決方案。
