磚

df.select (“columnname”) .distinct(),告訴()

@jack戀人你試過什麼?你有試過把()?https://spark.apache.org/docs/latest/api/scala/index.html org.apache.spark.sql.Column df.select (df(“可樂”).cast(“字符串”))

參考中可用的算法編程指南看到MLlib: http://spark.apache.org/docs/latest/ml-classification-regression.html MLlib沒有資訊,你可能想嚐試另一個可用的算法。

這些小dataframes創建的目的是什麼?你想寫到單獨的文件嗎?你可以使用一個過濾器命令由性別和過濾,然後為每個生成隨機抽樣結果dataframe如果你需要。

你有試過sqlContext.read.parquet (“/ filePath /”) ?