數據集

數據集是類型安全的版本的火花的結構化的Java API和Scala。這個API是在Python和R,因為這些都是動態類型語言,但它是一個強大的工具用Scala編寫大型應用程序和Java。回想一下,DataFrames是一個分布式的對象集合類型的行,可以舉行各種類型的表格數據。數據集的API允許用戶指定一個記錄在DataFrame Java類,和操作類型對象的集合,類似於Java數組列表或Scala Seq。上可用的api的數據集類型安全的,這意味著你不能意外視圖的數據集作為另一個類的對象比你最初的類。這使得數據集特別具有吸引力編寫大型應用程序在多個軟件工程師必須通過定義良好的接口進行交互。參數化數據集類類型的對象包含在:數據集 在Scala中的Java和數據集[T]。火花2.0,T類型都支持類JavaBean模式後,在Java中,並在Scala case類。這些類型是受限製的,因為火花需要能夠自動分析類型T和表格數據創建一個適當的模式在你的數據集。