傳統的可視化gydF4y2Ba
本文描述了傳統磚可視化。看到gydF4y2Ba可視化在數據磚筆記本gydF4y2Ba目前可視化支持。gydF4y2Ba
磚還提供本機支持可視化的圖書館在Python和R和允許您安裝和使用第三方庫。gydF4y2Ba
創建一個遺留的可視化gydF4y2Ba
創建一個細胞遺留的可視化結果,點擊gydF4y2Ba+gydF4y2Ba並選擇gydF4y2Ba遺留的可視化gydF4y2Ba。gydF4y2Ba
遺留可視化支持一組豐富的圖表類型:gydF4y2Ba
選擇和配置一個遺留圖表類型gydF4y2Ba
選擇一個條形圖,單擊條形圖圖標gydF4y2Ba
:gydF4y2Ba
選擇另一個情節類型,點擊gydF4y2Ba
右邊的條形圖gydF4y2Ba並選擇情節類型。gydF4y2Ba
遺留的圖表工具欄gydF4y2Ba
線和條形圖都有一個內置的工具欄,支持一組豐富的客戶端交互。gydF4y2Ba
配置一個圖表,請點擊gydF4y2Ba情節選項…gydF4y2Ba。gydF4y2Ba
折線圖有幾個自定義圖表選項:設置軸範圍,顯示和隱藏點,用對數尺度和顯示y軸。gydF4y2Ba
遺留的信息圖表類型,請參閱:gydF4y2Ba
顏色一致性圖表gydF4y2Ba
磚支持兩種顏色一致性遺留圖表:係列和全球。gydF4y2Ba
係列組gydF4y2Ba顏色一致性分配相同的顏色,相同的值如果你有係列相同的值,但在不同的訂單(例如,=gydF4y2Ba["蘋果",gydF4y2Ba“橙色”,gydF4y2Ba“香蕉”)gydF4y2Ba和B =gydF4y2Ba["橙色",gydF4y2Ba“香蕉”,gydF4y2Ba“蘋果”)gydF4y2Ba)。繪圖前值排序,所以傳說都是排序相同的方式(gydF4y2Ba["蘋果",gydF4y2Ba“香蕉”,gydF4y2Ba“橙色”)gydF4y2Ba),相同的值相同的顏色。然而,如果您有一係列C =gydF4y2Ba["橙色",gydF4y2Ba“香蕉”)gydF4y2Ba,它不會顏色符合設定一套,因為並不是一樣的。排序算法將分配第一個顏色的“香蕉”集C但是第二顏色的“香蕉”答:如果你想要這些係列的顏色一致,可以指定顏色圖表應該全球一致性。gydF4y2Ba
在gydF4y2Ba全球gydF4y2Ba顏色一致性,每個值總是映射到相同的顏色係列無論什麼樣的價值觀。為每個圖表,啟用這個選擇gydF4y2Ba全球顏色一致性gydF4y2Ba複選框。gydF4y2Ba
請注意gydF4y2Ba
為了實現這種一致性,磚直接散列值的顏色。避免碰撞(兩個值去相同的顏色),哈希是一個大的顏色,有副作用,好看的或易於分辨顏色無法保證;有許多顏色必定有一些看起來非常相似。gydF4y2Ba
機器學習的可視化gydF4y2Ba
除了標準的圖表類型、遺留可視化支持以下機器學習訓練參數和結果:gydF4y2Ba
殘差gydF4y2Ba
對於線性和邏輯回歸,可以呈現一個gydF4y2Ba安裝與殘差gydF4y2Ba情節。為了獲得這一情節,供應模型和DataFrame。gydF4y2Ba
下麵的例子運行一個線性回歸城市人口對房屋銷售價格的數據,然後顯示殘差和安裝數據。gydF4y2Ba
#加載數據gydF4y2Bapop_dfgydF4y2Ba=gydF4y2Ba火花gydF4y2Ba。gydF4y2Ba讀gydF4y2Ba。gydF4y2BacsvgydF4y2Ba(gydF4y2Ba“/ databricks-datasets /樣本/ population-vs-price / data_geo.csv”gydF4y2Ba,gydF4y2Ba頭gydF4y2Ba=gydF4y2Ba“真正的”gydF4y2Ba,gydF4y2BainferSchemagydF4y2Ba=gydF4y2Ba“真正的”gydF4y2Ba)gydF4y2Ba#刪除行用缺失值和重命名功能和標簽列,用_代替空間gydF4y2Ba從gydF4y2Bapyspark.sql.functionsgydF4y2Ba進口gydF4y2Ba上校gydF4y2Bapop_dfgydF4y2Ba=gydF4y2Bapop_dfgydF4y2Ba。gydF4y2BadropnagydF4y2Ba()gydF4y2Ba#行用缺失值下降gydF4y2BaexprsgydF4y2Ba=gydF4y2Ba(gydF4y2Ba上校gydF4y2Ba(gydF4y2Ba列gydF4y2Ba)gydF4y2Ba。gydF4y2Ba別名gydF4y2Ba(gydF4y2Ba列gydF4y2Ba。gydF4y2Ba取代gydF4y2Ba(gydF4y2Ba' 'gydF4y2Ba,gydF4y2Ba“_”gydF4y2Ba))gydF4y2Ba為gydF4y2Ba列gydF4y2Ba在gydF4y2Bapop_dfgydF4y2Ba。gydF4y2Ba列gydF4y2Ba]gydF4y2Ba#注冊一個UDF轉換特性(2014 _population_estimate)列向量VectorUDT類型和應用列。gydF4y2Ba從gydF4y2Bapyspark.ml.linalggydF4y2Ba進口gydF4y2Ba向量gydF4y2Ba,gydF4y2BaVectorUDTgydF4y2Ba火花gydF4y2Ba。gydF4y2BaudfgydF4y2Ba。gydF4y2Ba注冊gydF4y2Ba(gydF4y2Ba“oneElementVec”gydF4y2Ba,gydF4y2BaλgydF4y2BadgydF4y2Ba:gydF4y2Ba向量gydF4y2Ba。gydF4y2Ba密集的gydF4y2Ba([gydF4y2BadgydF4y2Ba]),gydF4y2BareturnTypegydF4y2Ba=gydF4y2BaVectorUDTgydF4y2Ba())gydF4y2BatdatagydF4y2Ba=gydF4y2Bapop_dfgydF4y2Ba。gydF4y2Ba選擇gydF4y2Ba(gydF4y2Ba*gydF4y2BaexprsgydF4y2Ba)gydF4y2Ba。gydF4y2BaselectExprgydF4y2Ba(gydF4y2Ba“oneElementVec (2014 _population_estimate)功能”gydF4y2Ba,gydF4y2Ba“2015 _median_sales_price標簽”gydF4y2Ba)gydF4y2Ba#進行線性回歸gydF4y2Ba從gydF4y2Bapyspark.ml.regressiongydF4y2Ba進口gydF4y2BaLinearRegressiongydF4y2BalrgydF4y2Ba=gydF4y2BaLinearRegressiongydF4y2Ba()gydF4y2Ba模型gydF4y2Ba=gydF4y2BalrgydF4y2Ba。gydF4y2Ba適合gydF4y2Ba(gydF4y2BatdatagydF4y2Ba,gydF4y2Ba{gydF4y2BalrgydF4y2Ba。gydF4y2BaregParamgydF4y2Ba:gydF4y2Ba0.0gydF4y2Ba})gydF4y2Ba#情節殘差和安裝數據gydF4y2Ba顯示gydF4y2Ba(gydF4y2Ba模型gydF4y2Ba,gydF4y2BatdatagydF4y2Ba)gydF4y2Ba
ROC曲線gydF4y2Ba
對於邏輯回歸,可以呈現一個gydF4y2Ba中華民國gydF4y2Ba曲線。獲得該地塊,準備供應模型,數據的輸入gydF4y2Ba適合gydF4y2Ba方法和參數gydF4y2Ba“中華民國”gydF4y2Ba。gydF4y2Ba
下麵的示例開發一個分類器預測如果一個人收入< = 50 k或> 50 k每年從個人的各種屬性。成年人的數據集來自人口普查數據,包括48842人的信息和他們的年度收入。gydF4y2Ba
本節中的示例代碼使用一個炎熱的編碼。gydF4y2Ba
#這段代碼使用一個炎熱的編碼將所有分類變量轉換成二進製向量。gydF4y2Ba模式gydF4y2Ba=gydF4y2Ba”“”“年齡”雙,gydF4y2Ba“workclass”字符串,gydF4y2Ba“fnlwgt”雙,gydF4y2Ba“教育”的字符串,gydF4y2Ba“education_num”雙,gydF4y2Ba“marital_status”字符串,gydF4y2Ba“占領”字符串,gydF4y2Ba“關係”的字符串,gydF4y2Ba“種族”的字符串,gydF4y2Ba“性”的字符串,gydF4y2Ba“capital_gain”雙,gydF4y2Ba“capital_loss”雙,gydF4y2Ba“hours_per_week”雙,gydF4y2Ba“native_country”字符串,gydF4y2Ba“收入”字符串" " "gydF4y2Ba數據集gydF4y2Ba=gydF4y2Ba火花gydF4y2Ba。gydF4y2Ba讀gydF4y2Ba。gydF4y2BacsvgydF4y2Ba(gydF4y2Ba“databricks-datasets /成人/ adult.data”gydF4y2Ba,gydF4y2Ba模式gydF4y2Ba=gydF4y2Ba模式gydF4y2Ba)gydF4y2Ba從gydF4y2Bapyspark.mlgydF4y2Ba進口gydF4y2Ba管道gydF4y2Ba從gydF4y2Bapyspark.ml.featuregydF4y2Ba進口gydF4y2BaOneHotEncodergydF4y2Ba,gydF4y2BaStringIndexergydF4y2Ba,gydF4y2BaVectorAssemblergydF4y2BacategoricalColumnsgydF4y2Ba=gydF4y2Ba(gydF4y2Ba“workclass”gydF4y2Ba,gydF4y2Ba“教育”gydF4y2Ba,gydF4y2Ba“marital_status”gydF4y2Ba,gydF4y2Ba“占領”gydF4y2Ba,gydF4y2Ba“關係”gydF4y2Ba,gydF4y2Ba“種族”gydF4y2Ba,gydF4y2Ba“性”gydF4y2Ba,gydF4y2Ba“native_country”gydF4y2Ba]gydF4y2Ba階段gydF4y2Ba=gydF4y2Ba[]gydF4y2Ba#階段的管道gydF4y2Ba為gydF4y2BacategoricalColgydF4y2Ba在gydF4y2BacategoricalColumnsgydF4y2Ba:gydF4y2Ba#與StringIndexer類別索引gydF4y2BastringIndexergydF4y2Ba=gydF4y2BaStringIndexergydF4y2Ba(gydF4y2BainputColgydF4y2Ba=gydF4y2BacategoricalColgydF4y2Ba,gydF4y2BaoutputColgydF4y2Ba=gydF4y2BacategoricalColgydF4y2Ba+gydF4y2Ba“指數”gydF4y2Ba)gydF4y2Ba#使用OneHotEncoder分類變量轉換成二進製SparseVectorsgydF4y2Ba編碼器gydF4y2Ba=gydF4y2BaOneHotEncodergydF4y2Ba(gydF4y2BainputColsgydF4y2Ba=gydF4y2Ba(gydF4y2BastringIndexergydF4y2Ba。gydF4y2BagetOutputColgydF4y2Ba()),gydF4y2BaoutputColsgydF4y2Ba=gydF4y2Ba(gydF4y2BacategoricalColgydF4y2Ba+gydF4y2Ba“classVec”gydF4y2Ba])gydF4y2Ba#添加階段。這些都不是在這裏運行,但運行一次。gydF4y2Ba階段gydF4y2Ba+ =gydF4y2Ba(gydF4y2BastringIndexergydF4y2Ba,gydF4y2Ba編碼器gydF4y2Ba]gydF4y2Ba#標簽轉換成標簽使用StringIndexer指數gydF4y2Balabel_stringIdxgydF4y2Ba=gydF4y2BaStringIndexergydF4y2Ba(gydF4y2BainputColgydF4y2Ba=gydF4y2Ba“收入”gydF4y2Ba,gydF4y2BaoutputColgydF4y2Ba=gydF4y2Ba“標簽”gydF4y2Ba)gydF4y2Ba階段gydF4y2Ba+ =gydF4y2Ba(gydF4y2Balabel_stringIdxgydF4y2Ba]gydF4y2Ba#使用VectorAssembler所有功能轉換成一個向量gydF4y2BanumericColsgydF4y2Ba=gydF4y2Ba(gydF4y2Ba“年齡”gydF4y2Ba,gydF4y2Ba“fnlwgt”gydF4y2Ba,gydF4y2Ba“education_num”gydF4y2Ba,gydF4y2Ba“capital_gain”gydF4y2Ba,gydF4y2Ba“capital_loss”gydF4y2Ba,gydF4y2Ba“hours_per_week”gydF4y2Ba]gydF4y2BaassemblerInputsgydF4y2Ba=gydF4y2Ba(gydF4y2BacgydF4y2Ba+gydF4y2Ba“classVec”gydF4y2Ba為gydF4y2BacgydF4y2Ba在gydF4y2BacategoricalColumnsgydF4y2Ba]gydF4y2Ba+gydF4y2BanumericColsgydF4y2Ba彙編程序gydF4y2Ba=gydF4y2BaVectorAssemblergydF4y2Ba(gydF4y2BainputColsgydF4y2Ba=gydF4y2BaassemblerInputsgydF4y2Ba,gydF4y2BaoutputColgydF4y2Ba=gydF4y2Ba“特征”gydF4y2Ba)gydF4y2Ba階段gydF4y2Ba+ =gydF4y2Ba(gydF4y2Ba彙編程序gydF4y2Ba]gydF4y2Ba#作為一個管道運行階段。這讓數據通過所有功能轉換的一個電話。gydF4y2BapartialPipelinegydF4y2Ba=gydF4y2Ba管道gydF4y2Ba()gydF4y2Ba。gydF4y2BasetStagesgydF4y2Ba(gydF4y2Ba階段gydF4y2Ba)gydF4y2BapipelineModelgydF4y2Ba=gydF4y2BapartialPipelinegydF4y2Ba。gydF4y2Ba適合gydF4y2Ba(gydF4y2Ba數據集gydF4y2Ba)gydF4y2BapreppedDataDFgydF4y2Ba=gydF4y2BapipelineModelgydF4y2Ba。gydF4y2Ba變換gydF4y2Ba(gydF4y2Ba數據集gydF4y2Ba)gydF4y2Ba#符合邏輯回歸模型gydF4y2Ba從gydF4y2Bapyspark.ml.classificationgydF4y2Ba進口gydF4y2BaLogisticRegressiongydF4y2BalrModelgydF4y2Ba=gydF4y2BaLogisticRegressiongydF4y2Ba()gydF4y2Ba。gydF4y2Ba適合gydF4y2Ba(gydF4y2BapreppedDataDFgydF4y2Ba)gydF4y2Ba#中華民國為數據gydF4y2Ba顯示gydF4y2Ba(gydF4y2BalrModelgydF4y2Ba,gydF4y2BapreppedDataDFgydF4y2Ba,gydF4y2Ba“中華民國”gydF4y2Ba)gydF4y2Ba
顯示殘差,省略了gydF4y2Ba“中華民國”gydF4y2Ba參數:gydF4y2Ba
顯示gydF4y2Ba(gydF4y2BalrModelgydF4y2Ba,gydF4y2BapreppedDataDFgydF4y2Ba)gydF4y2Ba
決策樹gydF4y2Ba
遺產呈現決策樹可視化支持。gydF4y2Ba
要獲得這樣的可視化,供應決策樹模型。gydF4y2Ba
下麵的例子訓練樹識別數字(0 - 9)MNIST數據集的手寫數字圖像,然後顯示樹。gydF4y2Ba
trainingDFgydF4y2Ba=gydF4y2Ba火花gydF4y2Ba。gydF4y2Ba讀gydF4y2Ba。gydF4y2Ba格式gydF4y2Ba(gydF4y2Ba“libsvm”gydF4y2Ba)gydF4y2Ba。gydF4y2Ba負載gydF4y2Ba(gydF4y2Ba“/ databricks-datasets / mnist-digits /數據- 001 / mnist-digits-train.txt”gydF4y2Ba)gydF4y2Ba。gydF4y2Ba緩存gydF4y2Ba()gydF4y2BatestDFgydF4y2Ba=gydF4y2Ba火花gydF4y2Ba。gydF4y2Ba讀gydF4y2Ba。gydF4y2Ba格式gydF4y2Ba(gydF4y2Ba“libsvm”gydF4y2Ba)gydF4y2Ba。gydF4y2Ba負載gydF4y2Ba(gydF4y2Ba“/ databricks-datasets / mnist-digits /數據- 001 / mnist-digits-test.txt”gydF4y2Ba)gydF4y2Ba。gydF4y2Ba緩存gydF4y2Ba()gydF4y2Ba從gydF4y2Bapyspark.ml.classificationgydF4y2Ba進口gydF4y2BaDecisionTreeClassifiergydF4y2Ba從gydF4y2Bapyspark.ml.featuregydF4y2Ba進口gydF4y2BaStringIndexergydF4y2Ba從gydF4y2Bapyspark.mlgydF4y2Ba進口gydF4y2Ba管道gydF4y2Ba索引器gydF4y2Ba=gydF4y2BaStringIndexergydF4y2Ba()gydF4y2Ba。gydF4y2BasetInputColgydF4y2Ba(gydF4y2Ba“標簽”gydF4y2Ba)gydF4y2Ba。gydF4y2BasetOutputColgydF4y2Ba(gydF4y2Ba“indexedLabel”gydF4y2Ba)gydF4y2Ba直接轉矩gydF4y2Ba=gydF4y2BaDecisionTreeClassifiergydF4y2Ba()gydF4y2Ba。gydF4y2BasetLabelColgydF4y2Ba(gydF4y2Ba“indexedLabel”gydF4y2Ba)gydF4y2Ba#鏈索引器+ dtc組合進一個毫升管道。gydF4y2Ba管道gydF4y2Ba=gydF4y2Ba管道gydF4y2Ba()gydF4y2Ba。gydF4y2BasetStagesgydF4y2Ba([gydF4y2Ba索引器gydF4y2Ba,gydF4y2Ba直接轉矩gydF4y2Ba])gydF4y2Ba模型gydF4y2Ba=gydF4y2Ba管道gydF4y2Ba。gydF4y2Ba適合gydF4y2Ba(gydF4y2BatrainingDFgydF4y2Ba)gydF4y2Ba顯示gydF4y2Ba(gydF4y2Ba模型gydF4y2Ba。gydF4y2Ba階段gydF4y2Ba(gydF4y2Ba- - - - - -gydF4y2Ba1gydF4y2Ba])gydF4y2Ba
瓦爾gydF4y2BatrainingDFgydF4y2Ba=gydF4y2Ba火花gydF4y2Ba。gydF4y2Ba讀gydF4y2Ba。gydF4y2Ba格式gydF4y2Ba(gydF4y2Ba“libsvm”gydF4y2Ba)。gydF4y2Ba負載gydF4y2Ba(gydF4y2Ba“/ databricks-datasets / mnist-digits /數據- 001 / mnist-digits-train.txt”gydF4y2Ba)。gydF4y2Ba緩存gydF4y2Ba瓦爾gydF4y2BatestDFgydF4y2Ba=gydF4y2Ba火花gydF4y2Ba。gydF4y2Ba讀gydF4y2Ba。gydF4y2Ba格式gydF4y2Ba(gydF4y2Ba“libsvm”gydF4y2Ba)。gydF4y2Ba負載gydF4y2Ba(gydF4y2Ba“/ databricks-datasets / mnist-digits /數據- 001 / mnist-digits-test.txt”gydF4y2Ba)。gydF4y2Ba緩存gydF4y2Ba進口gydF4y2BaorggydF4y2Ba。gydF4y2BaapachegydF4y2Ba。gydF4y2Ba火花gydF4y2Ba。gydF4y2Ba毫升gydF4y2Ba。gydF4y2Ba分類gydF4y2Ba。{gydF4y2BaDecisionTreeClassifiergydF4y2Ba,gydF4y2BaDecisionTreeClassificationModelgydF4y2Ba}gydF4y2Ba進口gydF4y2BaorggydF4y2Ba。gydF4y2BaapachegydF4y2Ba。gydF4y2Ba火花gydF4y2Ba。gydF4y2Ba毫升gydF4y2Ba。gydF4y2Ba功能gydF4y2Ba。gydF4y2BaStringIndexergydF4y2Ba進口gydF4y2BaorggydF4y2Ba。gydF4y2BaapachegydF4y2Ba。gydF4y2Ba火花gydF4y2Ba。gydF4y2Ba毫升gydF4y2Ba。gydF4y2Ba管道gydF4y2Ba瓦爾gydF4y2Ba索引器gydF4y2Ba=gydF4y2Ba新gydF4y2BaStringIndexergydF4y2Ba()。gydF4y2BasetInputColgydF4y2Ba(gydF4y2Ba“標簽”gydF4y2Ba)。gydF4y2BasetOutputColgydF4y2Ba(gydF4y2Ba“indexedLabel”gydF4y2Ba)gydF4y2Ba瓦爾gydF4y2Ba直接轉矩gydF4y2Ba=gydF4y2Ba新gydF4y2BaDecisionTreeClassifiergydF4y2Ba()。gydF4y2BasetLabelColgydF4y2Ba(gydF4y2Ba“indexedLabel”gydF4y2Ba)gydF4y2Ba瓦爾gydF4y2Ba管道gydF4y2Ba=gydF4y2Ba新gydF4y2Ba管道gydF4y2Ba()。gydF4y2BasetStagesgydF4y2Ba(gydF4y2Ba數組gydF4y2Ba(gydF4y2Ba索引器gydF4y2Ba,gydF4y2Ba直接轉矩gydF4y2Ba))gydF4y2Ba瓦爾gydF4y2Ba模型gydF4y2Ba=gydF4y2Ba管道gydF4y2Ba。gydF4y2Ba適合gydF4y2Ba(gydF4y2BatrainingDFgydF4y2Ba)gydF4y2Ba瓦爾gydF4y2Ba樹gydF4y2Ba=gydF4y2Ba模型gydF4y2Ba。gydF4y2Ba階段gydF4y2Ba。gydF4y2Ba去年gydF4y2Ba。gydF4y2BaasInstanceOfgydF4y2Ba(gydF4y2BaDecisionTreeClassificationModelgydF4y2Ba]gydF4y2Ba顯示gydF4y2Ba(gydF4y2Ba樹gydF4y2Ba)gydF4y2Ba
結構化流DataFramesgydF4y2Ba
可視化流媒體實時查詢的結果gydF4y2Ba顯示gydF4y2BaScala中的結構化流DataFrame和Python。gydF4y2Ba
streaming_dfgydF4y2Ba=gydF4y2Ba火花gydF4y2Ba。gydF4y2BareadStreamgydF4y2Ba。gydF4y2Ba格式gydF4y2Ba(gydF4y2Ba“速度”gydF4y2Ba)gydF4y2Ba。gydF4y2Ba負載gydF4y2Ba()gydF4y2Ba顯示gydF4y2Ba(gydF4y2Bastreaming_dfgydF4y2Ba。gydF4y2BagroupBygydF4y2Ba()gydF4y2Ba。gydF4y2Ba數gydF4y2Ba())gydF4y2Ba
瓦爾gydF4y2Bastreaming_dfgydF4y2Ba=gydF4y2Ba火花gydF4y2Ba。gydF4y2BareadStreamgydF4y2Ba。gydF4y2Ba格式gydF4y2Ba(gydF4y2Ba“速度”gydF4y2Ba)。gydF4y2Ba負載gydF4y2Ba()gydF4y2Ba顯示gydF4y2Ba(gydF4y2Bastreaming_dfgydF4y2Ba。gydF4y2BagroupBygydF4y2Ba()。gydF4y2Ba數gydF4y2Ba())gydF4y2Ba
顯示gydF4y2Ba支持以下可選參數:gydF4y2Ba
streamNamegydF4y2Ba:流媒體查詢名稱。gydF4y2Ba觸發gydF4y2Ba(Scala)和gydF4y2BaprocessingTimegydF4y2Ba(Python):定義了流查詢頻率運行。如果沒有指定,係統檢查可用性的前處理新數據盡快完成。在生產中降低成本,磚建議你gydF4y2Ba總是gydF4y2Ba設置一個觸發間隔。磚運行時的8.0及以上,默認觸發間隔是500 ms。gydF4y2BacheckpointLocationgydF4y2Ba:係統寫所有檢查點的位置信息。如果沒有指定,係統自動生成一個臨時DBFS檢查點位置。為了你流繼續處理數據的地方重新開始,你必須提供一個檢查點位置。磚生產建議你gydF4y2Ba總是gydF4y2Ba指定gydF4y2BacheckpointLocationgydF4y2Ba選擇。gydF4y2Ba
streaming_dfgydF4y2Ba=gydF4y2Ba火花gydF4y2Ba。gydF4y2BareadStreamgydF4y2Ba。gydF4y2Ba格式gydF4y2Ba(gydF4y2Ba“速度”gydF4y2Ba)gydF4y2Ba。gydF4y2Ba負載gydF4y2Ba()gydF4y2Ba顯示gydF4y2Ba(gydF4y2Bastreaming_dfgydF4y2Ba。gydF4y2BagroupBygydF4y2Ba()gydF4y2Ba。gydF4y2Ba數gydF4y2Ba(),gydF4y2BaprocessingTimegydF4y2Ba=gydF4y2Ba“5秒”gydF4y2Ba,gydF4y2BacheckpointLocationgydF4y2Ba=gydF4y2Ba“dbfs: / < checkpoint-path >”gydF4y2Ba)gydF4y2Ba
進口gydF4y2BaorggydF4y2Ba。gydF4y2BaapachegydF4y2Ba。gydF4y2Ba火花gydF4y2Ba。gydF4y2BasqlgydF4y2Ba。gydF4y2Ba流媒體gydF4y2Ba。gydF4y2Ba觸發gydF4y2Ba瓦爾gydF4y2Bastreaming_dfgydF4y2Ba=gydF4y2Ba火花gydF4y2Ba。gydF4y2BareadStreamgydF4y2Ba。gydF4y2Ba格式gydF4y2Ba(gydF4y2Ba“速度”gydF4y2Ba)。gydF4y2Ba負載gydF4y2Ba()gydF4y2Ba顯示gydF4y2Ba(gydF4y2Bastreaming_dfgydF4y2Ba。gydF4y2BagroupBygydF4y2Ba()。gydF4y2Ba數gydF4y2Ba(),gydF4y2Ba觸發gydF4y2Ba=gydF4y2Ba觸發gydF4y2Ba。gydF4y2BaProcessingTimegydF4y2Ba(gydF4y2Ba“5秒”gydF4y2Ba),gydF4y2BacheckpointLocationgydF4y2Ba=gydF4y2Ba“dbfs: / < checkpoint-path >”gydF4y2Ba)gydF4y2Ba
關於這些參數的更多信息,請參閱gydF4y2Ba開始流查詢gydF4y2Ba。gydF4y2Ba
displayHTMLgydF4y2Ba函數gydF4y2Ba
磚的編程語言的筆記本(Python, R, Scala)支持HTML圖形使用gydF4y2BadisplayHTMLgydF4y2Ba函數;您可以通過函數的任何HTML、CSS或JavaScript代碼。這個函數支持交互式圖形使用JavaScript庫(如D3。gydF4y2Ba
使用的例子gydF4y2BadisplayHTMLgydF4y2Ba,請參閱:gydF4y2Ba
請注意gydF4y2Ba
的gydF4y2BadisplayHTMLgydF4y2Baiframe是服務的領域gydF4y2Badatabricksusercontent.comgydF4y2Ba和iframe沙箱包括gydF4y2Baallow-same-origingydF4y2Ba屬性。gydF4y2Badatabricksusercontent.comgydF4y2Ba必須從瀏覽器訪問。如果現在被你的公司網絡,它必須被添加到一個允許列表。gydF4y2Ba
圖片gydF4y2Ba
列包含圖像數據類型呈現HTML一樣富有。磚試圖呈現圖像的縮略圖gydF4y2BaDataFramegydF4y2Ba列匹配的火花gydF4y2BaImageSchemagydF4y2Ba。適用於任何圖片縮略圖呈現在通過成功地閱讀gydF4y2Baspark.read.format('圖像')gydF4y2Ba函數。圖像值的生成通過其他手段,磚支持渲染的1、3或4通道圖像(每個通道由一個字節),以下約束:gydF4y2Ba
一個通道的圖像gydF4y2Ba:gydF4y2Ba
模式gydF4y2Ba字段必須是0。gydF4y2Ba高度gydF4y2Ba,gydF4y2Ba寬度gydF4y2Ba,gydF4y2BanChannelsgydF4y2Ba字段必須準確地描述的二進製圖像數據gydF4y2Ba數據gydF4y2Ba字段。gydF4y2Ba三通道的圖片gydF4y2Ba:gydF4y2Ba
模式gydF4y2Ba字段必須等於16。gydF4y2Ba高度gydF4y2Ba,gydF4y2Ba寬度gydF4y2Ba,gydF4y2BanChannelsgydF4y2Ba字段必須準確地描述的二進製圖像數據gydF4y2Ba數據gydF4y2Ba字段。的gydF4y2Ba數據gydF4y2Ba在三個字節的字段必須包含像素數據塊,與頻道排序gydF4y2Ba(藍色、gydF4y2Ba綠色,gydF4y2Ba紅色)gydF4y2Ba對於每一個像素。gydF4y2Ba四通道圖像gydF4y2Ba:gydF4y2Ba
模式gydF4y2Ba字段必須等於24。gydF4y2Ba高度gydF4y2Ba,gydF4y2Ba寬度gydF4y2Ba,gydF4y2BanChannelsgydF4y2Ba字段必須準確地描述的二進製圖像數據gydF4y2Ba數據gydF4y2Ba字段。的gydF4y2Ba數據gydF4y2Ba4字節塊字段必須包含像素數據,該頻道排序gydF4y2Ba(藍色、gydF4y2Ba綠色,gydF4y2Ba紅色,gydF4y2Baα)gydF4y2Ba對於每一個像素。gydF4y2Ba
例子gydF4y2Ba
假設你有一個文件夾,其中包含一些圖片:gydF4y2Ba
如果你讀圖像到一個DataFrame然後顯示DataFrame,磚呈現圖像的縮略圖:gydF4y2Ba
image_dfgydF4y2Ba=gydF4y2Ba火花gydF4y2Ba。gydF4y2Ba讀gydF4y2Ba。gydF4y2Ba格式gydF4y2Ba(gydF4y2Ba“圖像”gydF4y2Ba)gydF4y2Ba。gydF4y2Ba負載gydF4y2Ba(gydF4y2Basample_img_dirgydF4y2Ba)gydF4y2Ba顯示gydF4y2Ba(gydF4y2Baimage_dfgydF4y2Ba)gydF4y2Ba
在Python中可視化gydF4y2Ba
在本節中:gydF4y2Ba
SeaborngydF4y2Ba
您還可以使用其他Python庫生成的陰謀。磚運行時包含了gydF4y2BaseaborngydF4y2Ba可視化的圖書館。創建一個seaborn情節,導入庫,創建一個情節,並通過情節的gydF4y2Ba顯示gydF4y2Ba函數。gydF4y2Ba
進口gydF4y2BaseaborngydF4y2Ba作為gydF4y2BasnsgydF4y2BasnsgydF4y2Ba。gydF4y2Ba集gydF4y2Ba(gydF4y2Ba風格gydF4y2Ba=gydF4y2Ba“白色”gydF4y2Ba)gydF4y2BadfgydF4y2Ba=gydF4y2BasnsgydF4y2Ba。gydF4y2Baload_datasetgydF4y2Ba(gydF4y2Ba“愛麗絲”gydF4y2Ba)gydF4y2BaggydF4y2Ba=gydF4y2BasnsgydF4y2Ba。gydF4y2BaPairGridgydF4y2Ba(gydF4y2BadfgydF4y2Ba,gydF4y2Badiag_shareygydF4y2Ba=gydF4y2Ba假gydF4y2Ba)gydF4y2BaggydF4y2Ba。gydF4y2Bamap_lowergydF4y2Ba(gydF4y2BasnsgydF4y2Ba。gydF4y2BakdeplotgydF4y2Ba)gydF4y2BaggydF4y2Ba。gydF4y2Bamap_diaggydF4y2Ba(gydF4y2BasnsgydF4y2Ba。gydF4y2BakdeplotgydF4y2Ba,gydF4y2BalwgydF4y2Ba=gydF4y2Ba3gydF4y2Ba)gydF4y2BaggydF4y2Ba。gydF4y2Bamap_uppergydF4y2Ba(gydF4y2BasnsgydF4y2Ba。gydF4y2BaregplotgydF4y2Ba)gydF4y2Ba顯示gydF4y2Ba(gydF4y2BaggydF4y2Ba。gydF4y2Ba無花果gydF4y2Ba)gydF4y2Ba
在R中可視化gydF4y2Ba
在R,繪製數據使用gydF4y2Ba顯示gydF4y2Ba函數如下:gydF4y2Ba
圖書館gydF4y2Ba(gydF4y2BaSparkRgydF4y2Ba)gydF4y2Badiamonds_dfgydF4y2Ba< -gydF4y2Baread.dfgydF4y2Ba(gydF4y2Ba“/ databricks-datasets / Rdatasets /數據- 001 / csv / ggplot2 / diamonds.csv”gydF4y2Ba,gydF4y2Ba源gydF4y2Ba=gydF4y2Ba“csv”gydF4y2Ba,gydF4y2Ba頭gydF4y2Ba=gydF4y2Ba“真正的”gydF4y2Ba,gydF4y2BainferSchemagydF4y2Ba=gydF4y2Ba“真正的”gydF4y2Ba)gydF4y2Ba顯示gydF4y2Ba(gydF4y2Ba安排gydF4y2Ba(gydF4y2BagggydF4y2Ba(gydF4y2BagroupBygydF4y2Ba(gydF4y2Badiamonds_dfgydF4y2Ba,gydF4y2Ba“顏色”gydF4y2Ba),gydF4y2Ba“價格”gydF4y2Ba=gydF4y2Ba“平均”gydF4y2Ba),gydF4y2Ba“顏色”gydF4y2Ba))gydF4y2Ba
您可以使用默認的RgydF4y2Ba情節gydF4y2Ba函數。gydF4y2Ba
適合gydF4y2Ba< -gydF4y2BalmgydF4y2Ba(gydF4y2BaPetal.LengthgydF4y2Ba~gydF4y2Ba。gydF4y2Ba,gydF4y2Ba數據gydF4y2Ba=gydF4y2Ba虹膜gydF4y2Ba)gydF4y2Ba布局gydF4y2Ba(gydF4y2Ba矩陣gydF4y2Ba(gydF4y2BacgydF4y2Ba(gydF4y2Ba1gydF4y2Ba,gydF4y2Ba2gydF4y2Ba,gydF4y2Ba3gydF4y2Ba,gydF4y2Ba4gydF4y2Ba),gydF4y2Ba2gydF4y2Ba,gydF4y2Ba2gydF4y2Ba))gydF4y2Ba#可選4圖/頁麵gydF4y2Ba情節gydF4y2Ba(gydF4y2Ba適合gydF4y2Ba)gydF4y2Ba
您還可以使用任何R可視化方案。作為一個R筆記本捕獲產生的陰謀gydF4y2Ba. pnggydF4y2Ba並顯示它內聯。gydF4y2Ba
在本節中:gydF4y2Ba
晶格gydF4y2Ba
的gydF4y2Ba晶格gydF4y2Ba包支持格子graphs-graphs顯示變量或變量之間的關係,條件在一個或多個其他變量。gydF4y2Ba
圖書館gydF4y2Ba(gydF4y2Ba晶格gydF4y2Ba)gydF4y2BaxyplotgydF4y2Ba(gydF4y2Ba價格gydF4y2Ba~gydF4y2Ba克拉gydF4y2Ba|gydF4y2Ba減少gydF4y2Ba,gydF4y2Ba鑽石gydF4y2Ba,gydF4y2Ba尺度gydF4y2Ba=gydF4y2Ba列表gydF4y2Ba(gydF4y2Ba日誌gydF4y2Ba=gydF4y2Ba真正的gydF4y2Ba),gydF4y2Ba類型gydF4y2Ba=gydF4y2BacgydF4y2Ba(gydF4y2Ba“p”gydF4y2Ba,gydF4y2Ba“g”gydF4y2Ba,gydF4y2Ba“順利”gydF4y2Ba),gydF4y2BaylabgydF4y2Ba=gydF4y2Ba“日誌價格”gydF4y2Ba)gydF4y2Ba
DandEFAgydF4y2Ba
的gydF4y2BaDandEFAgydF4y2Ba包支持蒲公英的陰謀。gydF4y2Ba
install.packagesgydF4y2Ba(gydF4y2Ba“DandEFA”gydF4y2Ba,gydF4y2Ba回購gydF4y2Ba=gydF4y2Ba“https://cran.us.r-project.org”gydF4y2Ba)gydF4y2Ba圖書館gydF4y2Ba(gydF4y2BaDandEFAgydF4y2Ba)gydF4y2Ba數據gydF4y2Ba(gydF4y2Batimss2011gydF4y2Ba)gydF4y2Batimss2011gydF4y2Ba< -gydF4y2Bana.omitgydF4y2Ba(gydF4y2Batimss2011gydF4y2Ba)gydF4y2BadandpalgydF4y2Ba< -gydF4y2Ba牧師gydF4y2Ba(gydF4y2Ba彩虹gydF4y2Ba(gydF4y2BaOne hundred.gydF4y2Ba,gydF4y2Ba開始gydF4y2Ba=gydF4y2Ba0gydF4y2Ba,gydF4y2Ba結束gydF4y2Ba=gydF4y2Ba0.2gydF4y2Ba))gydF4y2BafaclgydF4y2Ba< -gydF4y2BafactloadgydF4y2Ba(gydF4y2Batimss2011gydF4y2Ba,gydF4y2BanfacgydF4y2Ba=gydF4y2Ba5gydF4y2Ba,gydF4y2Ba方法gydF4y2Ba=gydF4y2Ba“普凱投資”gydF4y2Ba,gydF4y2BacormethgydF4y2Ba=gydF4y2Ba“槍兵”gydF4y2Ba)gydF4y2Ba蒲公英gydF4y2Ba(gydF4y2BafaclgydF4y2Ba,gydF4y2Ba綁定gydF4y2Ba=gydF4y2Ba0gydF4y2Ba,gydF4y2BamcexgydF4y2Ba=gydF4y2BacgydF4y2Ba(gydF4y2Ba1gydF4y2Ba,gydF4y2Ba1.2gydF4y2Ba),gydF4y2Ba一直gydF4y2Ba=gydF4y2BadandpalgydF4y2Ba)gydF4y2BafaclgydF4y2Ba< -gydF4y2BafactloadgydF4y2Ba(gydF4y2Batimss2011gydF4y2Ba,gydF4y2BanfacgydF4y2Ba=gydF4y2Ba8gydF4y2Ba,gydF4y2Ba方法gydF4y2Ba=gydF4y2Ba“初速”gydF4y2Ba,gydF4y2BacormethgydF4y2Ba=gydF4y2Ba“皮爾森”gydF4y2Ba)gydF4y2Ba蒲公英gydF4y2Ba(gydF4y2BafaclgydF4y2Ba,gydF4y2Ba綁定gydF4y2Ba=gydF4y2Ba0gydF4y2Ba,gydF4y2BamcexgydF4y2Ba=gydF4y2BacgydF4y2Ba(gydF4y2Ba1gydF4y2Ba,gydF4y2Ba1.2gydF4y2Ba),gydF4y2Ba一直gydF4y2Ba=gydF4y2BadandpalgydF4y2Ba)gydF4y2Ba
情節gydF4y2Ba
的gydF4y2Ba情節gydF4y2BaR包依賴於gydF4y2Bahtmlwidgets RgydF4y2Ba。安裝說明和一個筆記本,看到的gydF4y2BahtmlwidgetsgydF4y2Ba。gydF4y2Ba
Scala中的可視化gydF4y2Ba
繪製數據在Scala中,使用gydF4y2Ba顯示gydF4y2Ba函數如下:gydF4y2Ba
瓦爾gydF4y2Badiamonds_dfgydF4y2Ba=gydF4y2Ba火花gydF4y2Ba。gydF4y2Ba讀gydF4y2Ba。gydF4y2Ba格式gydF4y2Ba(gydF4y2Ba“csv”gydF4y2Ba)。gydF4y2Ba選項gydF4y2Ba(gydF4y2Ba“頭”gydF4y2Ba,gydF4y2Ba“真正的”gydF4y2Ba)。gydF4y2Ba選項gydF4y2Ba(gydF4y2Ba“inferSchema”gydF4y2Ba,gydF4y2Ba“真正的”gydF4y2Ba)。gydF4y2Ba負載gydF4y2Ba(gydF4y2Ba“/ databricks-datasets / Rdatasets /數據- 001 / csv / ggplot2 / diamonds.csv”gydF4y2Ba)gydF4y2Ba顯示gydF4y2Ba(gydF4y2Badiamonds_dfgydF4y2Ba。gydF4y2BagroupBygydF4y2Ba(gydF4y2Ba“顏色”gydF4y2Ba)。gydF4y2BaavggydF4y2Ba(gydF4y2Ba“價格”gydF4y2Ba)。gydF4y2BaorderBygydF4y2Ba(gydF4y2Ba“顏色”gydF4y2Ba))gydF4y2Ba