瀏覽
磚
幫助
登錄
開始使用磚
開始討論
開始資源
磚平台Beplay体育安卓版本
技術博客
磚平台的討論Beplay体育安卓版本
工程數據
機器學習
倉庫&分析
數據治理
管理和架構
學習
學習討論
培訓產品
認證
學習路徑
認證
組
地區和利益集團
美洲
亞太地區
利益集團
事件
社區灣
社區討論
社區新聞&成員認可
DouglasLinder
新的貢獻者三世
自
08-27-2021
06-26-2023
用戶數據
5
的帖子
1
解決方案
0
榮譽給
2
榮譽收到
磚
關於DouglasLinder
用戶活動
的帖子
回複
有可能通過集群配置工作在高並發性嗎?
09-21-2021
在常規集群,您可以使用:“‘spark.sparkContext._jsc.hadoopConfiguration ()。集(關鍵字,值)”“這些值然後使用hadoop在執行人配置。然而,在高並發的集群,試圖這麼做的結果……
再保險:無法保存火花Dataframe司機節點的本地文件係統為CSV文件
09-27-2021
也許別人可以回答你,但是我認為這是一個限製的火花;它不能寫dbfs外。我使用:df.toPandas () .to_csv (“/ tmp / foo.csv”)對於小文件。對於大文件,寫dbfs路徑,然後使用shell……
再保險:ModuleNotFoundError / SerializationError databricks-connect在執行
09-27-2021
@Sarosh艾哈邁德,你還沒有提供所有的細節,但問題是如此接近一個我見過過去,我相當肯定的是相同的問題。長話短說:當執行程序執行一個UDF,函數的,不管你regist……
Re:有可能通過集群配置工作在高並發性嗎?
09-27-2021
我想它隻是不支持;我希望每個用戶的hadoop配置。
Re:有可能通過集群配置工作在高並發性嗎?
09-22-2021
對不起,我沒有提到,我選擇“證書透傳”集群,將這些功能添加到集群配置:spark.databricks.passthrough。truespark.databricks.pyspark啟用。enableProcessIsolation trueIf你雷……
榮譽從
用戶
數
jose_gonzalez
1
dataslicer
1
查看所有
map