瀏覽
磚
幫助
登錄
開始使用磚
開始討論
開始資源
磚平台Beplay体育安卓版本
技術博客
磚平台的討論Beplay体育安卓版本
工程數據
機器學習
倉庫&分析
數據治理
管理和架構
學習
學習討論
培訓產品
認證
學習路徑
認證
組
地區和利益集團
美洲
亞太地區
利益集團
事件
社區灣
社區討論
社區新聞&成員認可
pjp94
貢獻者
自
11-30-2021
07-05-2023
用戶數據
16
的帖子
0
解決方案
2
榮譽給
8
榮譽收到
查看所有徽章
磚
關於pjp94
用戶活動
的帖子
回複
在多個節點上運行threadpool
07-05-2023
我跑一個雙重多進程和多線程解決方案之前在python中使用多處理和並發期貨python模塊。然而,由於多處理模塊隻有司機節點上運行,我必須用sc.parallelize……
數據庫連接失敗
01-06-2023
出於某種原因,我和dbconnect失敗沒能解決問題。我是連接到一個企業服務器。我收到了下麵的錯誤(我相信)現在都解決了。我定義了PYSPARK_DRIVER_PYTHON和PYSPARK_PYTHON v……
調用一個python函數(def)磚
12-05-2022
不知道我缺少一些東西,但運行一個任務之外的python函數運行更快比在一個函數執行相同的任務。有什麼我錯過火花如何處理功能?1)def任務(x): y = dostuf……
錯誤——遠程RPC客戶端沒有關聯。可能由於容器超過閾值,或網絡問題。檢查驅動程序日誌來警告消息。
09-19-2022
我得到以下錯誤當試圖運行多線程末期——失敗。我猜這是有關內存/工人配置。我見過一些解決方案涉及修改的工人數量或CPU在集群上——然而,n…
DBFS和三角洲湖之間的區別嗎?
01-28-2022
想潛水/更深層次的解釋不同。當我寫一個表下麵的代碼:spark_df.write.mode .saveAsTable(“覆蓋”)(“db.table”)創建的表和數據中可以查看選項卡。它還可以發現在一些DBF……
查看更多
Re:調用python函數(def)磚
12-05-2022
確定。函數查詢外部數據庫(jdbc)以及三角洲表。我不執行任何昂貴的計算——隻是過濾大部分。印刷的時間戳函數時,我注意到,大多數的時間都用在……
再保險:錯誤——遠程RPC客戶端沒有關聯。可能由於容器超過閾值,或網絡問題。檢查驅動程序日誌來警告消息。
09-19-2022
因為我沒有權限改變集群配置,唯一的解決方案,最終的工作是設置一個最大線程數到一半的實際最大所以我不超載的容器。然而,打開其他優化的想法!
再保險:DBFS和三角洲湖之間的區別嗎?
02-01-2022
嗨@Werner Stinckens,這正是我在尋找的。謝謝! 1)跟進的問題,你需要設置一個對象存儲連接數據磚(即水平。S3 bucket或Azure Blob) ?2)外部ob / mnt路徑中的所有文件夾都……
再保險:Databrick -筆記本電腦執行的工作
12-09-2021
謝謝你的澄清…找不到這個地方嗎
再保險:Pyspark vs熊貓
12-01-2021
謝謝澄清所有的你……可以幫助很多。不幸的是,我在一個組織集群所以我不能升級或有權限創建一個新的集群所以將考拉pyspark.pandas作為替代。
查看更多
榮譽從
用戶
數
Kaniz
1
蘇
1
Vivek_12
1
harsh29997
1
Hubert_Dudek1
3
查看所有
榮譽給
用戶
數
werners1
2
查看所有
map