刪除特殊字符在磚的數據

[eimis_pacheco]

嗨親愛的社區,

我公司是在遷移項目從MapR磚,我們有以下的代碼,用於在這個平台正常工作但是一旦在磚,它停止工作。Beplay体育安卓版本我注意到這是失敗與他人和這個特定的正則表達式的值隻是因為這是沒有得到任何錯誤。

錯誤是“錯誤而獲得一個新的溝通渠道”之後,我們不能繼續寫代碼和測試,碎了。

我附上截圖供參考。

進口pyspark.sql。函數作為pyfunc

df = spark.read.parquet (“/ mnt / gpdipedlstgamrasp50565 / stg_db /中級/ ODX / ODW / STUDY_REPORT /電流/數據/”)

df.count ()

df = df。withColumn (CSR_RESULTS_SUMMARY, pyfunc.regexp_replace (pyfunc.col (“CSR_RESULTS_SUMMARY”), u”([\ ud800 - \ udfff \ ufdd0 - \ ufdef \ ufffe \ uffff +])”,“))

df.show ()

非常感謝你提前。

[Kaniz · Accepted solution]

嗨@Eimis帕切科,

這意味著司機撞因為伯父(內存)例外,並且不能與司機建立一個新的連接。

請嚐試以下選項:-

• 試著增加駕駛員一側的記憶,然後重試。
• 你可以看看dag火花工作,給你更多的數據流信息。

有關更多信息,遵循這一點文章。

[Kaniz]

嗨@Eimis帕切科,我們一直沒有收到你自從我上次反應,我檢查看看我的建議幫助你。否則,如果你有任何解決方案,請與社區分享,因為它可以幫助別人。同時,請別忘了點擊“選擇最佳”按鈕時提供的信息幫助解決你的問題。