我使用磚連接到跟一個集群在Azure上。時一個依靠dataframe有時我得到這個錯誤消息。一旦我得到一次我似乎不能夠擺脫它即使我重啟我的開發環境。
- - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - IllegalArgumentException回溯(去年)最近調用c: \ git \ cap-mlv \ \ tmp_lookup_table筆記本。ipynb細胞13”<模塊> - - - - - > 1打印(lookup_table_new.count())文件~ \ AppData \本地\連續\ anaconda3 \ env \ dbconnect \ lib \網站\ pyspark \ sql \ dataframe。py: 670年DataFrame.count(自我)660 def計數(自我):661”“”返回的行數:類:“DataFrame”。662 663 . .1.3.0 versionadded:版本(…)668 670 669”“”- - >返回int (self._jdf.count())文件~ \ AppData \本地\連續\ anaconda3 \ env \ dbconnect \ lib \網站\ py4j \ java_gateway。py: 1304年JavaMember。__call__(自我,* args) 1298命令=原型。CALL_COMMAND_NAME + 1300 \ 1299 self.command_header + \ args_command + \ 1301原型。END_COMMAND_PART 1303回答= self.gateway_client.send_command(命令)- > 1304 return_value = get_return_value(1305回答,自我。gateway_client,自我。target_id self.name) 1307年在temp_args temp_arg: 1308 temp_arg._detach()文件~ \ AppData \本地\連續\ anaconda3 \ env \ dbconnect \ lib \網站\ pyspark \ sql \跑龍套。py: 123,在capture_sql_exception。<當地人> .deco(*, * *千瓦)119轉換= convert_exception (e.java_exception) 120如果不是isinstance(轉換,UnknownException): 121 #隱藏除了來自哪裏顯示non-Pythonic 122 # JVM異常消息。其他- - > 123年籌集124從沒有轉換:125提高IllegalArgumentException:需求失敗:結果RPC一些(c4a9d516 - 8 a33 - 4574 - bf03 b3403c5d1b45)丟失,請重新嚐試。
使用運行時9.1 LTS磚。
我怎麼能進一步縮小問題?
嗨@Johan雷克斯我們檢查磚連接的團隊,這個問題可能發生在庫太大上傳,
磚建議你使用dbx由磚實驗室為當地的發展而不是磚連接。磚不計劃新功能開發的磚連接。還要留意的限製磚的連接。
https://docs.www.eheci.com/dev-tools/databricks-connect.html