你好所有的,
我已經經曆下麵描述的錯誤,我想查詢一個表從雪花約~ 5.5 b行~ 30列,幾乎沒有係統地;具體來說,火花甚至不開始工作或我得到下麵的標準誤差。
我知道我可以查詢類似大小的數據集,因為我過去做過不同的項目(大得多的數據),但這是Azure的磚,不是GCP磚。
我的設置如下:
- 磚運行時10.4 lts
- 2 - 6 n1 -標準- 64工人(自動定量),這些都是240 gb, 64芯
- n1 -標準- 64驅動程序
我試著什麼:
- 發現這個GitHub線程建議降低雪花連接器,所以試著磚9.1運行時,它仍然不工作,給了我同樣的錯誤
- 嚐試其他最近的運行時:也行不通
- 唯一的工作是選擇幾列,隻有保持~ 22日至23日,而不是30日,查詢瀏覽(我相信我不應該有這樣的問題)
- 查詢運行時完全可以直接運行在雪花
下麵是標準錯誤從集群:
Py4JJavaError回溯(去年)最近調用<命令- 3149904745081202 > <模塊> 10打印(df_trx_with_dept.columns) 11打印(“開始寫trx_with_dept數據與再分配”)- - - > 12 df_trx_with_dept.write.format .mode(“鋪”)(“覆蓋”)。保存(13“gs: / / crs-tenant147 / ds /數據/ pre_processed / 20220630 _transaction_detailed_with_dept_filtered_052021_052022。拚花“14)/磚/火花/ python / pyspark / sql /讀寫。py保存(自我、路徑、格式、模式、partitionBy、* *選項)738年self._jwrite.save(739年)其他:- - > 740年self._jwrite.save(路徑)741 742 @since(1.4) /磚/火花/ python / lib / py4j-0.10.9.1-src.zip / py4j / java_gateway。py __call__(自我,* args) 1302 1303回答= self.gateway_client.send_command(命令)- > 1304 return_value = get_return_value(1305回答,自我。gateway_client,自我。target_id self.name) 1306 /磚/火花/ python / pyspark / sql /跑龍套。py在德科(*,* *千瓦)115年def德科(*,* *千瓦):116試:- - > 117返回f(*, * *千瓦)118 py4j.protocol除外。Py4JJavaError e: 119轉換= convert_exception (e.java_exception) /磚/火花/ python / lib / py4j-0.10.9.1-src.zip / py4j /協議。py get_return_value(答案,gateway_client target_id,名字)324價值= OUTPUT_CONVERTER[型](回答[2],gateway_client) 325如果回答[1]= = REFERENCE_TYPE: - - > 326提高Py4JJavaError(327”時發生一個錯誤調用{0}{1}{2}。\ n”。328格式(target_id”。“,name), value) Py4JJavaError: An error occurred while calling o726.save. : net.snowflake.client.jdbc.SnowflakeSQLException: JDBC driver encountered communication error. Message: Exception encountered when executing statement: Premature end of chunk coded message body: closing chunk expected. at net.snowflake.client.jdbc.SnowflakeStatementV1.executeQueryInternal(SnowflakeStatementV1.java:245) at net.snowflake.client.jdbc.SnowflakePreparedStatementV1.executeQuery(SnowflakePreparedStatementV1.java:117) at net.snowflake.spark.snowflake.JDBCWrapper.$anonfun$executePreparedQueryInterruptibly$1(SnowflakeJDBCWrapper.scala:330) at net.snowflake.spark.snowflake.JDBCWrapper.$anonfun$executeInterruptibly$2(SnowflakeJDBCWrapper.scala:368) at scala.concurrent.Future$.$anonfun$apply$1(Future.scala:659) at scala.util.Success.$anonfun$map$1(Try.scala:255) at scala.util.Success.map(Try.scala:213) at scala.concurrent.Future.$anonfun$map$1(Future.scala:292) at scala.concurrent.impl.Promise.liftedTree1$1(Promise.scala:33) at scala.concurrent.impl.Promise.$anonfun$transform$1(Promise.scala:33) at scala.concurrent.impl.CallbackRunnable.run(Promise.scala:64) at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149) at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624) at java.lang.Thread.run(Thread.java:748)
謝謝你的幫助!
