嗨,團隊,
我奇怪的錯誤連接到雪花時我的工作之一。我所有的其他工作(我有很多)。
目前一個也沒問題,當我隻有一個編碼步驟(除了安裝在我的第一步需要的庫)。
錯誤當我有更多的步驟出現在相同的工作:
1)安裝需要的庫(在這兩種情況下,這種方式工作得很好)
pip安裝numpy xgboost > = 1.3.2 category-encoders feature-engine = = 0.6.1雪花。sqlalchemy eventlet pyarrow = = 0.17.0 asn1crypto = = 1.4.0 auditwheel = = 3.1.1 azure-common = = 1.1.25 azure-core = = 1.8.2 azure-storage-blob = = 12.5.0 boto3 = = 1.15.18 botocore = = 1.18.18 certifi = = 2020.4.5.1 cffi = = 1.14.3 chardet = = 3.0.4密碼學= = 2.9.2 idna isodate = = = = 2.10 0.6.0 jmespath = = 0.10.0 msr = = 0.6.19 oauthlib = = 3.1.0 oscrypto pycparser pycryptodomex = = = = 2.20 3.9.8 pyelftools PyJWT = = = = 0.26 1.7.1上pyOpenSSL = = 19.1.0 python-dateutil = = 2.8.1發布pytz = = = = 2020.1請求2.23.0 requests-oauthlib s3transfer = = 0.3.3 1.3.0 = =版本6 = = 1.15.0 urllib3 = = 1.25.11 snowflake-connector-python = = 2.3.10
(我猜我可以安裝這些庫一次配置,所以我不把時間浪費在每個工作運行,但這是相當次要問題)
2)從postgres成熊貓dataframe獲取數據
# !/usr/bin/env python3進口psycopg2 pg pandas.io進口。psql pass1作為= dbutils.secrets sql。get(“龐然大物”,“prod_pass”) conn1 = pg.connect(“主機= host1 dbname = db1用戶= user1密碼= " + pass1作為)query1 = " "選擇column1 column2從表1”“df1 = psql。read_sql (query1 conn1)打印(“df1:”)打印(df1)
(在這兩種情況下工作正常)
3)熊貓dataframe存儲到雪花表使用python連接器
從進口create_engine sqlalchemy雪花。sqlalchemy進口URL引擎= create_engine (URL(帳戶=“my_account_name”,用戶= dbutils.secrets。get(“雪花”,“snowflakeusr”),密碼= dbutils.secrets。get(“雪花”,“snowflakepwd”),數據庫=“database1”模式=代碼基於schema1中,倉庫=“warehouse1”=“role1的角色”的角色,login_timeout = 120, df1 network_timeout = 120))。to_sql (“tmp_df1”,反對=引擎,指數= False, if_exists = '代替')
(在這兩種情況下也沒問題)
4)循環雪花表——這一步失敗如果我有(2)和(3)在相同的工作,但工作正常(2)和(3)步驟是否缺席
進口要求進口eventlet導入時間導入雪花。連接器進口json time . sleep (2) eventlet.monkey_patch()嚐試:ctx = snowflake.connector。(用戶= dbutils.secrets連接。get(“雪花”,“snowflakeusr”),密碼= dbutils.secrets。get(“雪花”,“snowflakepwd”),賬戶=“account1”,倉庫=“warehouse1”=“database1”數據庫,模式=“代碼基於schema1中”,角色=“role1的角色”,login_timeout = 120, network_timeout = 120) c = ctx.cursor ()……除了例外錯誤:提高異常(“錯誤從雪花抓取數據:”+ str(錯誤))最後:cs.close () ctx.close ()
不能在10號線錯誤:
487試:- - > 488 cnx.do_handshake除了OpenSSL.SSL(489年)。WantReadError:…- - - > 98 poll_obj = select.poll () AttributeError:模塊的選擇沒有屬性“民意調查”
不幸的是我不能完全錯誤堆棧的職位,因為你的論壇抱怨我的帖子太長了。
請參閱pastebin的全部細節:
https://pastebin.com/VKwZ1ek4
作為一個解決方案,我隻運行兩個獨立的工作:
但我希望我可以把那些與你的幫助。
請建議。
