使用Databricks查詢Amazon Redshift

S3和Redshift鑒權

數據源涉及多個網絡連接，如下圖所示:

┌───────┐┌───────────────────> S3││<─────────────────┐│我或鍵└───────┘我或鍵││^││││我或鍵v v┌──────v────┐┌────────────┐┌───────────┐│┌──────────┴┐│紅移││火花│││火花│││<──────────>司機││<────────> |執行人│└────────────┘└───────────┘└───────────┘JDBC與配置用戶名/密碼火花(默認啟用SSL)

數據源在向Redshift傳輸數據時，對S3進行讀寫操作。因此，它要求AWS憑據具有對S3桶的讀寫訪問權限(使用tempdir配置參數)。

以下部分描述了每個連接的身份驗證配置選項:

加密

• 確保JDBC:除非JDBC URL中有任何與SSL相關的設置，否則數據源默認情況下啟用SSL加密，並驗證Redshift服務器是否可信(即，sslmode = verify-full)．為此，在第一次需要服務器證書時，會自動從Amazon服務器下載服務器證書。如果失敗，則使用預綁定的證書文件作為備用。這對Redshift和PostgreSQL JDBC驅動程序都適用。引入了自動SSL配置2.1.1-db4集群映像(不支持)；早期版本不自動配置SSL，並使用默認的JDBC驅動程序配置(禁用SSL)。

  如果這個特性有任何問題，或者您隻是想禁用SSL，您可以調用.option(“autoenablessl”,“假”)在你的DataFrameReaderorgydF4y2BaDataFrameWriter．

  如果你想指定自定義ssl相關設置，你可以遵循Redshift文檔中的說明:在Java中使用SSL和服務器證書而且JDBC驅動程序配置選項JDBC中出現的任何與ssl相關的選項url與數據源一起使用優先級(也就是說，不會觸發自動配置)。

• 加密存儲在S3中的UNLOAD數據(從Redshift讀取時存儲的數據):根據紅移文檔卸載數據到S3， UNLOAD使用Amazon S3服務器端加密(SSE-S3)自動加密數據文件。

  Redshift還支持使用自定義密鑰的客戶端加密(參見:卸載加密數據文件)，但數據源缺乏指定所需對稱密鑰的能力。

• 加密存儲在S3中的COPY數據(寫入Redshift時存儲的數據):根據紅移文檔從Amazon S3加載加密數據文件：

您可以使用複製命令加載使用aws管理的加密密鑰(SSE-S3或SSE-KMS)的服務器端加密、客戶端加密或兩者同時使用的上傳到Amazon S3的數據文件。COPY不支持使用客戶提供的密鑰(SSE-C)的Amazon S3服務器端加密。

要使用此功能，請配置要使用的Hadoop S3文件係統Amazon S3加密．這將不會加密清單包含寫入的所有文件列表的文件。

參數

Spark SQL提供的參數map或OPTIONS支持以下設置:

jdbc: subprotocol: / / <主機>:<端口> /數據庫?用戶= <用戶名>密碼= <密碼>

配置字符串列的最大大小

當創建紅移表時，默認的行為是創建文本列用於字符串列。紅移的商店文本列如VARCHAR (256)，因此這些列的最大長度為256個字符(源)．

要支持更大的列，可以使用最大長度列元數據字段指定單個字符串列的最大長度。通過聲明最大長度小於默認值的列，這對於實現節省空間的性能優化也很有用。

df＝.．.#你要寫入Redshift的數據幀#指定每個列的自定義寬度columnLengthMap＝｛“language_code”：2，“country_code”：2，“url”：2083，｝#應用每個列元數據定製為（colName，長度）在columnLengthMap．iteritems():元數據＝｛最大長度的：長度｝df＝df．withColumn（colName，df［colName］．別名（colName，元數據＝元數據）)df．寫＼．格式（“com.databricks.spark.redshift”）＼．選項（“url”，jdbcURL）＼．選項（“tempdir”，s3TempDirectory）＼．選項（“數據表”，sessionTable）＼．保存（）

進口org．apache．火花．sql．類型．MetadataBuilder//指定每個列的自定義寬度瓦爾columnLengthMap＝地圖（“language_code”->2，“country_code”->2，“url”->2083）vardf＝.．.//你想要寫入Redshift的數據幀//應用每個列元數據自定義columnLengthMap．foreach｛情況下（colName，長度）= >瓦爾元數據＝新MetadataBuilder()。putLong（“最大長度”，長度)．構建（）df＝df．withColumn（colName，df（colName)．作為（colName，元數據）)｝df．寫．格式（“com.databricks.spark.redshift”）．選項（“url”，jdbcURL）．選項（“tempdir”，s3TempDirectory）．選項（“數據表”，sessionTable）．保存（）

設置自定義列類型

如果需要手動設置列類型，可以使用redshift_type列元數據。例如，如果您希望重寫火花SQL模式->紅移SQL類型匹配器來分配用戶定義的列類型，您可以執行以下操作:

#指定每個列的自定義類型columnTypeMap＝｛“language_code”：“CHAR(2)”，“country_code”：“CHAR(2)”，“url”：“BPCHAR(111)”，｝df＝.．.#你要寫入Redshift的數據幀#應用每個列元數據定製為（colName，colType）在columnTypeMap．iteritems():元數據＝｛“redshift_type”：colType｝df＝df．withColumn（colName，df［colName］．別名（colName，元數據＝元數據）)

進口org．apache．火花．sql．類型．MetadataBuilder//指定每個列的自定義類型瓦爾columnTypeMap＝地圖（“language_code”->“CHAR(2)”，“country_code”->“CHAR(2)”，“url”->“BPCHAR(111)”）vardf＝.．.//你想要寫入Redshift的數據幀//應用每個列元數據自定義columnTypeMap．foreach｛情況下（colName，colType）= >瓦爾元數據＝新MetadataBuilder()。putString（“redshift_type”，colType)．構建（）df＝df．withColumn（colName，df（colName)．作為（colName，元數據）)｝

配置列編碼

創建表時，使用編碼列元數據字段指定每個列的壓縮編碼(參見亞馬遜文檔有關可用的編碼)。

在列上設置描述

Redshift允許列附加描述，這些描述應該顯示在大多數查詢工具中(使用評論命令)。您可以設置描述列元數據字段，為各個列指定描述。

查詢下推到Redshift

Spark優化器將以下操作符下推到Redshift:

• 過濾器

• 項目

• 排序

• 限製

• 聚合

• 加入

在項目而且過濾器，它支持以下表達式:

• 大多數布爾邏輯運算符

• 比較

• 基本算術運算

• 數值類型轉換和字符串類型轉換

• 大多數字符串函數

• 標量子查詢，如果它們可以完全下推到Redshift。

在聚合，支持以下聚合功能:

• AVG

• 數

• 馬克斯

• 最小值

• 總和

• STDDEV_SAMP

• STDDEV_POP

• VAR_SAMP

• VAR_POP

結合截然不同的條款，如適用。

在加入，它支持以下類型的連接:

• 內心的加入

• 左外加入

• 正確的外加入

• 左半加入

• 左反加入

• 重寫的子查詢加入由優化器。在哪裏存在，在哪裏不存在

的查詢中，下推可能是最有用的限製．查詢如下選擇＊從large_redshift_table限製10可能需要很長時間，因為整個表將首先作為中間結果卸載到S3。有了下推限製在Redshift中執行。在使用聚合的查詢中，將聚合下推到Redshift也有助於減少需要傳輸的數據量。

默認情況下，查詢下推到Redshift是啟用的。它可以通過設置禁用spark.databricks.redshift.pushdown來假．即使在禁用時，Spark仍然向下推過濾器並執行列消除到Redshift。

關於Redshift和S3屬性的一般背景知識

有關Redshift事務保證的一般信息，請參見管理並發寫操作紅移文檔中的一章。簡而言之，Redshift提供了可序列化的隔離根據紅移的文檔開始命令:

[雖然]您可以使用四種事務隔離級別中的任何一種，但Amazon Redshift將所有隔離級別處理為可序列化的。

根據紅移的文檔：

Amazon Redshift支持默認值自動提交行為，其中每個單獨執行的SQL命令分別提交。

因此，單個命令像複製而且卸載是原子的和事務性的，而顯式的開始而且結束應該隻在強製多個命令或查詢的原子性時才需要。

在對Redshift進行讀寫時，數據源對S3中的數據進行讀寫。Spark和Redshift都生成分區輸出，並將其存儲在S3中的多個文件中。根據Amazon S3數據一致性模型在文檔中，S3桶列表操作是最終一致的，因此文件必須使用特殊的長度來避免由於最終一致性的來源而導致的數據丟失或不完整。

Spark的Redshift數據源保證

S3桶和Redshift集群在不同的AWS區域

S3桶和Redshift集群在不同AWS區域時，默認情況下，S3 <-> Redshift副本不生效。

當S3桶在不同的區域時，如果你試圖讀取Redshift表，你可能會看到如下錯誤:

ERROR: S3ServiceException:查詢所尋的S3桶位於與此集群不同的區域。，狀態301，錯誤PermanentRedirect。

類似地，嚐試使用不同區域的S3桶寫入Redshift可能會導致以下錯誤:

錯誤:問題讀取清單文件- S3ServiceException:查詢所尋的S3桶與該集群在不同的區域。，狀態301，錯誤PermanentRedirect

• 寫道:紅移複製命令支持S3桶區域的顯式規範，所以在這些情況下，您可以通過添加地區“the-region-name”到extracopyoptions設置。例如，對於美國東部(弗吉尼亞)地區的桶和Scala API，使用:

  ．選項（“extracopyoptions”，“地區us-east-1”）

  也可以使用awsregion設置:

  ．選項（“awsregion”，“us-east-1”）

• 寫著:紅移卸載命令還支持顯式指定S3桶區域。中添加區域，可以使讀取正常工作awsregion設置:

  ．選項（“awsregion”，“us-east-1”）

當您使用實例概要文件對S3進行身份驗證時，意外的S3ServiceException憑據錯誤

如果你正在使用實例配置文件向S3進行身份驗證並接收一個意外的消息S3ServiceException錯誤，檢查AWS訪問鍵是否在tempdirS3 URI，在Hadoop配置中，或在任何由DefaultAWSCredentialsProviderChain:這些源優先於實例配置文件憑證。

下麵是一個示例錯誤消息，可能是鍵意外優先於實例配置文件的症狀:

com.amazonaws.services.s3.model。一個mazonS3Exception: The AWS Access Key Id you provided does not exist in our records. (Service: Amazon S3; Status Code: 403; Error Code: InvalidAccessKeyId;

在JDBC url中使用帶有特殊字符的密碼時出現身份驗證錯誤

如果您將用戶名和密碼作為JDBC url的一部分提供，並且密碼包含特殊字符，例如；，?,或＆，您可能會看到以下異常:

java.sql.SQLException: [Amazon](500310)操作無效:用戶'xyz'的密碼驗證失敗。

這是由於JDBC驅動程序沒有正確轉義用戶名或密碼中的特殊字符造成的。確保使用相應的DataFrame選項指定用戶名和密碼用戶而且密碼．有關更多信息，請參見參數．

長時間運行的Spark查詢無限期掛起，即使相應的Redshift操作已經完成

如果你正在從Redshift和向Redshift讀寫大量數據，你的Spark查詢可能會無限期掛起，即使AWS Redshift監控頁麵顯示相應的負載orgydF4y2Ba卸載操作已完成，集群處於空閑狀態。這是由紅移和火花超時之間的聯係造成的。為了避免這種情況，請確保tcpKeepAliveJDBC標誌已啟用，並且TCPKeepAliveMinutes設置為較低的值(例如，1)。

有關其他信息，請參見Amazon Redshift JDBC驅動程序配置．

帶有時區語義的時間戳

讀取數據時，兩者都紅移時間戳而且TIMESTAMPTZ數據類型映射到SparkTimestampType，將值轉換為UTC (Coordinated Universal Time)，並存儲為UTC時間戳。對於紅移時間戳，則假設該值不包含任何時區信息，即為本地時區。當向Redshift表寫入數據時，SparkTimestampType映射到紅移時間戳數據類型。