Redshiftデータアンロードフロー
ASTERIA WarpとAWSサービスを連携し、RedshiftデータをS3へ送信するフローをSQLCallコンポーネントで作成しました。
フローは単純で1つのSQLCallコンポーネントで済みます
・Redshiftの特定テーブルの内容をS3へ送信するには、UNLOADコマンドを使用
※Redshiftにはselect ステートメントの結果をノードスライスごとに 1 つ以上のファイルが作成される
・S3上に1つのファイルにまとめて出力したい場合は、PARALLEL OFFオブションを追加する
・DELIMITERでカンマを指定したので、カンマ区切りのデータに出力される
・DELIMITERを指定しない場合は、パイプ区切りデータになる
・UNLOADコマンドの構文は以下画像にご参照ください。
実行結果
*********************************************
RedshiftCopyTableフロー
RedshiftCopyTableコンポーネントで新規テーブルを作成し、既存テーブルのデータをコーピするフローを作成しました。
・RedshiftCopyTableのSQLビルダーの設定は以下画像にご参照ください。
・コピー元のスキーマ名にpublicを設定
・コピー元のテーブル名にproductを指定
・コピー先のテーブル名にproductcopytableを設定
・データ分散の方法にALLを設定
実行結果
