まったり技術ブログ

Webエンジニアのセキュリティブログ

Embulk

【※修正済み】【Embulk】MySQL から Redshift へのレコードコピーで「改行&タブが消える」

まず、MySQLからRedshiftへのコピーなんて「Amazon Data Pipeline」を利用しろよと思われますが、そんなお金はない(※調べてみるとクソ安かった)。 なので、Embulkを利用して MySQLに格納されているデータをRedshiftへコピーしてみました。 そしてタイトル…

【embulk-input-redshift】大量データでエラーが発生したのでメモ

はじめに 検証環境 Redshift Embulk 検証 ケース① FETCHの最大サイズを超過 エラー内容 解決策 ケース② DECLAREの上限 エラー内容 解決策 はじめに 最近、Embulkを使い始めましたが、想像していたよりも便利でした。 データ量によってはエラーも発生するみた…