まったり技術ブログ

Technology is power.

FlameScopeを使ってJavaアプリのパフォーマンス可視化

f:id:motikan2010:20180422143449p:plain

 今回はNetFlixが開発したOSSである「FlameScope』を利用して、Javaアプリケーションのパフォーマンスの可視化をしてみます。
 最終的には上記画像のように、一定期間のCPU利用割合をメソッド単位で表示させてみます。
これを利用することで、どのメソッドがボトルネックになっているのかを特定することが確認することができます。

github.com

続きを読む

【※修正済み】【Embulk】MySQL から Redshift へのレコードコピーで「改行&タブが消える」

f:id:motikan2010:20180407203434p:plain
 まず、MySQLからRedshiftへのコピーなんて「Amazon Data Pipeline」を利用しろよと思われますが、そんなお金はない(※調べてみるとクソ安かった)。

 なので、Embulkを利用して MySQLに格納されているデータをRedshiftへコピーしてみました。
そしてタイトル通り『文字行文字(\r\n)・タブ文字(\t)が消える』のような現象が起きました・・・。

各バージョン
  • embulk (0.9.4 java)
  • embulk-output-redshift (0.8.0)

まずはその事象を実際に確認してみます。

続きを読む

【embulk-input-redshift】大量データでエラーが発生したのでメモ

f:id:motikan2010:20180401005113j:plain
   最近、Embulkを使い始めましたが、想像していたよりも便利でした。データ量によってはエラーも発生するみたいでしたので、メモ程度に書き留めておく。

github.com

 Redshift上のデータをCSVファイルとして保存したり、その逆で、CSVファイルに記載されてるデータをRedshift上に保存したり(CREATE TABLE文も自動生成)可能。

 その便利さ故に、業務でも利用することになりましたが、Redshift上のデータ量が多いことが原因で発生したエラーがありましたので記載してきます。

 下記の設定で作成されたRedshiftインスタンスを使用した場合に発生したエラーの解決策を記述していきます。  結論から言いますと、どちらのエラーもMulti Node(ノード数を複数) でインスタンスを作成すれば解決できました。(貧乏人には辛い・・・)

利用していたRedshiftインスタンス情報
クラスタータイプ Single Node(ノード数:1)
ノードタイプ dc2.large
各バージョン
  • embulk (0.9.4 java)
  • embulk-input-redshift (0.9.1)

github.com

ケース 1 - FETCHの最大サイズを超えている

エラー内容

org.embulk.exec.PartialExecutionException: java.lang.RuntimeException: org.postgresql.util.PSQLException: ERROR: Fetch size 10000 exceeds the limit of 1000 for a single node configuration. Reduce the client fetch/cache size or upgrade to a multi node installation.

FETCH - Amazon Redshift

解決策

 embulk-input-redshift にはfetchサイズを設定するfetch_rowsオプションが存在しているので、「1000」を指定すればエラーは発生しなくなります。

in:
  type: redshift
  host: XXXXX.YYYYY.ap-northeast-1.redshift.amazonaws.com
  user: root
  password: "XXXXXX"
  database: sampledb
  fetch_rows: 1000
  table: users
  select: "*"

ケース 2 - DECLAREの上限

 こちらは取得対象であるテーブルに格納されているデータ容量が大きい場合に発生します。(dc2.large - ノード数 1 の場合は8,000MB)

エラー内容

org.embulk.exec.PartialExecutionException: java.lang.RuntimeException: org.postgresql.util.PSQLException: ERROR: exceeded the maximum size allowed for the total set of cursor data: 8000MB.

DECLARE - Amazon Redshift

解決策

  • 今のところノード数を増やす方法しかなさそう・・・。
    上記リンクの情報通り、ノード数を2にしたらエラーは発生しなくなった。

XSSI(Cross-Site Script Inclusion)攻撃とは

f:id:motikan2010:20180303225303p:plain
 今回はWebセキュリティのお話です。
とある機会にXSSI(Cross-Site Script Inclusion : クロスサイト・スクリプト・インクルージョン)攻撃というワードが話に出てきて、その攻撃が正直分からず困惑してしまったので、その攻撃について調べてみました。

 結論としては「Same-Origin Policy制限外のJSONPなどから、機密情報を外部ドメインから取得する攻撃」です。
 サンプルアプリケーションを用いて実際に動作を見て攻撃を確認していきます。

続きを読む

Burp Suite拡張プラグイン作成入門 その4 - リクエスト送信 編

f:id:motikan2010:20180225073424p:plain
 今回は拡張プラグイン内からリクエストを送信し、レスポンス内容の表示までできるようにします。
具体的には、プロキシ等でキャプチャしたIHttpRequestResponseクラス内に定義されているリクエストを再送します。

完成物

f:id:motikan2010:20180225073435p:plain
 機能としては、送信ボタンを押下すると、Enableにチェックが付いているリクエストが上から順に送信されるようになっています。
 送信したリクエストと受信したレスポンスは、右部分のテキストエリアに表示されるようになっています。

続きを読む