🐷

Storage Transfer ServiceでCloud Monitoringしてみた

2023/08/15に公開

Google Cloud

Cloud Monitoring

tech

はじめに

こんにちは、クラウドエースの浦谷です。

クラウドエースの IT エンジニアリングを担うシステム開発部の中で、特にデータ基盤構築・分析基盤構築からデータ分析までを含む一貫したデータ課題の解決を専門とするのがデータ ML ディビジョンです。

データML ディビジョンでは活動の一環として、毎週 Google Cloud の新規リリースを調査・発表し、データ領域のプロダクトのキャッチアップをしています。その中でも重要と考えるリリースを本ページ含め記事として公開しています。

今回紹介するリリースは、「Cloud Monitoring for Storage Transfer Service」についてです。

このリリースにより Storage Transfer Service の情報を自動的に収集・保存することができ、Cloud Monitoring を使用して保存した様々な指標をグラフ化、モニタリングが可能です。

Storage Transfer Serviceの概要

Storage Transfer Service は Google Cloud Storage、Amazon S3、Azure Storage、オンプレミスデータなどのオブジェクトやファイルのストレージシステム間で自動的にデータ転送を行うサービスです。

Cloud Monitoring for Storage Transfer Serviceの説明

今回ご紹介するリリースは、2023年6月12日付に一般提供 (GA) となった Cloud Monitoring for Storage Transfer Service になります。
URL：Storage Transfer Service release notes

リリース内容

Cloud Monitoring for Storage Transfer Service では、Storage Transfer Service ジョブの情報を自動的に収集して保存します。また、Cloud Monitoring を使用すると、さまざまな指標をグラフ化してモニタリングできます。
以下で、より詳しく見ていきたいと思います。

グラフ化してモニタリングできるもの
- 検出されたオブジェクトの数とバイト数
- コピーされたオブジェクトの数とバイト数
- 削除されたオブジェクトの数とバイト数
- エラーの数とそれに関連するエラーコード

検証してみた

実際に Cloud Monitoring for Storage Transfer Service を使用して、機能を確認してみましょう。
今回は Cloud Storage から Cloud Storage へデータを転送します。
gcstogcs
ソース元、転送先を設定します。
source
tensosaki
今回は検証用なので、特に設定は変更せずそのまま作成します。
同じデータが転送されてきた場合に上書きするのか、スキップするのか等はこの画面で選ぶことが可能です。
sakusei
作成後、このような画面が表示されます。この画面で、上記で述べていたグラフ化してモニタリングできるものが表示されます。
kidoutyokugo
今回の場合は図の1〜5には以下の値が入ります。

コピーされたバイト数
コピーされたオブジェクト数
検出されたオブジェクト数
コピーされたオブジェクトの割合
エラー数

実際にこのジョブを複数回起動した後の画面はこのようになります。
1~5に数値が実際に入っているのが確認できます。
sbc
soc
foc
roc

今回は、5.エラー数　の部分を発生させるために、取込バケットの削除を行いました。
他の数値を確認したい場合は、ダッシュボードをカスタマイズから他のモニタリングできるものを選択すれば確認することが可能です。
fukusuukidou

Cloud Monitoring では、指標が一定の条件（例えば、設定した閾値以上）になった時に、メールや Slack へ通知を送るアラートポリシーを設定することが可能です。
今回は、紹介した「エラー数」の指標が1回以上の場合に Slack へ通知を行う設定を以下の画像のようにしました。
alert
また、実際に Slack でのアラートも確認できました。
slackalert

まとめ

今回の記事では、Cloud Monitoring for Storage Transfer Service について説明しました。
データ転送のパフォーマンスを評価、監視したい場合には是非この機能を使用してみてください。