【Google Cloud】Cloud Loggingのログ削減で持続可能なGoogle Cloudライフを!
はじめに
Rehab for JAPANでCTOを務めている@rkyuragiです!
Rehabでは、データ分析基盤やMLOps基盤でGoogle Cloudを活用しています。
しかし、Cloud Loggingに集約されるログは、知らぬ間に増え続け、結果としてコスト増加につながることがあります。
今回は、Cloud Loggingのログを効果的に削減し、不要なコストを抑えることで、持続可能なGoogle Cloud環境を実現する方法をご紹介します。
本記事のターゲット
- Google Cloudを活用している方
- Google Cloudのコスト削減に関心がある方
- Cloud Loggingのログ削減方法を知りたい方
要約
Cloud Loggingの「ログルーター」の_Default
設定を活用し、不要なログをフィルタリングすることで、出力されるログを制限しコスト削減が可能になります。
注意点
:
この方法は不要なログを強制的に除外するため、必要なログまで削除されるリスクがあります。設定には細心の注意を払いましょう。
Cloud Loggingのログ削減手順
1. 削減したいログの把握
まずは、どのログが不要であるかを特定することが重要です。Cloud Loggingのコンソールで実際のログを確認し、削減したいログの種類やパターンを把握しましょう。
2. ログルーターの設定
不要なログが特定できたら、Cloud Loggingの「ログルーター」の_Default
シンクを編集します。
「シンクに含めないログの選択」で不要なログを指定することで、これらのログが出力されなくなります。
設定例1
以下は、Cloud Loggingのログルーターの設定例です。
Kubanetes Engineのログを削減するために、resource.type="k8s_cluster"
のログを削減しています。
条件としては、resource.labels.cluster_name="project_id-cluster"
またはresource.labels.cluster_name="us-central1-project_id-94e037e7-gke"
のログを削減しています。
この設定により、特定のクラスターログが出力されなくなります。
resource.type="k8s_cluster" AND (resource.labels.cluster_name="project_id-cluster" OR resource.labels.cluster_name="us-central1-project_id-94e037e7-gke")
設定例2
以下は、Kubanetes Engineのログを削減するために、resource.type="k8s_container"
のログを削減しています。
条件としては、severity="INFO"
またはseverity
が設定されていないログ(=デフォルトレベルのログ)を削減しています。
この設定により、INFOレベルのログやデフォルトレベルのログが出力されなくなります。
resource.type="k8s_container" AND (severity="INFO" OR NOT severity:*)
実際の設定画面は以下の画像のようになります。
ログルーターの設定画面
結果
このようにログルーターの設定を調整することで、不要なログを削減し、コスト削減が実現できます。
実際に弊社で設定を行った結果、以下の画像のようにログ削減の効果が確認できました。
ログの削減効果
まとめ
Cloud Loggingのログ削減は「ログルーター」を活用することで簡単に行えます。不要なログを削減することで、クラウドコストを効果的に抑えられます。
注意点
必要なログが誤って削除されないよう、設定を慎重に行いましょう。
円安などの影響でクラウドコストが増大している今こそ、ログ削減を通じてコスト管理を徹底し、持続可能なGoogle Cloud運用を目指しましょう!
以上、Cloud Loggingのログ削減方法についてのご紹介でした。
Discussion