💭

SentryのAI新機能を試してみた - 課題と対策

に公開

はじめに

こんにちは。SentryのAI機能に気付かれましたでしょうか?

最近SentryのAI機能が話題になっていたので、どんなことができるのかを調べてまとめてみました。この記事では、Sentryが最近追加しているAI関連機能の中でも特に面白いと感じた3つの機能、

  • Issueの自動分類・グルーピング
  • AIによる原因推定(Issueサマリー)
  • 自動修正提案(AutoFix)

について、それぞれの仕組みや実務での活かし方を紹介します。単なる機能紹介ではなく、使ってみる前後での「思考」や「引っかかりポイント」も交えながら書いてみました。なお、情報の参照元は末尾に記載しています。

1. Issueの自動分類・グルーピング

Sentryでは、エラーが発生するとそれがIssue(課題)としてまとめられますが、従来はシグネチャベースでのグルーピング(例外名+スタックトレースの一部)に依存していたため、ちょっとした違いで別のIssueとして認識されてしまうことがありました。

最近のアップデートで、AIを使った意味的なグルーピングが導入され、これによって「本質的に同じ原因のエラー」は1つのIssueにまとめられるようになっているようです。

この仕組みによって、Sentryのダッシュボード上に並ぶIssue数が約40%減ったという話もあります。
https://www.apmdigest.com/sentry-adds-new-features-issue-grouping-issue-summary-and-anomaly-detection#:~:text=issue with its suggested code,of the time

使ってみて思ったこと

一見便利そうに見えるこの機能、確かに「Issueが散らからない」というだけでも心理的ハードルが下がります。ただ、使っていく中で「これは同じ原因か…?いや別じゃない?」というケースにぶつかることもありました。グルーピングされると安心して見逃しやすくなるので、ちゃんと分割する判断も必要そうです。

課題と対策

課題: グルーピング精度が高くても、異なる原因が1つにまとめられる誤判定のリスクもある
対策: フィード一覧を確認して「まとめ過ぎていないか」を定期的にチェック。必要なら手動で分割も可能。

参照: Sentry公式ブログ - AI Grouping, AI Issue Summary, Autofix and more
https://blog.sentry.io/ai-powered-updates-issue-grouping-autofix-anomaly-detection-and-more/(https://docs.sentry.io/product/issues/issue-details/sentry-ai/#autofix)

2. AIによる原因推定(Issueサマリー)

「エラーは発生しているけど、どこで、なぜ、何が起きているかは分からない」──そんな時に便利そうなのが、SentryのSolutions Hubというエリアで提供されるIssue SummaryというAI機能です。

エラーのスタックトレースやリクエスト情報などを元に、AIが「どういう問題か」「どこで起きたか」「何が原因か」を要約してくれるようです。

英語で表示される点はあるものの、パッと見て問題の輪郭が掴めるのは便利です。たとえば「ユーザーがログイン後にAPI通信を試みたが、401で失敗」というような複合的な事象も、AIが要点を抽出してくれるようです。

使ってみて思ったこと

個人的には、初動のハードルがぐっと下がる感じがありました。「まずこれを見て概要を掴む」というアプローチが取れるだけでも、緊急対応時の焦りが減る気がします。一方で、AIが出した要約が「実際の原因とズレているな」と感じることもあるので、やはり鵜呑みにはできないですね。

課題と対策

課題: 現時点では英語のみ。日本語のエラー文やコメントには非対応。
対策: 要約は短めなので、翻訳ツールと組み合わせれば実用性は高そう。将来的な多言語対応に期待。

参照: Sentry公式ドキュメント - Issue Summary
https://docs.sentry.io/product/issues/issue-details/sentry-ai/#issue-summary
補足: solution hubについて詳しい情報はこちら
https://wp-kyoto.net/try-sentry-ai-solutions-hub-with-free-plan

3. 自動修正提案(AutoFix)

SentryのAI機能の中で最も驚きがあるのが「AutoFix」かもしれません。なんと、エラーのスタックトレースを解析して、AIが修正案のコードを出してくれるとのことです。

もちろん、すべてが完璧というわけではなく「このコードで直るのか?」は人間の目でレビューする必要がありますが、調査→修正→PR作成までの一連の流れが1クリックでできるというのは、インパクト大です。

使ってみて思ったこと

「そこまでやってくれるの!?」という驚きと、「いやでもこの修正は雑じゃないか?」という疑念が常にセットでついてきます。初回で信頼しすぎず、「一案として見る」「考えるきっかけにする」くらいの付き合い方がちょうどいいと感じました。うまくいけばチームの修正速度が爆増する可能性もあります。

課題と対策

課題: 現時点ではGitHub連携+有料プランが必要。無料プランでは提案表示まではできない模様。
対策: チームプラン以上で試してみて、実用性が高ければ導入検討。セキュリティ的にAIにコードを渡す懸念がある場合は設定で無効化も可能。

参照: Sentry公式ドキュメント - Autofix
https://docs.sentry.io/product/issues/issue-details/sentry-ai/#autofix

導入時に直面しそうな壁と思考メモ

SentryのAI機能は魅力的ですが、いざ導入しようとするとちょっと躊躇するポイントもいくつかあります。実際に考えたこと・気になったことをここに残しておきます。

情報の信頼性: AIが出してくる要約や修正提案って、正しいの?鵜呑みにして事故らない?

「提案をもとに思考の出発点を得る」くらいの温度感がベスト。

セキュリティとデータの扱い: コードやエラー情報をAIに送ることに不安はない?

プライバシーポリシーを読み、データ収集の範囲や送信先の確認をした上で判断。

チームへの浸透: こういうAI系のツールって、1人で使っても結局放置される…

まずはチームの定例で「AIサマリーの読み合わせ」などから始めてみると良さそう。

費用対効果: 有料プランの価値って実際どうなのか?

実務で何回使って「時短になったか」をログとして残すと見えてきそう。

まとめ

今回は、Sentryが最近リリースしたAI機能の中でも特に注目されている「Issueの自動分類」「Issueサマリー」「AutoFix」について、実際に触れながら感じたことを紹介しました。

それぞれの機能が独立しているように見えて、実は「検出→要約→修正提案」というエラー対応の流れを通して連携しているようです。

今後さらに精度が上がったり、日本語対応や新しい言語サポートが広がってくれば、より多くのチームが恩恵を受けられそうです。「困ったらAIに聞いてみる」が当たり前になったとき、このSentryの取り組みは先駆け的な存在として記憶されるかもしれません。

Discussion