<p data-line="0" class="code-line">本記事は以下の14日目のエントリです。</p>
<ul data-line="1" class="code-line">
<li data-line="1" class="code-line">
<a href="https://qiita.com/advent-calendar/2024/mackerel" target="_blank" rel="nofollow noopener noreferrer">Mackerel Advent Calendar 2024</a> <sup class="footnote-ref"><a href="#fn-b410-1" id="fnref-b410-1">[1]</a></sup>
</li>
<li data-line="2" class="code-line">
<a href="https://qiita.com/advent-calendar/2024/opentelemetry" target="_blank" rel="nofollow noopener noreferrer">OpenTelemetry Advent Calendar 2024</a> <sup class="footnote-ref"><a href="#fn-b410-2" id="fnref-b410-2">[2]</a></sup>
</li>
</ul>
<p data-line="4" class="code-line">予告通り、タイトルの記事↓をなぞりました。<br style="display:none">
<span class="embed-block zenn-embedded zenn-embedded-card"><iframe id="zenn-embedded__fdcd1a3a3983" src="https://embed.zenn.studio/card#zenn-embedded__fdcd1a3a3983" data-content="https%3A%2F%2Fmackerel.io%2Fja%2Fblog%2Fentry%2Fopentelemetry-demo-application" frameborder="0" scrolling="no" loading="lazy"></iframe></span><a href="https://mackerel.io/ja/blog/entry/opentelemetry-demo-application" style="display:none" target="_blank" rel="nofollow noopener noreferrer">https://mackerel.io/ja/blog/entry/opentelemetry-demo-application</a></p>
<p data-line="7" class="code-line">↓のウェビナーでの話を聞いて、やっておこうって思ってました。<br style="display:none">
<span class="embed-block zenn-embedded zenn-embedded-card"><iframe id="zenn-embedded__37e863cb21fe5" src="https://embed.zenn.studio/card#zenn-embedded__37e863cb21fe5" data-content="https%3A%2F%2Fmackerelio.connpass.com%2Fevent%2F337110%2F" frameborder="0" scrolling="no" loading="lazy"></iframe></span><a href="https://mackerelio.connpass.com/event/337110/" style="display:none" target="_blank" rel="nofollow noopener noreferrer">https://mackerelio.connpass.com/event/337110/</a></p>
<details><summary>OpenTelemetry、ちょっとだけ始めてみてはいたんですが、まだまだ、だったので。</summary><div class="details-content">
<p data-line="12" class="code-line"><span class="embed-block zenn-embedded zenn-embedded-tweet"><iframe id="zenn-embedded__18ae55a516929" src="https://embed.zenn.studio/tweet#zenn-embedded__18ae55a516929" data-content="https%3A%2F%2Fx.com%2Fsogaoh%2Fstatus%2F1847095387427164593" frameborder="0" scrolling="no" loading="lazy"></iframe></span><a href="https://x.com/sogaoh/status/1847095387427164593" style="display:none" target="_blank" rel="nofollow noopener noreferrer">https://x.com/sogaoh/status/1847095387427164593</a></p>
<p data-line="14" class="code-line"><span class="embed-block zenn-embedded zenn-embedded-tweet"><iframe id="zenn-embedded__c1c42fdd041c2" src="https://embed.zenn.studio/tweet#zenn-embedded__c1c42fdd041c2" data-content="https%3A%2F%2Fx.com%2Fsogaoh%2Fstatus%2F1849126500458766595" frameborder="0" scrolling="no" loading="lazy"></iframe></span><a href="https://x.com/sogaoh/status/1849126500458766595" style="display:none" target="_blank" rel="nofollow noopener noreferrer">https://x.com/sogaoh/status/1849126500458766595</a></p>
</div></details>
<h2 id="%E3%81%BE%E3%81%9A%E3%81%AF%E3%83%87%E3%83%A2%E5%8B%95%E7%94%BB%E3%82%92%E8%A6%8B%E3%81%BE%E3%81%97%E3%81%9F" data-line="18" class="code-line">
<a class="header-anchor-link" href="#%E3%81%BE%E3%81%9A%E3%81%AF%E3%83%87%E3%83%A2%E5%8B%95%E7%94%BB%E3%82%92%E8%A6%8B%E3%81%BE%E3%81%97%E3%81%9F" aria-hidden="true"></a> まずはデモ動画を見ました</h2>
<p data-line="20" class="code-line">ふむふむ、なるほど。最後にアラート出て良かったですね。</p>
<p data-line="22" class="code-line"><span class="embed-block embed-youtube"><iframe src="https://www.youtube-nocookie.com/embed/enoQCnVPrOM?start=3357" allow="accelerometer; clipboard-write; encrypted-media; gyroscope; picture-in-picture" allowfullscreen loading="lazy"></iframe></span><a href="https://www.youtube.com/watch?v=enoQCnVPrOM&amp;t=3357s" style="display:none" target="_blank" rel="nofollow noopener noreferrer">https://www.youtube.com/watch?v=enoQCnVPrOM&amp;t=3357s</a></p>
<h2 id="%E3%83%AD%E3%83%BC%E3%82%AB%E3%83%AB%E3%81%AB%E3%82%BB%E3%83%83%E3%83%88%E3%82%A2%E3%83%83%E3%83%97" data-line="25" class="code-line">
<a class="header-anchor-link" href="#%E3%83%AD%E3%83%BC%E3%82%AB%E3%83%AB%E3%81%AB%E3%82%BB%E3%83%83%E3%83%88%E3%82%A2%E3%83%83%E3%83%97" aria-hidden="true"></a> ローカルにセットアップ</h2>
<details><summary>なんだか初回失敗してたけど、単純にやり直して２回目で起動成功。</summary><div class="details-content">
<p data-line="29" class="code-line"><img src="https://storage.googleapis.com/zenn-user-upload/8752f8e8ad3b-20241214.png" loading="lazy" class="md-img"><br>
<em><a href="https://storage.googleapis.com/zenn-user-upload/8752f8e8ad3b-20241214.png" target="_blank" rel="nofollow noopener noreferrer">１回目</a></em></p>
<p data-line="32" class="code-line"><img src="https://storage.googleapis.com/zenn-user-upload/32535af29af9-20241214.png" loading="lazy" class="md-img"><br>
<em><a href="https://storage.googleapis.com/zenn-user-upload/32535af29af9-20241214.png" target="_blank" rel="nofollow noopener noreferrer">２回目</a></em></p>
</div></details>
<h2 id="mackerel-%E3%81%A8-vaxila-%E3%81%AB%E3%83%86%E3%83%AC%E3%83%A1%E3%83%88%E3%83%AA%E3%82%92%E9%80%81%E3%82%8B%E8%A8%AD%E5%AE%9A%E3%82%92%E8%BF%BD%E5%8A%A0" data-line="38" class="code-line">
<a class="header-anchor-link" href="#mackerel-%E3%81%A8-vaxila-%E3%81%AB%E3%83%86%E3%83%AC%E3%83%A1%E3%83%88%E3%83%AA%E3%82%92%E9%80%81%E3%82%8B%E8%A8%AD%E5%AE%9A%E3%82%92%E8%BF%BD%E5%8A%A0" aria-hidden="true"></a> Mackerel と Vaxila にテレメトリを送る設定を追加</h2>
<p data-line="40" class="code-line">これも１回目見逃しがあってMackerelにうまくテレメトリ送れてなかったんですが、解決できました。</p>
<details><summary>src/otelcollector/otelcol-config.yml の差分</summary><div class="details-content">
<p data-line="44" class="code-line"><img src="https://storage.googleapis.com/zenn-user-upload/7b9bded9e317-20241214.png" loading="lazy" class="md-img"><br>
<em><a href="https://storage.googleapis.com/zenn-user-upload/7b9bded9e317-20241214.png" target="_blank" rel="nofollow noopener noreferrer">exportersへの追加、processors &gt; batch への 追加（for Vaxila）</a></em></p>
<p data-line="47" class="code-line"><img src="https://storage.googleapis.com/zenn-user-upload/e03852021c6e-20241214.png" loading="lazy" class="md-img"><br>
<em><a href="https://storage.googleapis.com/zenn-user-upload/e03852021c6e-20241214.png" target="_blank" rel="nofollow noopener noreferrer">service &gt; pipelines への追加</a></em></p>
</div></details>
<p data-line="52" class="code-line">MACKEREL_API_KEY の指定は docker-compose.yml に追記しました。</p>
<details><summary>docker-compose.yml の差分</summary><div class="details-content">
<p data-line="56" class="code-line"><img src="https://storage.googleapis.com/zenn-user-upload/206393c687d4-20241214.png" loading="lazy" class="md-img"><br>
<em><a href="https://storage.googleapis.com/zenn-user-upload/206393c687d4-20241214.png" target="_blank" rel="nofollow noopener noreferrer">MACKEREL_API_KEY 指定の追記</a></em></p>
</div></details>
<p data-line="61" class="code-line">これで起動したら、おおお・・・徐々にメトリクスが入ってきてる感じが。</p>
<p data-line="63" class="code-line"><img src="https://storage.googleapis.com/zenn-user-upload/c81b7a6aa05c-20241214.png" loading="lazy" class="md-img"><br>
<em><a href="https://storage.googleapis.com/zenn-user-upload/c81b7a6aa05c-20241214.png" target="_blank" rel="nofollow noopener noreferrer">実はだいぶ時間経過してから↑のスクショ採取したんですが</a></em></p>
<p data-line="66" class="code-line">Vaxila に入ってきた Trace、可視化されたの初めて見ました。 Trace の投げ方はもうちょっと深掘って年内くらいには把握したい。</p>
<details><summary>Trace 可視化を体験できた記念</summary><div class="details-content">
<p data-line="70" class="code-line"><img src="https://storage.googleapis.com/zenn-user-upload/675a5f875cea-20241214.png" loading="lazy" class="md-img"><br>
<em><a href="https://storage.googleapis.com/zenn-user-upload/675a5f875cea-20241214.png" target="_blank" rel="nofollow noopener noreferrer">トレース一覧</a></em></p>
<p data-line="73" class="code-line"><img src="https://storage.googleapis.com/zenn-user-upload/58dde2b0b64b-20241214.png" loading="lazy" class="md-img"><br>
<em><a href="https://storage.googleapis.com/zenn-user-upload/58dde2b0b64b-20241214.png" target="_blank" rel="nofollow noopener noreferrer">一覧の一番上のをドリルダウン</a></em></p>
<p data-line="76" class="code-line"><img src="https://storage.googleapis.com/zenn-user-upload/640f3f150feb-20241214.png" loading="lazy" class="md-img"><br>
<em><a href="https://storage.googleapis.com/zenn-user-upload/640f3f150feb-20241214.png" target="_blank" rel="nofollow noopener noreferrer">POSTリクエストの詳細を見る</a></em></p>
</div></details>
<h2 id="%E3%83%A9%E3%83%99%E3%83%AB%E3%81%AB%E3%82%88%E3%82%8B%E3%83%95%E3%82%A3%E3%83%AB%E3%82%BF%E3%83%AA%E3%83%B3%E3%82%B0%E3%81%A8%E7%9B%A3%E8%A6%96%E3%83%AB%E3%83%BC%E3%83%AB%E8%A8%AD%E5%AE%9A" data-line="82" class="code-line">
<a class="header-anchor-link" href="#%E3%83%A9%E3%83%99%E3%83%AB%E3%81%AB%E3%82%88%E3%82%8B%E3%83%95%E3%82%A3%E3%83%AB%E3%82%BF%E3%83%AA%E3%83%B3%E3%82%B0%E3%81%A8%E7%9B%A3%E8%A6%96%E3%83%AB%E3%83%BC%E3%83%AB%E8%A8%AD%E5%AE%9A" aria-hidden="true"></a> ラベルによるフィルタリングと監視ルール設定</h2>
<p data-line="84" class="code-line">実は書いてある通りに <code>app.frontend.requests</code> のメトリクス見つけられなくて、監視設定にはなんだかだんだん増えてた <code>feature_flag.flagd.evaluation.reason{service.name="flagd"}</code> を使いました。</p>
<details><summary>こんな感じ。アラートも妥当に通知されてきて、閾値少しずつ上げてみるなどした。</summary><div class="details-content">
<p data-line="88" class="code-line"><img src="https://storage.googleapis.com/zenn-user-upload/b4ff1fec759a-20241214.png" loading="lazy" class="md-img"></p>
<p data-line="90" class="code-line"><img src="https://storage.googleapis.com/zenn-user-upload/5c5d510ebf0c-20241214.png" loading="lazy" class="md-img"><br>
<em><a href="https://storage.googleapis.com/zenn-user-upload/5c5d510ebf0c-20241214.png" target="_blank" rel="nofollow noopener noreferrer">詳細</a></em></p>
<p data-line="93" class="code-line"><img src="https://storage.googleapis.com/zenn-user-upload/84a87239a48e-20241214.png" loading="lazy" class="md-img"><br>
<em><a href="https://storage.googleapis.com/zenn-user-upload/84a87239a48e-20241214.png" target="_blank" rel="nofollow noopener noreferrer">アラート通知検証の図</a></em></p>
</div></details>
<h2 id="%E9%9A%9C%E5%AE%B3%E7%99%BA%E7%94%9F%E6%A4%9C%E7%9F%A5%E3%82%92%E8%A9%A6%E3%81%99" data-line="99" class="code-line">
<a class="header-anchor-link" href="#%E9%9A%9C%E5%AE%B3%E7%99%BA%E7%94%9F%E6%A4%9C%E7%9F%A5%E3%82%92%E8%A9%A6%E3%81%99" aria-hidden="true"></a> 障害発生検知を試す</h2>
<p data-line="101" class="code-line"><code>OpenTelemetry デモアプリケーションでは、フィーチャーフラグによって意図的に特定のコンポーネントの障害を発生させることができます。</code> とのことなので、やってみました。</p>
<details><summary>src/flagd/demo.flagd.json を弄ってフィーチャーフラグの変更</summary><div class="details-content">
<p data-line="105" class="code-line"><img src="https://storage.googleapis.com/zenn-user-upload/fda57cb65144-20241214.png" loading="lazy" class="md-img"><br>
<em><a href="https://storage.googleapis.com/zenn-user-upload/fda57cb65144-20241214.png" target="_blank" rel="nofollow noopener noreferrer">ここです</a></em></p>
</div></details>
<p data-line="110" class="code-line">するとまもなく、めっちゃエラーが発生。Vaxila に飛んできました。<br>
殺到感がすごかったので、ちょっと置いたらすぐに off に修正。保存したら止まりました。</p>
<details><summary>エラー通知がすごかった</summary><div class="details-content">
<p data-line="115" class="code-line"><img src="https://storage.googleapis.com/zenn-user-upload/727eedd89d10-20241214.png" loading="lazy" class="md-img"><br>
<em><a href="https://storage.googleapis.com/zenn-user-upload/727eedd89d10-20241214.png" target="_blank" rel="nofollow noopener noreferrer">Vaxila課題一覧にエラーが載ってきた</a></em></p>
<p data-line="118" class="code-line"><img src="https://storage.googleapis.com/zenn-user-upload/e82f40e808bc-20241214.png" loading="lazy" class="md-img"><br>
<em><a href="https://storage.googleapis.com/zenn-user-upload/727eedd89d10-20241214.png" target="_blank" rel="nofollow noopener noreferrer">通知の殺到っぷり</a></em></p>
</div></details>
<p data-line="123" class="code-line">という感じで、OpenTelemetry を体験できました。<br>
テレメトリの投げ方を覚えれば、やっていけそう、と思いました。いい体験できました。</p>
<p data-line="126" class="code-line">最後まで読んでいただきありがとうございました。</p>
<p data-line="128" class="code-line">明日15日目の予定は以下になっています。お楽しみに。</p>
<ul data-line="129" class="code-line">
<li data-line="129" class="code-line">
<a href="https://qiita.com/advent-calendar/2024/mackerel" target="_blank" rel="nofollow noopener noreferrer">Mackerel Advent Calendar 2024</a> : 「mdatagenに関するなにか、あるいはそれ以外のなにか」 by <a href="https://x.com/Arthur1__" target="_blank" rel="nofollow noopener noreferrer">@Arthur1__</a> さん</li>
<li data-line="130" class="code-line">
<a href="https://qiita.com/advent-calendar/2024/opentelemetry" target="_blank" rel="nofollow noopener noreferrer">OpenTelemetry Advent Calendar 2024</a> : 「OpenTelemetryでデプロイ時間を可視化する」by <a href="https://qiita.com/momochi29" target="_blank" rel="nofollow noopener noreferrer">momochi29</a> さん</li>
</ul>
<section class="footnotes">
<span class="footnotes-title">脚注</span>
<ol class="footnotes-list">
<li id="fn-b410-1" class="footnote-item">
<p data-line="134" class="code-line">13日目は <a href="https://x.com/rymatsuoka" target="_blank" rel="nofollow noopener noreferrer">@rymatsuoka</a> さんの <a href="https://blog.rmatsuoka.org/entry/2024/12/13/183327" target="_blank" rel="nofollow noopener noreferrer">Span Metrics Connector で SQL のクエリの処理時間を計測する</a> でした。 <a href="#fnref-b410-1" class="footnote-backref">↩︎</a></p>
</li>
<li id="fn-b410-2" class="footnote-item">
<p data-line="135" class="code-line">13日目は <a href="https://x.com/katzchang" target="_blank" rel="nofollow noopener noreferrer">@katzchang</a> さんの <a href="https://zenn.dev/katzchang/articles/eb442c99913ffd" target="_blank">OpenTelemetry Go SDKの初期化処理について、Splunk Distroを例に見ていきたいと思います！</a> でした。 <a href="#fnref-b410-2" class="footnote-backref">↩︎</a></p>
</li>
</ol>
</section>


OpenTelemetry デモアプリケーションを使って Mackerel のメトリックエクスプローラーを体験

Mackerel と Vaxila にテレメトリを送る設定を追加

ラベルによるフィルタリングと監視ルール設定

Discussion