このスクラップは？

福利厚生で O'Reilly Online Learning 使えるが、積読がなかなか消化されないので、消化のために1日 ~~15分で積読の1章を読んで3行サマリを書いていく。~~ 1 分読んで、なんでもいいのでメモる。

hmatui66 2023/08/25

Datadog Cloud Monitoring Quick Start Guide

hmatui66 2023/08/25に更新

Chapter 1: Introduction to Monitoring

ソフトウェアシステムの監視の重要性
監視のユースケース
popular な監視ツールと監視に関わる概念と用語の紹介

hmatui66 2023/08/28

Chapter 2: Deploying the Datadog Agent

Datadog Agent は Cloud, OS 上の環境の両方を監視できる
Datadog Agent の主要なコンポーネント: Collector(15秒ごとにメトリックを収集), Forwarder(HTTPS経由でDatadogバックエンドに送信), DogStatsD(DatadogによるStatsDの実装で、デフォルトポート8125で実行されるメトリクスの収集及び集計デーモン)
構成オプションや一般的な使用例を説明

hmatui66 2023/08/29

Chapter 3: The Datadog Dashboard

Dashbord の重要な機能: infra list, event, metric explorer, dashboards, integrations, monitors, advandec feature
event: datadog agent の再起動や新しいコンテナのデプロイなどのレベルのもの
2種のDashboard: time board(時系列にメトリクスを並べる), screen board(時間の制約がない)

hmatui66 2023/08/30

Chapter 4: Account Management

ユーザー管理、ロールを使用したカスタムアクセス
organization: インフラの一部&その上のアプリの監視を分離できる
ベストプラクティス
- 複数 organization で production 環境の監視をクリーンに
- カスタムユーザーロールで最小限の権限をもたせる
- SSO使う
- programmatic access には service account を使う

hmatui66 2023/08/31

Chapter 5: Metrics, Events, and Tags

Datadogが大きく依存する2つの構成要素の「メトリクス」と「タグ」の定義方法について説明
Datadogが監視するインフラorアプリ内のアクティビティである「イベント」の説明と他のチャネルへの転送方法を説明
タグによるメトリクスやイベントのグループ化&検索方法を説明

hmatui66 2023/09/01

Chapter 6: Monitoring Infrastructure

基本的なタイプの1つ、インフラ監視について説明
Datadog はホストレベル、コンテナレベルの両方を監視する機能を提供
Lambda などインフラ関係しないサーバーレスコンピューティングリソースも監視できる

hmatui66 2023/09/05

Chapter 7: Monitors and Alerts

Datadog モニターを作成 & メンテ(マニュアル、as code)する方法を説明
アラート通知をする方法
メンテナンス期間やシャットダウン期間中にダウンタイム機能を効果的に使用

hmatui66 2023/09/07

Section 2: Extending Datadog

すぐに利用できる標準監視機能があり、Agent をインストールすればすぐに利用できるが、包括的に監視するにはカスタムメトリクスで拡張する必要ある
8-11章で拡張のためのインテグレーションを説明

hmatui66 2023/09/07

Chapter 8: Integrating with Platform Components

Platform Components についても一般的なものは標準で監視できるが、できないものはカスタムチェックオプションがある
Platform = クラウドサービスのことだけでなく、Proxy(NGINX, Apache, ...), 各種DBMS などミドルウェアも含む
スクリプトを /etc/datadog-agent/check.d にインストールすることでカスタムチェックを実装できる

hmatui66 2023/09/08

Chapter 9: Using the Datadog REST API

Datadog HTTP REST API を使ってDatadog と統合する方法を説明
API を使って、メトリクス or イベントを Datadog に publish するだけでなく、Datadog からデータを取得してレポートツールに読み込むなどもできる
既存のインテグレーションが使える場合は、APIを使用した独自コード実装は避けるべき

hmatui66 2023/09/13

Chapter 10: Working with Monitoring Standards

監視における標準実装である SNMP, JMX, StatsD を用いた拡張 option を説明
SNMP(ネットワークの監視), JMX(Javaアプリの監視), DogStatsD(任意のメトリクスの監視)
利用は計画的に
- SNMPでネットワークデバイスを監視するとメトリックが膨大になり、取捨選択ちゃんとする必要ある
- JMXはアプリの動作を manipulate するためにも使えるが、監視インフラ側でそういうことはしないほうが良い
- DogStatsDはサービスポートへのアクセス以外に認証を必要としないので実行環境のセキュリティを確保する必要ある

hmatui66 2023/09/14

Chapter 11: Integrating with Datadog

API や DogStatsD を使って Datadog を他のアプリと統合する方法を説明
クライアントは公式のものとコミュニティのものがある
例として、一部のアプリデータをDatadogにpusblishしつつ、Zabbixと統合する方法を説明

hmatui66 2023/10/06

Chapter 12: Monitoring Containers

Docker や Kubernetes 上でログを収集する方法を説明
Live Container 機能で Kubernetes のリソース各種を見ることができる
コンテナから収集された情報を検索して見る方法を説明

hmatui66 2023/10/10

Chapter 13: Managing Logs Using Datadog

ログ集約とインデックス作成機能について説明
- インデックス: ログをグルーピングする機能の模様 https://docs.datadoghq.com/ja/logs/log_configuration/indexes/
ログのフィルタリングや機密データのスクラビング(masking)方法を説明
ログのアーカイブや検索方法について説明

hmatui66 2023/10/12

Chapter 14: Miscellaneous Monitoring Topics

最近利用可能になったモニタリング機能の AppDynamics, Security Information and Event Management(SIEM)、Catchpoint などについて説明
Synthetic monitoring を使うとロボットユーザーによるシミュレーションができる
Security rule の定義方法について説明

hmatui66 2023/10/13

Optimizing Java

別のスクラップで書いていたがこちらで軽めにまとめる

hmatui66 2023/10/16に更新

Chapter 1. Optimization and Performance Defined

この本はコードに適用するパフォーマンスのヒントのクックブックではなく、パフォーマンスエンジニアリングを生み出すためのさまざまな側面に焦点を当てる
JVMパフォーマンス・チューニングは実験科学であることを説明
一般的なパフォーマンス指標と、パフォーマンスグラフの読み取り方について説明

hmatui66 2023/10/16

Chapter 2. Overview of the JVM

JVM が Java を実行する方法の概要を説明
HotSpot (JIT など)やメモリ管理(GC など)を説明
JVM の代表的な実装(Oracle, Zulu, Android, ...)やモニタリングツール(JMX, Java agents, JVMTI, The Serviceability Agentなど)について説明

hmatui66 2023/10/24

Chapter 3. Hardware and Operating Systems

Java アプリケーションを最適化するに当たって必要なハードウェアと OS の知識を説明
CPU関連: CPU キャッシュ, Translation Lookaside Buffer(TLB), 分岐予測 & 投機的実行, Hardware メモリモデル(Java Memory Model←12章で後述)
OS関連: スケジューラ, 時間の扱い, コンテキストスイッチ,

JVM ではシングルスレッドのアプリコードでも追加のプロセッサコアが利用できる、と書いてあったので後で調べる

hmatui66 2023/10/25

Chapter 4. Performance Testing Patterns and Antipatterns

パフォーマンステストのベストプラクティスとアンチパターンについて説明
パフォーマンスチューニングでどこに力を注ぐべきかを決める時の3つの黄金律
- 気になるものを特定&測定する方法を見つける
- 簡単に最適化できるものではなく、重要なものを最適化する
- まずは big point をプレイする
アンチパターンのリストと、その多くが無意識の思い込みに基づいた認知バイアスによって起こることを説明

hmatui66 2023/10/27

Chapter 5. Microbenchmarking and Statistics

JVM の動的性質によりパフォーマンス数値を扱うのは難しく、特にマイクロベンチマークは難しい
- 動的性質の理由例: JIT コンパイル、GC
マイクロベンチマークのデファクトツールの JMH を説明
JVM パフォーマンスの統計に関する内容を説明

hmatui66 2023/11/01

Chapter 6. Understanding Garbage Collection

Java GC を支える基本理論と、制御が難しい理由を説明
HotSpot のランタイムシステムの基本機能ついて紹介
HotSpot の最も単純なコレクターである並列コレクターを紹介

hmatui66 6ヶ月前に更新

Chapter 7. Advanced Garbage Collection

適切なコレクタを決定する際のトレードオフについて概説
基礎となる理論としてJVMセーフポイントとTri-Color Markingを説明
上記これらのアイディアを実装する様々な最新のGCアルゴリズムを紹介

hmatui66 5ヶ月前に更新

Chapter 8. GC Logging, Monitoring, Tuning, and Tools

GCチューニング技術の概要を説明
割当率の分析: GCを調整してパフォーマンスを向上させられるかどうかを判断するのに重要
Parallel GC, CMS, G1 に対する基本的なチューニング方法を説明

hmatui66 5ヶ月前

Chapter 9. Code Execution on the JVM

JVM のバイトコードインタープリターの基本について説明
実行可能コード生成の代替アプローチの AOT と JIT について説明
HotSpot JIT について説明

hmatui66 5ヶ月前

Chapter 10. Understanding JIT Compilation

JIT コンパイルサブシステムの基本を説明
最適化の一部を説明
最適化の効果を JITWatch で観察する方法をあわせて説明

hmatui66 4ヶ月前

詳解 Terraform 第3版 ―Infrastructure as Codeを実現する

hmatui66 4ヶ月前

1章なぜTerraformを使うのか

IaC ツールの整理。選択にあたったトレードオフを挙げて、各ツールの違いを解説
Dockerなどのサーバーテンプレートと組み合わせる場合、プロビジョニングツールである Terraform, CloudFormationなどがマッチ

hmatui66 3ヶ月前に更新

6章シークレットを管理する

シークレット管理の第1ルールは次のとおりです。

シークレットをプレーンテキストで保存しない

シークレット管理の第2ルールは次のとおりです。

シークレットをプレーンテキストで保存しない

大事

先頭にスペースを入れたコマンドをヒストリファイルにシークレット情報を残さないようにする設定あるの、知らなかった。

hmatui66 13日前

The Staff Engineer's Path