組織に対してSREを適用するとどうなるか
こんにちは、國井です。
以前、SRE Lounge #14というイベントで「組織に対してSREを適用するとどうなるか」というテーマでお話ししました。
その際に、背景や、具体的な試行錯誤のプロセスについて、もう少し詳細な内容をブログに書きますと言ったブログがこれになります。
前提としてこちらも読んでいただけると嬉しいです。
対象読者
SREチームが既に存在しているが、プロダクト開発組織としてSREの存在やもたらす文化が風前の灯になっていたり、これからSREを導入しようとしている組織の人(マネージャーやその上の責任者、あるいはプロダクト開発運用に携わるチームメンバーです)
内容
● 組織の信頼性に対してSREを適用することについて
● 実際に組織に起きた問題とそれにどういうプラクティスを適用し、どうなったのか
SRE本に書いてあるようなSREそのものについての話はしません。それを前提としてSREを一歩進めるとどうなるのかという話です。
なぜ「組織」の話をするのか
私は元々、社内でSREのエバンジェリストのような活動をしていました。事業長やプロダクト開発の部長、POなどにSREの概念を説明して回っていたのですが、これがなかなか難しいです。
- 概念が広すぎて、一言で表すのが難しい
- 簡単に説明しようとすると、本質的な部分が抜け落ちてしまう
- 一通り説明しきっても、異動や組織変更でステークホルダーが変わり、また最初から説明し直しになる(無限ループ)
そんな中で気づいたのが、「組織の話」と「システムの話」を切り離すことで理解しやすくなるということです。そしてSREの人間的なプラクティスは組織をシステムに見立てることで大部分を説明できることです。
そもそも、コンウェイの法則が示すようにシステムと組織は密接に関わっています。そして、結局は 「実際のところ、ソフトウェア開発上の問題の多くは、技術的というより社会学的なもの」 であり、「ソフトウェアを作るのも運用するのもピープルウェア」(トム・デマルコ他『ピープルウエア 第3版』 p.28) です。
システムに対してはSRE(Site Reliability Engineering)を適用して信頼性を担保しようとするのに、その土台となる 「組織」の信頼性 は、持続可能になっているでしょうか?精神論や個人の頑張りに依存していないでしょうか?
プロダクトはどこから生まれるか
プロダクトを作るのも運用するのも 人
大抵の場合、1人ではなく複数人の 組織
そこで、 組織をコンピュータシステムと捉え、SREのプラクティスを適用したらどうなるか? という実験を始めました。
と言っても人を機械のように扱うという話ではないです。
どんなチームになったか
先にどんなチームになったかというと、自分たちで目標を定め、振り返り、改善しながら協力し合い着実にゴールに近づいていく、そんなチームです。私がチームを離れ、メンバーが入れ替わりながらも信頼性を保ち続けています。
当時のチームの外部登壇資料から:
- 齊藤さん:Make it Visible - BizReach HRMOS SRE Team's Observability Strategy
- 伊藤さん:スクラムを1年回して SREと開発組織がどう変わったのか
- 山原さん:エラーバジェット、どう運用していますか?/ Error budget practice
他にも沢山のチームメンバーが協力してくれました。感謝してもしきれません。私はマネージャーとしてこのチームに出会えて幸せでした。
組織の信頼性とは何か
組織にはゴールがあります。ミッションと呼んでもいいでしょう。
信頼性とは
[システムが]求められる機能を、定められた条件の下で、定められた期間にわたり、障害を起こすことなく実行する確率 (Betsy Beyer; Chris Jones; Jennifer Petoff; Niall Richard Murphy. SRE サイトリライアビリティエンジニアリング (xiv). )
のことであり、組織に求められるのはどうにかしてゴールにたどり着くことです。(これをドラッカーはマネジメントと呼びました)
プロダクトを開発し運用する組織にあてはめるとこうなります。
- 求められる機能 = プロダクトを作り、提供し、運用する
- 定められた条件 = プロダクトの提供が続く限り
- 定められた期間 = プロダクトの使命を果たすまで
- 障害 = プロダクト開発、運用ができない状態になる
SREの仕事はシステムに十分な信頼性を持たせることですが、プロダクト開発、運用ができない状態になりがちな組織が高い品質を担保できる状態になることは考えにくいです。
そもそもSREの仕事の半分は組織の信頼性を担保することだと言えます。
よく見ると
SREとは、ソフトウェアエンジニアに運用チームの設計を依頼したときにできあがるもの(Betsy Beyer; Chris Jones; Jennifer Petoff; Niall Richard Murphy. SRE サイトリライアビリティエンジニアリング p.5)
チームの話と書いてありました。
組織をシステムとしてモデリングする
まず、組織の要素をシステム用語にマッピングしてみます。
- マシン = 人
-
*人間は不完全なマシンです。人間は退屈し、十分には理解されていないプロセッサ(場合によってはUIも)を持ち、あまり効率も良くありません(Betsy Beyer; Chris Jones; Jennifer Petoff; Niall Richard Murphy. SRE サイトリライアビリティエンジニアリング p.431)*
-
- サーバー = 役割、仕事
- クラスタ = チーム
- データ = 知識、記憶、文化
- SRE = マネージャーやチーム自身
- リリース = 組織に対する変更
- 人員の増加・減少
- やり方やポリシーの変更
- やることの決定
こう捉えると、組織における「障害」も見えてきます。 人が急増してカオスになるのは「高負荷によるパフォーマンス低下」、誰かがボトルネックになるのは「SPOF(単一障害点)」、知識が失われるのは「データロスト」です。
そして、組織の信頼性(大部分は可用性)を高める戦略も、システムの可用性の式 MTBF / (MTBF + MTTR) で説明がつきます。
- MTBF(平均故障間隔)を長くする: 組織が健全に機能する期間を長くする(障害に強くする)。
- MTTR(平均復旧時間)を短くする: 組織に問題(離職、混乱、停滞)が起きても、すぐに検知して復旧できるようにする。
組織における障害の例
- プロダクト開発、運用ができない状態になる
- 人が急に増えてカオスになりパフォーマンスや品質が低下する
- 認識が揃わず期待通りのものが出来上がらない
- 低い品質の結果、開発速度が遅くなる
- 人が急にいなくなって手が回らなくなる
- 誰かがボトルネックになって進まなくなる
- 運用負荷が高すぎて何もできなくなる
- 知識が失われてどうしていいかわからなくなる
- 目指す方向を見失い迷走する
- 特性上人は方向を見失いがちです。認識を合わせることが困難な上にすぐに忘れます。その上、組織の場合、人の入れ替わりによっても記憶のリセットが行われます
- 無力感に苛まれて辛い気持ちになる
- 計画していた仕事が終わらない状態が続くとチームは無力感を感じはじめます。また問題があるとわかっていながら他の作業を優先し続けるとどうせ優先度は上がらないと諦めはじめます
- コミュニケーションがしんどすぎて何も言いたくなくなる
- 手続きが複雑すぎて何もしたくなくなる
- 信頼関係が失われ、協力しあえなくなる
- チーム対チーム、マネージャー対チーム、その他何でも対人の信頼関係が失われると対話ができない状態になり、関係の修復は不可能に近くなります。対話のテーブルにつかない結果信頼が失われたのか、対話を試みたが信頼関係が失われたのか経緯は色々あると思いますが、最終的に対話が不可能な状態まで比較的短期間のうちに信頼関係が失われることがあります
モニタリングとSLO
まずはSLOが必要です。組織におけるSLOは何か考える必要があります。
システムに対してのSREではユーザーの幸福度と表現されていました。そして実際のSLOは主に稼働率が使われています。つまり関係性としてはSREの対象(システム)の価値を利用する主体(ユーザー)がどう感じるかがSLOの指標になりうるものです。組織の価値はプロダクトの提供を通してユーザーに価値、そして会社にお金を届けることなので、プロダクトがそれと言えるかもしれません。
そう考えると、プロダクトが良い感じに成長していること、良いプロダクトが良い感じに開発・運用できていることを計測するのが良いかもしれません。
思いつくのは以下のようなものでしょうか。わりとよくあるものな気がします。
- 良いプロダクトができている:NPSなどのユーザーの満足度などの指標
- 良い感じに開発している:Four Keysのようなプロダクトの開発状況を可視化した指標
- 良い感じに運用している:
- 時間の使い方に関する指標
SREの時間の50%はエンジニアリングに費やされるように努めています。オンコールは残りの時間の25%以上にならないようにして、他の25%はプロジェクトの作業ではない、他の種類の運用業務のために残せるようにします (Betsy Beyer; Chris Jones; Jennifer Petoff; Niall Richard Murphy. SRE サイトリライアビリティエンジニアリング p.133)- 可処分時間に対するMTGをしている時間の割合
- 改善チケットの消化率
- 時間の使い方に関する指標
その他の目標値として
- MTBF(平均故障間隔)
- バス係数など
- MTTR (平均復旧時間)
- 検知までの目標時間
- レトロスペクティブの間隔
- 対応までの時間
- 復旧までの時間
- オンボーディングにかかる時間
- 検知までの目標時間
これらを定め、モニタリングをすることで現状把握ができ、軌道修正が可能になります。
具体的にどんなSREプラクティスを適用したのか
いくつかの事例を紹介します。
1. リリースエンジニアリング:組織変革という「ビッグバンリリース」
システムの世界では、 単純なリリースは、概して複雑なリリースよりも優れています とされ、小さな変更を頻繁に行うことが推奨されます(Betsy Beyer; Chris Jones; Jennifer Petoff; Niall Richard Murphy. SRE サイトリライアビリティエンジニアリング p.104) 。しかし、組織においては時に「ビッグバンリリース」が必要な場面があります。
以前、私がSREチームを立ち上げた頃、プロダクト開発組織は30名規模で急成長中でした。会社全体でもいくつかのプロダクトがあり、合計で数百名のプロダクト開発組織の人員がいました。プロダクト単体でも会社全体でも成長痛によってコードも開発プロセスもカオスな状態で、限界が来ていました。色々な改善は行っていましたが、もっと根本的な行動の変容が必要でした。そこでCTO主導で スクラム を導入することになりました。
30人の組織(会社全体で見れば数百人)が一斉に働き方を変える。これは組織にとって巨大なリリースであり、リスクも高いです。 実際、組織が安定するまでには1年半ほどかかりました。
この時、SREの変更管理の観点で重要だったのは以下の2点です。
- プロトコルの徹底(課題と意図の説明)
- いきなり変えるのではなく、CTO → 事業長 → 部長 → マネージャーと、それぞれのレイヤーから「なぜやるのか(課題)」と「どうなりたいか(意図)」を段階的に説明しました。
- 「願望」を込める
- SRE的には
「願望は戦略ではありませんが、チームの士気を助けてはくれます(Betsy Beyer他『サイトリライアビリティワークブック』 p.372)。 組織という人間集団においては、 「チームにこう成長してほしい」というリーダーの熱意(願望)が、過渡期の士気を支える重要な要素になります 。
- SRE的には
2. 冗長化
特定のメンバーしか対応できないタスクがある状態は、システムで言う スティッキーセッション です。これはスケーラビリティのボトルネックになるアンチパターンなので、解消しなければなりません。誰でも誰かのタスクを引き継げるようにすることで、、MTBFを長く、MTTRを短くでき、安定したスループットが期待できます。
我々が決めたことは以下です。
- できるだけ全員同席で計画をすること
- できるだけ最小限の価値(1日で何らかの目に見える形になる)にチケット化すること
- チケット化の完了基準を明確にすること
- 基本的に「〜を作る」「〜を設定する」は完了を示していない
- 「xxxをしたときにyyyとなること」のような実際の振る舞いを完了の基準にする
- 基本的に「〜を作る」「〜を設定する」は完了を示していない
3. ロードバランシングと割り込み:スプリント期間の最適化
SREチームの永遠の課題として 割り込み作業 があります。 SRE本でも 最低でもSREの時間の50%はエンジニアリングに費やされるように(『SRE サイトリライアビリティエンジニアリング』 p.133) すべきとされていますが、運用現場では突発的なタスクが避けられません。しかも全部最優先みたいな状態でやってきます。せっかく1週間のスプリント計画をしても半分以上トイルのような割り込み作業をしていることもあります。
実際には割り込みにも期待される完了期限があり、すぐに対応しなければならないものや2、3日の猶予があるものもあります。スプリントバックログが全て終わらないことが常態化した後に、計画が終わらないこと以外にも以下の問題があると認識しました。
- 終わらないことを計画する時間は無駄である
- 長時間のプランニングは疲労によりさらに長時間化する(あるいは雑な計画になる)
すぐ対処しなければならないものは対処するとして、全てをスプリント計画に影響を与えるようにしてしまうべきではないし、可能な限りプランニングの時間を短くする必要がありました。
私たちのチームでは、「割り込みで計画が終わらない」→「無力感」という悪循環を断つため、いくつかの実験を行いました。
スプリントに「割り込みバッファ」を設ける
結果:バッファ以上に割り込みが来ることもあれば、来なくて手持ち無沙汰になることもあり、予測が困難でした。手持ち無沙汰になっているときは何かをしたいですが、中途半端な状態のチケットを中途半端に手を付けるというのは抵抗がありました。
スプリントを「1日」にする
結果:割り込みの影響は最小化できましたが、毎日プランニングと振り返りが発生し、管理コストが高すぎて疲弊しました。1日で終わらないタスクをスプリントに入れると状態が良くわからなくなりがちなので、削ってあるスコープをさらに小さくしたり、無駄に苦労しました。
スプリントを「2日」にする
結果:これが最適解でした。「すぐやるべき割り込み」は直ちに対応し、「猶予のある割り込み」は次の2日スプリントに回すことで、柔軟性と計画性を両立できました。
実際には、1週間を 2日スプリント + MTGなどの日 + 2日スプリント と分けました。こうすることでMTGなどの日に余った時間をリファクタリングや改善、探索活動にあてることもできました。
4. データの可用性:「バックアップ」ではなく「リストア」
組織におけるデータとは、知識や文化です。ドキュメントを書くことは「バックアップ」に相当しますが、SREの原則にはこうあります。
バックアップをしたい人はいないのであり、人々が本当に求めているのはリストアです(『SRE サイトリライアビリティエンジニアリング』 p.361)
ドキュメントがあっても、いざという時に誰もそれを読んで業務を回せなければ(リストアできなければ)意味がありません。そこで、メンバーの退職や異動が決まった際、引き継ぎ期間中に 「有給消化を前倒ししてもらう」 という実験を行いました。 「その人がいない状態で、実際に残ったメンバーだけで業務を回してみる(リストア試験を行う)」 のです。
これにより、本人が完全にいなくなる前に属人化(SPOF)を解消し、知識が確実に継承されるようになりました。
ちなみにこの期間は後述のプラクティスを取り入れることにより、引き継ぎ作業というものは0になり、本当にいなくても大丈夫なのかという検証期間になりました。
5. トイルの撲滅:暗黙知はバグである
SREにおいてトイルとは、 「日常的に繰り返される運用上の作業であり、永続的な価値を生み出さず、サービスの成長に比例してスケールするもの」(『SRE サイトリライアビリティエンジニアリング』 p.25) と定義されています
「これってどうやるんですか?」と人に聞き、知っている人が教える。これは一見良いコミュニケーションに見えますが、「暗黙知を伝える作業」はトイルです。
「準備とドキュメンテーションの価値を信じること」(『SRE サイトリライアビリティエンジニアリング』 p.xvi)
私たちは、ドキュメントがない、あるいはハイコンテキストすぎて分からない状態は 組織のバグ として扱い、3つのルールを設けました。
- 聞いた人が暗黙知だと思ったら、その場でドキュメント化する
- ドキュメント作成をタスクにいれる(共有が必要と思われる場合)
- 初めて運用される作業はペア(モブ)作業とする(知っている人が1人しかいないことは共有する)
結果、「だめだ、あの人が休んでるからわからん」ということもなくなり、
一時的な暗黙知以外はなくなりました。
6. 自動化
オンボーディングプロセスのドキュメントを更新することで、暗黙知をさらに減らし、立ち上がり速度を速めることができます。
私たちは常にオンボーディングプロセスが最新の状態を保ち続け、効率的になるように オンボーディングプロセスの改善とドキュメントの更新をする というタスクを加えました。これによってオンボーディングプロセスが短縮されました。
7. セルフサービスと評価基準
SREチームがスケールするためには、 「チームは自給自足でなければなりません」(『SRE サイトリライアビリティエンジニアリング』 p.92) 。
個人目標設定や評価のたびに思い出したようにその話をすると時間がかかるし、メンバーが自分からアクションができません。
評価基準を明示することによって目標も立てやすく評価も分かりやすくなりました。
Lv1〜Lv4までの 「評価基準(期待値)」 を明文化しました。
- Lv1: SRE原則の理解、IaC、オンコール対応など
- ...
- Lv4: SRE本3冊を丸暗記しているくらいの深い理解、組織改善の実践など
これにより、メンバーは自分に何が足りないかを把握し、セルフサービスでスキルアップに取り組めるようになりました。
もちろんこの基準自体はメンバー自身で修正を提案できます。
8. セルフサービスと目標設定
スケールするためには、自分たちが何をするのか計画を立てることもメンバー自身でできる必要があります。どうやって課題を評価するのか、どうやって順序付けるのかという基準を明確にしました。
そして3か月ごとに計画を立てて振り返り、基準を変えたり、働き方を変えたりしてより良い計画と実行ができるように調整を重ねました。
それについては詳しくはこの辺に。
9. キューの監視
キューとプロダクトのバックログ、サブスクライバーと人は似た概念です。
キューの監視は主にサイズ、滞留時間、スループットをみますが、バックログも同様に以下を監視することで健全性が確認できます。
- バックログアイテムの数の変化
- バックログアイテムの生存期間
- バックログアイテム消化のスループット
システム的なキューと違うのは、キューに入るメッセージは基本的に実際に需要のあるものですが、バックログには本当に今そこにある必要があるかどうかわからないものも入る可能性があります。バックログのサイズが膨れ上がると認知負荷が高まり、並べ替えることが実質的に不可能になるので、サイズの上限を定め、直近やらない(順序を考える範疇にない)というものは定期的に掃除をすることにしました。
30個程度なら何とか快適に過ごせることがわかりました。
10. Timeout
タイムボックスという概念があります。タスクが終わるまでやるのではなく、この時間の枠でこのタスクを行うという考え方です。
例えば、
- スプリントは1週間の枠
- 作業の粒度では15分単位の枠
- 3ヶ月単位の枠
理想時間で見積もった上でそれぞれの枠で何を達成するのか決めます。
そうすると、タイムボックスをオーバーした場合には何かの問題が発生していると考えられます。何かにはまっている時はそれの解決に1人で格闘しがちですが、チームで話せば一瞬で解決することも多いです。そもそもそれやらなくてもいいんじゃない?という会話もよく見かけます。
11. 監視間隔
リアルタイムで作業状況を監視できれば理想ではありますが、頻度を上げれば負荷がかかります。
- 1日単位の監視: デイリースタンドアップMTG
- チームの初期状態ではタスクの粒度が大きく、1日で1つのタスクが終わらないことが多く、問題があってもなくてもよくわからなかった
- 1日1回の共有があるからその場で聞くことをためらう
- 1日3回共有することにしたところ、共有することに抵抗感は減ったが、負担になるのですぐやめることになった
- 基本的にチケット化の粒度を1日で何らかの目に見える形になるようにチケット化することで状況を把握しやすくなった
- スプリント単位の計画の監視
- 計画したことに時間を使えたか
- 計画時の見積もりより大きく時間がかかったものがあるか
- 時間がかかる問題を把握し必要であれば改善をする
- 1カ月単位の計画の監視
- 月に一度どれくらい3ヶ月の計画とずれているのか検査する
- 計画したことに時間を使えているか
- 計画時の見積もりより時間がかかったか
- なぜ時間がかかったのか、この先何に時間がかかりそうかを把握し、問題の解消をするか計画を見直す
- 3ヶ月後に
- 計画したことに時間を使えたか
- 計画時の見積もりより時間がかかったか
- なぜかかったのか問題を把握し必要であれば改善をする
12. Delegation
依頼への対応や承認について、本質的にはいらないものがあります。
- 前は必要だったかもしれないけどもう不要なもの
- 何か条件を満たせば不要になるもの
移譲できるものは移譲しました。
例えば、
機能開発チームがAWSの権限を持っていないから開発中にAWSリソースの構築待ちが発生していました。検証環境と本番環境の権限の一部を渡し、terraformの書き方がわからない人向けにペアプロやドキュメントを充実させる、サンプルコードを作るなどをしてSRE以外の誰でもできるようになりました。
チームレベルで取り除けない障害への対処
例え信頼性に優れたチームができあがっても、チームレベルで対処できない危機があります。特に大きな問題となるのは強い権力のある障害です。
これは、会社レベルでの対応が必要になりますが、そんなときに必要になるのが全社的な 心理的安全性とフィードバック文化 です。(U-ZEROはそんなフィードバック文化を根付かせるためのサービスを提供しています)
まとめ:SREは「組織作り」のヒントになる
SREチームで実践したプラクティスはいくつかの他のチームでも実際に行い、有効であることを検証しました。
SREの知恵は、システムだけでなく、組織を強くするヒントにも満ちています。SREの視点で見てみると、漠然としていた組織課題の解決策が論理的に見えてくることがあります。
組織作りに正解はありませんが、組織に問題があった時に 「これをシステムとして見たらどう設計するか?」 と考えてみることは、持続可能で信頼性の高いチームを作るための有効なアプローチだと実感しています。
Discussion