4RAP におけるバッチ開発の工夫について
はじめに
2022/07から株式会社 FOLIO で働いている田口と申します。
私が所属しているチームは、4RAP というプロダクト(金融機関の「投資一任サービス」を実現する SaaS 型プラットフォーム)において、金融機関とのデータのやり取りを行うインターフェイス部分の開発・運用を担当しています。
金融機関 <-> 4RAP 間、または 4RAP のマイクロサービス間におけるデータのやり取りは、ファイルをお互いに設置しそれを読み込むことによって実現しています。そのため必然的にバッチ処理が中心となったシステムを構築しており、現在では 450 個を超えるバッチが動いています。
システム・バッチ設計自体については上記の記事に譲り、本記事では運用・開発者としての工夫について書いていこうと思います。主に弊チームにおけるコーディングガイドの内容を抜粋するような形で弊社のバッチ開発・運用における工夫の一端を紹介させていただきます。
運用・開発者としての工夫4選
ユースケースを跨いで Reader は共有しない
4RAP は最初に作られた重要なマイクロサービスを中心に、木の年輪のように新しいマイクロサービスを実装し、発達してきたサービスです。その中心にある(最古の)マイクロサービスは DDD の思想で作られており、Repository パターンを用いて実装されています。ですが、運用を進める中で自分たちがやりたいことと DDD の Repository パターンと相性が良くないことがわかり、外側のマイクロサービスについては Repository パターンではなく CQRS を参考に新しいアーキテクチャに変更しました。
自分たちがやりたいことと DDD の Repository パターンと相性が良くない
この具体例としては、バグの修正や機能改修を進める中で、性能面の懸念から Repository パターンで集約ごと取得するという方法論を迂回することが多くそれが積み重なった結果、修正の足枷になったり神クラスになってしまったり、二次障害を生みかねないような事態が頻発したりしたそうです。そこで現在は、
- Reader クラス
- ユースケースを跨いで共有はしない。
- Writer クラス
- こちらはユースケースを跨いで共有 OK
- Service クラス
- ユースケースを跨いだ共通処理を各クラス
- SQL が同じだから共有する、のではなくドメインとして同じ操作が必要な場合に共通化する
というアーキテクチャに則り運用をしています。特に Reader クラスについては、障害時や機能改修時に気にしなくてはいけないことが大幅に減るので、とても有用なルールだと感じています。
私としては転職前の直近が DDD っぽいシステムのメンテをしていたのもあり、このルールがあること自体にまずびっくりしたのですが、経緯を知り運用のしやすさを知るととても合理的なものだなと感じています。システムの特性によって、設計パターンは使い分けるのが大事なんですね。
テーブルのデータ不整合に気づく仕組み
堅牢な運用が求められる金融システムにおいて個人的に「なるほどな」と膝を打つことが多かったのは、テーブル取得やそのデータの取り扱いに対する思想でした。
存在することが期待される場合の table の join についても left outer join を使う
※この Tips に関してはコーディングガイドではなく設計の指針ですが、面白かったので紹介したいと思います。
タイトルのままなので特に詳細を書くほどでもないのですが、FOLIO のバッチの設計において、存在することが期待される場合の table の join についても left outer join を使っている場面を多く見かけます。
これは、存在しなかった場合にアプリケーション側のエラーとしてハンドリングしてデータ不整合に気付けるようにしているというのが主な理由です。運用をする中でさまざまな理由でデータ不整合が発生するかと思うのですが、その際に inner join を使っていると想定しているデータを取得できなかったことに気づけずに、適切な計算を行えないという問題が発生する可能性があります。
たとえば運用する中で fk を外したもののバッチ実装側の修正を忘れていた、という場面がわかりやすいでしょうか。そのような場面において気づく手段を持っていることが堅牢なシステム運用につながっているんですね。
※ left outer join を使うようにすることで起こるパフォーマンスの低下については、適宜(Pull Request 前のセルフレビュー時やスロークエリ検知時など)に explain をとり対処することで立ち向かっています
List::toMap する時の落とし穴に対する対処
こちらも考え方としては同じ類のものになるのですが、テーブルから取得した List(などの配列) の record 一覧を key: id, value: table_record のような Map(HashMap)で持ち直すという処理をよく書くと思います。その処理を書いたときは id だけで一意になるようなデータ構成だったとしてもそれが運用の中で崩れる可能性は先ほどの例同様存在しますよね。
よくある Scala の実装として
val records: List[CustomerRecord] = ??? // DB からとってきた形を想定
records.map(record => record.customerId -> record).toMap
のようなことをやりがちですが、この例だと customerId が重複していた場合黙って片方消されてしまうんですね。その時データ不整合が起こっていた(想定していないデータ重複が発生していた)場合に気づけないというわけです。
このようなよくある場面に対して、
- 基本は List::toMap は使わない。
- groupByUnique という独自定義をした関数を利用しデータ不整合を検知する
ということをやっています。こちらは実装面でデータ不整合に気付けるいい仕組みだと感じています。
バッチ処理のロギングについて
前述した通り、弊チームのシステムはバッチ処理が中心になります。バッチ処理においてログの重要度は高くコーディングガイドにはロギングについてもたくさんのガイドラインを設けていますが、その中でもデータアクセス時のロギングについて少し紹介したいと思います。
バッチ処理を行うにあたって、Stream 処理を行っており Stream は chunk という分割された単位で処理をすることになります。
バッチ処理あるあるとして、以下のような辛みが存在すると思います。
- 処理が完了するまで何も音沙汰がなくてどのくらい進捗しているのか分からない
- ハングしているのか、単に時間がかかっているだけなのか分からない
弊社では Stream の chunk 単位でログを逐次出力されるようになっており、進捗やボトルネックについてログの分析によって把握できるようにしています。また chunk を跨いだロギングの仕組みとしてCountLoggerというオブジェクトを用意しており、使用感を統一しています。
- Stream で処理する総件数に対しての key は
${table_name}(SELECT)とする - フィルタした件数に対しての key は
${table_name}(EXCLUDED)とする - DB への出力の場合、出力先のテーブル単位でカウントする
- key は
${table_name}(${action_name})とする - (action_name は INSERT や UPDATE など)
- key は
- S3 より取得した総件数(Stream で処理した件数)を出力する場合の key は
${json_schema.title}(${schema_version}/READ)とする
というようなルールを用いて、ログを見ただけで処理の流れや状態が追える状態を目指しています。
関数型・オブジェクト指向のバランス
※工夫というよりは指針ですが、開発者としての思想がよく現れているので紹介させてください。
弊社のバックエンドは Scala を採用しており、その中でも弊チームは Cats(Cats Effect) という関数型ライブラリを中心に Doobie, Crice, FS2, Refined といったライブラリを主に使っています。Cats は雑にいうと Haskell っぽく書けるライブラリというイメージなのですが、側からそれだけ聞くと「小難しいことやっているんだろうな...」と思ってしまうかと思います。
実際には、アプリケーション層においては Scala すら触ったことのないような人でも「あれ、なんか全然すらすら読めるぞ?」みたいなくらいに簡素に書かれており、その考え方がコーディングガイドにまとまっていますので紹介します。
| 項目 | 観点 |
|---|---|
| 過剰に抽象的にもならず、処理の流れが見えないほど実装詳細が流出していない中間の状態を狙う | 多様な読み手にとって分かりやすいコードを心がける。 ・例) エフェクトはF[_]で抽象化せずIOを使う。 ・例) TableReaderとかはテーブルから読むのかS3から読むのかは隠蔽してない ・例) 一方SQLはReaderImplの中に隔離する |
| アプリケーションと基盤コード(foundation)で考え方を分ける | アプリケーションはビジネス・ドメイン知識が素早く読み取れることを重視する ・深夜3時でデッドラインまで後二時間でも分かるコードにする 基盤コードは技術的な複雑性を隠蔽してアプリケーションが分かりやすいコードを書けるようなサポートを行う |
| アプリケーションの考え方 | 少数のプリミティブで実装されており、読み手に多大な知識を求めない状態が理想 ・ドメイン知識・実装知識ともに少ない知識で読みとけるほうが良い。 必要に応じて実装に依存する ・例: 多くの場合でmonaderrorではなくioに依存させている(エフェクトラッパー非依存にするメリットは取らず、具体的になることによる分かりやすさをとった) 現在使われてない物でも多くの場合で使えるテクニックであれば布教して広めていくと良い ・どこまで取り入れるかは非常に難しいのでチームで議論し続けていく必要がある ・一部の実装でのみ使えるものはパターンマッチやよくあるprimitiveで表現できるかを検討するとよい |
| 基盤コード(foundation)の考え方 | ・技術的な複雑さをラッピングして簡単にするのを心がける ・IOとConnectiojnIOをF[_]で受け取る。とかはアプリケーションではやってないが基盤コードではやっている。(2つの実装を適切に呼び分けるより型引数に渡したほうがみんなが使いやすいから) |
※ Cats に触ったことがないと一部何言ってるのかよくわからん記述があるかと思うのですが、弊社に入ったらそこも含めて丁寧にメンターが説明してくれますのでご安心ください。
ざっと見ていただくと「誰がいつ見てもパッとわかるようにコードは書こうね」「でも利がある場合は布教できたら使っていいとするものもあるよ」という話になっています。個人的にはこの考え方が全体的にとても気に入っていて、過去に書いた尖ったコードを時々思い出しては恥ずかしい気持ちになっています。
現在使われてない物でも多くの場合で使えるテクニックであれば布教して広めていくと良い
これに関して私自身がやったこととしては ValidatedNel という構造体を使うとシンプルに読み書きができる場面があり、それについて議論とオンボーディング資料を用意して普及して使わせてもらったりなどの実績があります。(以下リンクにそのオンボーディング資料(newbie と呼ばれる新入社員用の練習リポジトリの一端)が載ってあります)
おわりに
弊チームにおける運用や開発の工夫についてかいつまんで紹介させていただきました。
少しでも、へぇ〜と思っていただけると嬉しいです。コンテキストが伝わりづらいので今回は選びませんでしたが弊チームではコーディングガイド中級編というものもあり
- ストリーム処理におけるチャンクまたぎ時の注意点
- doobie.ConnectionIOとcats.IOを組み合わせた分散トランザクション
- doobie.ConnectionIOとトランザクション境界/ロールバックの取り扱い注意書
- MySQLチューニング方針
というタイトルの記事が現存しています。もしこのタイトルを見て「おっ」と思ったり「一家言あるぞ」と言えるような方はきっと弊チームの即戦力になっていただけるかと思います。
この記事を読んで「もっと詳しく話が聞きたい」や「うちだとこういうことやっているよ」みたいに話していただける方がいらっしゃったら、私の X に DM などいただけると幸いです。
https://x.com/nozomitaguchi
Discussion