Open1
netflixのパイプライン処理
minmin
netflixのクラウドパイプライン。
2022年の論文とはいえconductorという軸のソフトウェアがメンテナンス終了してたり、
現在は違う状態の可能性があり。
- 大規模な組織の中でマルチサービスアーキテクチャを運用する必要がある
- 効率よく行うためにStudio Orchestratorというパイプラインソフトウェアを作成している
- ３つの機能が軸になっている
- state machine
- 認証やワークフロウの状態管理
- process orchestrator
- リソースの依存関係等のワークフロウの実行の整理
- resouce manager
- エンティティ(いわゆるデータ)へのアクセス管理
- state machine
- 権限に関してはドメイン毎に分けている
- 具体的にはプロダクション内のドメイン毎にadmin,manager,cllaborator,uploaderに分け、それをユーザーに割り振っている
- conductorというものを使っている
- https://github.com/Netflix/conductor
- awsのステップファンクションっぽい？