🎃

サイバーエージェント 機械学習基盤体験型2daysインターンシップ ~スケジューラー編~ に参加しました

に公開

はじめに

株式会社サイバーエージェントの(バックエンド・インフラエンジニア向け ML基盤体験型2daysインターンシップ ~スケジューラー編~)にて2日間のインターンシップに参加しました。

大学の春休みの間に参加したインターンで多くの学びがあったので記事を書いてみようと思いました。このインターンで目標としていたのにできなかったこと、できたことについてお話していきます。この記事が少しでも参考になれば嬉しいです。

募集対象・条件

  • 機械学習におけるインフラに興味がある方
  • 高い意欲を持ち、主体的かつ積極的に取り組むことができる方
  • 2028年4月以降に入社可能な学生(既卒可)
  • 日本語での会話が可能な方
  • OSはWindowsまたはMac(その他のOSは応相談)
  • 無線LANでネットワークに接続可能であること
  • SSH接続が可能であること
  • 事前配布資料に基づいて持参予定のノートパソコンに Go や Docker などのツール類のセットアップが可能であること

選考の流れ

  • 公式ページからエントリー
  • 書類選考

僕の場合はこのような流れで行いました。エントリーでは、チーム開発経験、実務経験、キャリアに関する質問がありました。

応募した理由

もともとサイバーエージェントにとても興味があった事に加え、インフラ関係に漠然と興味があったいうのもあります。正直、サイバーエージェントのインターンは倍率が高く、書類選考で落ちるかと思っていましたが、無事に合格したので嬉しかったです。やはりだめもとでエントリーしてみるものですね。

インターンで行ったこと

インターン2日間は基礎学習と発展課題で分かれていました。基礎学習の内容はとても進みが早く感じ、かといって付いていけないと思ったのですが先生方やメンターのおかげもあり何とかしがみつきました。

Day1

Kubernetes基礎

Day1の最初のセッションでは、Kubernetesとコンテナの基礎について学びました。コンテナの仕組みやKubernetesの宣言的なリソース管理、Podの概念など、基本的な部分から丁寧に教えていただきました。

kube-apiserver、etcd、kube-scheduler、kubeletなど、Kubernetesの内部コンポーネントの役割も学びました。Jobを作成したときに各コンポーネントがどう連携して処理を進めるかを追跡しました。

kube-schedulerの深掘り

次のセッションでは、kube-schedulerの内部構造と拡張方法について学びました。kube-schedulerはPodをどのNodeに配置するかを決めるコンポーネントで、Scheduling Frameworkというプラグインアーキテクチャで動いています。

PreFilter、Filter、Score、Reserveなど複数のExtension Pointがあり、それぞれの段階でスケジューリングを判断する仕組みを知りました。拡張方法としてはWebhook、Go Plugin、WASMの3種類があります。今回のインターンではGo Pluginを使った拡張に取り組みました。

ML基盤 on Kubernetes

Kubernetes上での機械学習ワークロードの管理についても学びました。MLモデルの開発にはデータ準備から学習、デプロイまで多くのステップがあります。KueueやJobSetなどのエコシステムを活用して管理しているという話を聞きました。

インフラ環境 & ハンズオン

実際のハンズオン環境として、GKE(Google Kubernetes Engine)のクラスタが用意されていました。チームごとにNamespaceが分かれた環境で、踏み台サーバを経由してクラスタにアクセスし、サンプルJobの作成・実行を確認しました。

Day2: kube-schedulerの拡張実装

Day2では、Day1で学んだ知識をもとにkube-schedulerのPlugin拡張に取り組みました。

実装のアプローチ

何を実装するか最初は案がまとまりませんでした。メンターの方々に実務の話をヒアリングさせていただき、実際の運用で起こるトラブルを想定した機能を実装することにしました。

実装内容

主に2つの機能を実装しました。

1つ目は、GPUの故障を想定したエラーハンドリングです。メンターの方から「GPUはよく壊れる」という話を聞き、スケジューリングの早い段階で故障ノードを弾く仕組みを作りました。

2つ目は、GPUの性能に応じてスケジューリングの優先度を変える機能です。重い処理が来た場合に、性能の良いGPUへ優先的に割り当てられるようにしました。

どちらもNodeのラベルへ手動で情報を記入する必要がある点は課題だと感じました。

最終発表

2日目の最後には、各参加者が取り組んだ内容を発表しました。

感想・学び

学んだこと

Kubernetesの内部の仕組み、特にkube-schedulerの構造を知れたのは大きな収穫でした。普段Kubernetesを使っていても、スケジューリングの裏側でどんな処理が動いているかは意識していなかったので新鮮でした。

また、実装の方向性を決める際にメンターの方々から実務の話を聞けたのもよかったです。「GPUはよく壊れる」といったリアルな運用の話から実装のアイデアが生まれたのは、インターンならではの経験でした。

反省点

最初に何を実装するか案がまとまらず、時間を使ってしまいました。また、自分のOSがWindowsだったためWSLの調子が悪く、環境構築で苦労する場面がありました。事前の環境準備はもっとしっかりやっておくべきだったと反省しています。

最後に

2日間という短い期間でしたが、座学から実装、発表まで密度の高い体験ができました。メンターの方々にも丁寧にサポートしていただき、とても充実したインターンでした。

GitHubで編集を提案

Discussion