<p data-line="0" class="code-line">こんにちは。アスエネ株式会社でバックエンドエンジニア兼PMをしているハルピンです！</p>
<h2 id="%E3%81%8D%E3%81%A3%E3%81%8B%E3%81%91" data-line="2" class="code-line">
<a class="header-anchor-link" href="#%E3%81%8D%E3%81%A3%E3%81%8B%E3%81%91" aria-hidden="true"></a> きっかけ</h2>
<p data-line="4" class="code-line">最近、社内でデータの整形処理をどう自動化・効率化するかという議論がありました。その中で候補に挙がったのが、AWS Glueです。</p>
<p data-line="6" class="code-line">ただ、僕は「Glueって何？」という状態だったので、Glueについて調べ、導入検討の判断軸を整理し、実際に何を採用したかのお話ができればと思っています。</p>
<h2 id="glue%E3%81%A3%E3%81%A6%E3%81%9D%E3%82%82%E3%81%9D%E3%82%82%E4%BD%95%EF%BC%9F" data-line="8" class="code-line">
<a class="header-anchor-link" href="#glue%E3%81%A3%E3%81%A6%E3%81%9D%E3%82%82%E3%81%9D%E3%82%82%E4%BD%95%EF%BC%9F" aria-hidden="true"></a> Glueってそもそも何？</h2>
<p data-line="10" class="code-line">Glueは一言で言えば、<strong>AWS上でETL（データの整形）処理を自動で行うサービスです</strong></p>
<p data-line="12" class="code-line"><img src="https://storage.googleapis.com/zenn-user-upload/fdc90e2bf4c8-20250725.png" class="md-img" loading="lazy"></p>
<p data-line="14" class="code-line">主な機能を整理します。</p>
<ul data-line="16" class="code-line">
<li data-line="16" class="code-line">
<strong>クローラー</strong>：S3などのファイルを読み取って、データ構造（スキーマ）を自動判別</li>
<li data-line="17" class="code-line">
<strong>データカタログ</strong>：その構造情報を管理・再利用できる“辞書”のような存在</li>
<li data-line="18" class="code-line">
<strong>ETLジョブ</strong>：Pythonなどで変換処理を書いてバッチ実行できる</li>
<li data-line="19" class="code-line">
<strong>トリガー／サーバレス</strong>：決まった条件で起動したり、インフラ準備がいらなかったりする</li>
</ul>
<p data-line="22" class="code-line"><img src="https://storage.googleapis.com/zenn-user-upload/40b338ed5ae8-20250725.png" class="md-img" loading="lazy"></p>
<p data-line="24" class="code-line">ETLの流れで言うと、こんな役割です</p>
<div class="code-block-container"><pre><code class="code-line" data-line="26">収集（Collect） → 蓄積（Store） → 整形（Transform ←ここがGlue） → 分析・活用
</code></pre></div><p data-line="30" class="code-line">ちなみに、Glueって英語で「のり（糊）」という意味で、「バラバラのデータをくっつけて整える」というイメージです。</p>
<p data-line="32" class="code-line"><img src="https://storage.googleapis.com/zenn-user-upload/dfa7e351eff3-20250725.png" class="md-img" loading="lazy"></p>
<h2 id="%E3%80%8Cglue%E4%BD%BF%E3%81%88%E3%81%B0%E8%89%AF%E3%81%84%EF%BC%81%E3%80%8D%E3%81%A8%E3%81%AF%E3%81%AA%E3%82%89%E3%81%AA%E3%81%8B%E3%81%A3%E3%81%9F" data-line="34" class="code-line">
<a class="header-anchor-link" href="#%E3%80%8Cglue%E4%BD%BF%E3%81%88%E3%81%B0%E8%89%AF%E3%81%84%EF%BC%81%E3%80%8D%E3%81%A8%E3%81%AF%E3%81%AA%E3%82%89%E3%81%AA%E3%81%8B%E3%81%A3%E3%81%9F" aria-hidden="true"></a> 「Glue使えば良い！」とはならなかった</h2>
<p data-line="36" class="code-line">Glueの説明だけ見ると、「自動でやってくれるしこれで決まりだ！」と思いました。でも調べていくうちに、<strong>実際の導入シーンを考えると、色んな疑問が出てきました</strong>。</p>
<ul data-line="38" class="code-line">
<li data-line="38" class="code-line">同じことはLambdaでもできる？</li>
<li data-line="39" class="code-line">コスト感がようわからんけど、高くつく？</li>
<li data-line="40" class="code-line">コードはちゃんと管理できる？</li>
</ul>
<p data-line="42" class="code-line">そこから、「ほんとにGlueがベストなのか？」と改めて考えるようになりました。</p>
<h2 id="%E6%AF%94%E8%BC%83%E3%81%97%E3%81%A6%E3%81%BF%E3%81%A6%E8%A6%8B%E3%81%88%E3%81%A6%E3%81%8D%E3%81%9F%E3%81%93%E3%81%A8" data-line="44" class="code-line">
<a class="header-anchor-link" href="#%E6%AF%94%E8%BC%83%E3%81%97%E3%81%A6%E3%81%BF%E3%81%A6%E8%A6%8B%E3%81%88%E3%81%A6%E3%81%8D%E3%81%9F%E3%81%93%E3%81%A8" aria-hidden="true"></a> 比較してみて見えてきたこと</h2>
<p data-line="46" class="code-line">GlueとLambda、どっちで処理するかを選ぶときに、以下のポイントで比べました：</p>
<table data-line="48" class="code-line">
<thead data-line="48" class="code-line">
<tr data-line="48" class="code-line">
<th>観点</th>
<th>Glue</th>
<th>Lambda</th>
</tr>
</thead>
<tbody data-line="50" class="code-line">
<tr data-line="50" class="code-line">
<td>データ量</td>
<td>大量（GB〜TB）向き</td>
<td>少量・軽量処理向き</td>
</tr>
<tr data-line="51" class="code-line">
<td>処理時間</td>
<td>最大48時間</td>
<td>最大15分まで</td>
</tr>
<tr data-line="52" class="code-line">
<td>開発性</td>
<td>GUIベース、CLI連携に工夫必要</td>
<td>Git・CI/CDと相性◎</td>
</tr>
<tr data-line="53" class="code-line">
<td>コスト</td>
<td>DPU×時間で課金、高め</td>
<td>軽量なら安いが回数に注意</td>
</tr>
<tr data-line="54" class="code-line">
<td>リアルタイム性</td>
<td>△ 定期バッチ向け</td>
<td>◎ S3イベントなどに即反応</td>
</tr>
</tbody>
</table>
<p data-line="56" class="code-line">自分なりの判断軸としては</p>
<p data-line="58" class="code-line">Glueを使うなら：</p>
<ul data-line="60" class="code-line">
<li data-line="60" class="code-line">データ量が多くて変換処理が複雑なとき</li>
<li data-line="61" class="code-line">定期的に決まった時間に処理を回したいとき</li>
<li data-line="62" class="code-line">処理時間が長くかかっても問題ないとき</li>
</ul>
<p data-line="64" class="code-line">Lambdaを使うなら：</p>
<ul data-line="66" class="code-line">
<li data-line="66" class="code-line">ファイル単位で軽めの整形をしたいとき</li>
<li data-line="67" class="code-line">イベントドリブンにすぐ反応させたいとき</li>
<li data-line="68" class="code-line">Gitでコード管理したいとき</li>
</ul>
<p data-line="70" class="code-line">このように、「Glueは重バッチ向き」「Lambdaは軽量・リアルタイム処理向き」という棲み分けが見えてきました。</p>
<p data-line="72" class="code-line">また、選定にあたっては単なる機能比較だけでなく、コスト感や扱いやすさ（運用・開発のしやすさ）など、プロジェクトの状況に合わせた総合的な判断が必要になります。</p>
<p data-line="74" class="code-line">今回はそうした観点も踏まえたうえで、実現度が高く、コスト感に優位性がある選択肢としてLambdaを採用しました！</p>
<h1 id="%E3%81%BE%E3%81%A8%E3%82%81" data-line="76" class="code-line">
<a class="header-anchor-link" href="#%E3%81%BE%E3%81%A8%E3%82%81" aria-hidden="true"></a> まとめ</h1>
<ul data-line="78" class="code-line">
<li data-line="78" class="code-line">Glueは「整える」部分を自動化してくれる便利なサービス</li>
<li data-line="79" class="code-line">ただし、Lambdaでも同じことを実現できないかは比較しても良さそう</li>
</ul>
<p data-line="81" class="code-line">ここまでお読みいただき、ありがとうございます！</p>
<p data-line="83" class="code-line">最後になりますが、アスエネでは一緒に働くエンジニアを募集しています。</p>
<p data-line="85" class="code-line"><a href="https://herp.careers/v1/asuene/requisition-groups/6dcfd5d2-d105-4dd6-bfc8-73b5fd7cede8" target="_blank" rel="nofollow noopener noreferrer">開発本部 の求人一覧 - アスエネ株式会社</a></p>
<p data-line="87" class="code-line">まずは、選考要素のないカジュアル面談も歓迎しています。</p>
<p data-line="89" class="code-line">僕のPitta(旧：Meety)も記載しておきますね。</p>
<p data-line="91" class="code-line"><span class="embed-block zenn-embedded zenn-embedded-card"><iframe id="zenn-embedded__bc0d15d4cb0f8" src="https://embed.zenn.studio/card#zenn-embedded__bc0d15d4cb0f8" data-content="https%3A%2F%2Fpitta.me%2Fmatches%2FWfARZpMbREsd" frameborder="0" scrolling="no" loading="lazy"></iframe></span><a href="https://pitta.me/matches/WfARZpMbREsd" style="display:none" target="_blank" rel="nofollow noopener noreferrer">https://pitta.me/matches/WfARZpMbREsd</a></p>
<p data-line="93" class="code-line">人類が未だかつて直面したことのない、地球規模の課題を解決するためのシステム開発は面白いですよ！</p>
<p data-line="95" class="code-line">関心や共感のある方は、ぜひお話を聞きに来てください！</p>


【図解】AWS Glueってそもそも何？調べて比較して選定を考えた話

「Glue使えば良い！」とはならなかった

Discussion