numekudi

<h2 id="cloudrun%E3%81%99%E3%81%94%E3%81%84%E3%83%9D%E3%82%A4%E3%83%B3%E3%83%88">
<a class="header-anchor-link" href="#cloudrun%E3%81%99%E3%81%94%E3%81%84%E3%83%9D%E3%82%A4%E3%83%B3%E3%83%88" aria-hidden="true"></a> CloudRunすごいポイント</h2>
<ul>
<li>実行時のみ課金</li>
<li>タイムアウト上限デフォルト5分、上限60分</li>
<li>Githubと簡単に連携できた！</li>
<li>フロントのデプロイもできる！<br>
バックエンド版Vercelみたいな感じ</li>
</ul>
<h2 id="llm%E3%81%A8%E3%82%B5%E3%83%BC%E3%83%90%E3%83%AC%E3%82%B9%E3%81%AE%E7%9B%B8%E6%80%A7%E3%81%9D%E3%82%82%E3%81%9D%E3%82%82%E6%82%AA%E3%81%84%E3%82%88%E3%81%AD%E5%95%8F%E9%A1%8C">
<a class="header-anchor-link" href="#llm%E3%81%A8%E3%82%B5%E3%83%BC%E3%83%90%E3%83%AC%E3%82%B9%E3%81%AE%E7%9B%B8%E6%80%A7%E3%81%9D%E3%82%82%E3%81%9D%E3%82%82%E6%82%AA%E3%81%84%E3%82%88%E3%81%AD%E5%95%8F%E9%A1%8C" aria-hidden="true"></a> LLMとサーバレスの相性そもそも悪いよね問題</h2>
<p>関数サービスの代表格、AWS lambdaには次のような弱点がある</p>
<ul>
<li>すぐタイムアウトする</li>
<li>API Gatewayのタイムアウト上限が30秒
<ul>
<li>severless frameworkだと使用させられるっぽい？</li>
</ul>
</li>
<li>関数URLならストリーミングレスポンスできるが、わざわざ設定しなくてはならない</li>
<li>ECR経由でイメージを適用しなくてはならない</li>
</ul>
<p>とにかくlambdaだと...めんどい！</p>


<p>価格面</p>
<p>lambda 512MB<br>
0.0000083 USD/Sec</p>
<p>CloudRun 512MB<br>
0.00002525 USD/Sec</p>
<p>流石に3倍高いとびみょいか？</p>
