LLMをAWS Lambdaで動かす

大きなモデルだと厳しいかもだけど、小さめのモデルや量子化されたモデルならばLambdaで動かせるんではないか？課題は色々ありそうだけど、Bedrockで提供されていないモデルとかが使えると良いなと思うので、まずはトライしている記事を集める。

https://sebastianpdw.medium.com/serverless-llm-inference-with-ollama-29596ba5dd4e

https://www.reddit.com/r/aws/comments/180x2vt/running_mistral_7b_llama_2_13b_on_aws_lambda/

https://medium.com/@seanbailey518/deploy-serverless-generative-ai-on-aws-lambda-with-openllama-793f97a7cbdd

https://github.com/baileytec-labs/llama-on-lambda

https://zenn.dev/fusic/articles/llm-on-aws-lambda

https://zenn.dev/nakamura196/articles/98e925a8821c4d

https://aws.amazon.com/jp/blogs/compute/hosting-hugging-face-models-on-aws-lambda/

https://qiita.com/oddgai/items/0d86e13014f898b6f811

https://medium.com/@mgsudhanva/deploying-hugging-face-transformers-model-on-aws-lambda-with-docker-containers-84c6f4483f2a

https://motemen.hatenablog.com/entry/2022/12/transformers-lambda

まあ普通に考えてこの辺がネックになるよな

• モデル引っ張ってくる時間
• コールドスタートのレイテンシー
• 推論時間
• Lambdaのメモリ