Open2ヶ月前にコメント追加10LLMをAWS Lambdaで動かすAWSLambdaLLMOllamakun4322ヶ月前に更新大きなモデルだと厳しいかもだけど、小さめのモデルや量子化されたモデルならばLambdaで動かせるんではないか？課題は色々ありそうだけど、Bedrockで提供されていないモデルとかが使えると良いなと思うので、まずはトライしている記事を集める。 kun4322ヶ月前に更新https://sebastianpdw.medium.com/serverless-llm-inference-with-ollama-29596ba5dd4e kun4322ヶ月前https://www.reddit.com/r/aws/comments/180x2vt/running_mistral_7b_llama_2_13b_on_aws_lambda/ kun4322ヶ月前https://medium.com/@seanbailey518/deploy-serverless-generative-ai-on-aws-lambda-with-openllama-793f97a7cbdd https://github.com/baileytec-labs/llama-on-lambda kun4322ヶ月前https://zenn.dev/fusic/articles/llm-on-aws-lambda kun4322ヶ月前に更新https://zenn.dev/nakamura196/articles/98e925a8821c4d https://aws.amazon.com/jp/blogs/compute/hosting-hugging-face-models-on-aws-lambda/ kun4322ヶ月前https://qiita.com/oddgai/items/0d86e13014f898b6f811 kun4322ヶ月前https://medium.com/@mgsudhanva/deploying-hugging-face-transformers-model-on-aws-lambda-with-docker-containers-84c6f4483f2a kun4322ヶ月前https://motemen.hatenablog.com/entry/2022/12/transformers-lambda kun4322ヶ月前まあ普通に考えてこの辺がネックになるよな モデル引っ張ってくる時間 コールドスタートのレイテンシー 推論時間 Lambdaのメモリ
kun4322ヶ月前に更新大きなモデルだと厳しいかもだけど、小さめのモデルや量子化されたモデルならばLambdaで動かせるんではないか？課題は色々ありそうだけど、Bedrockで提供されていないモデルとかが使えると良いなと思うので、まずはトライしている記事を集める。
kun4322ヶ月前https://www.reddit.com/r/aws/comments/180x2vt/running_mistral_7b_llama_2_13b_on_aws_lambda/
kun4322ヶ月前https://medium.com/@seanbailey518/deploy-serverless-generative-ai-on-aws-lambda-with-openllama-793f97a7cbdd https://github.com/baileytec-labs/llama-on-lambda
kun4322ヶ月前に更新https://zenn.dev/nakamura196/articles/98e925a8821c4d https://aws.amazon.com/jp/blogs/compute/hosting-hugging-face-models-on-aws-lambda/
kun4322ヶ月前https://medium.com/@mgsudhanva/deploying-hugging-face-transformers-model-on-aws-lambda-with-docker-containers-84c6f4483f2a
