vLLM

このトピックを指定するにはvllmと入力

articles

Trending Alltime Latest

AWS Inferentia2とvLLMでLlama 3.2の推論サーバーを構築する手順

Aoi Sato

Aoi Satoinエクサウィザーズ Tech Blog

4日前 8

vLLMで独自実装モデルを高速推論させる

koukyo1994inTech Blog - Turing

2024/12/04 84

vLLMのSpeculative Decodingによる推論高速化を試す

3ヶ月前 27

vLLMでモデルをロードするとrandomやnp.randomのシード値が内部で設定されてしまうので注意が必要

2025/01/07 13

vLLM V1について

ユウinとある通信会社の有志

3ヶ月前 4

vLLMでドキュメント解析VLM dots.ocrを使ってみた on Mac

はっししゅう

13日前 3

vLLM V1の実装 : EngineCoreClient

ユウinとある通信会社の有志

3ヶ月前 6

B200でNVFP4量子化モデルの推論を試す（llm-compressorによるLLMの量子化）

2ヶ月前 7

Unslothを用いたQwen2.5 VLのCPT&SFTによる運転免許証KIEタスクの検証

shikaru

shikaruinELEMENTS Engineering

2ヶ月前 7

論文まとめ: AWQ

3ヶ月前 5

第5回クラウド基盤mdx+ Kubernetesの上でLLM Webサービスを立ち上げる

Atsushi Fukuda

Atsushi Fukudain東京大学鈴村研究室

6ヶ月前 1

Dataikuで実施するRAG構築 4 - granite-vision-3.1-2b-preview とvllmでPDFをOCR処理 -

2025/02/10 1

vLLMとPagedAttention：LLM推論の革新的技術

2024/08/13 7

vLLMとPagedAttentionについて語るスレ

2024/08/13 1

ローカルのsafetensorsファイルを読み込ませたvLLMで立てたOpenAI API互換APIをpythonのopenaiから叩く方法

kurogane_himaki/鐵火卷8号🍣😈バーチャル一般人

1ヶ月前