mkdir litgpt-work && cd litgtp-work

uv venv -p 3.12.9

uv pip install 'litgpt[all]'

 + litgpt==0.5.7

uv run litgpt download list

/WORK/litgpt-work/.venv/lib/python3.12/site-packages/transformers/utils/hub.py:128: FutureWarning: Using `PYTORCH_TRANSFORMERS_CACHE` is deprecated and will be removed in v5 of Transformers. Use `HF_HOME` instead.
  warnings.warn(
usage: litgpt [-h] [--config CONFIG] [--print_config[=flags]]
              {download,chat,finetune,finetune_lora,finetune_full,finetune_adapter,finetune_adapter_v2,pretrain,generate,generate_full,generate_adapter,generate_adapter_v2,generate_sequentially,generate_tp,convert_to_litgpt,convert_from_litgpt,convert_pretrained_checkpoint,merge_lora,evaluate,serve}
              ...
error: ArgumentParser._parse_known_args() missing 1 required positional argument: 'intermixed'

uv pip freeze | grep -i lightning

lightning==2.5.0.post0
lightning-thunder==0.2.1
lightning-utilities==0.14.0

uv pip install "lightning<2.5.0.post0"

 - lightning==2.5.0.post0
 + lightning==2.4.0

uv pip install jsonargparse[signatures]>=4.35.0

 - jsonargparse==4.32.1
 + jsonargparse==4.37.0

uv run litgpt download list

uv run litgpt -h

usage: litgpt [-h] [--config CONFIG] [--print_config[=flags]]
              {download,chat,finetune,finetune_lora,finetune_full,finetune_adapter,finetune_adapter_v2,pretrain,generate,generate_full,generate_adapter,generate_adapter_v2,generate_sequentially,generate_tp,convert_to_litgpt,convert_from_litgpt,convert_pretrained_checkpoint,merge_lora,evaluate,serve}
              ...

options:
  -h, --help            Show this help message and exit.
  --config CONFIG       Path to a configuration file.
  --print_config[=flags]
                        Print the configuration after applying all other arguments and exit. The optional flags
                        customizes the output and are one or more keywords separated by comma. The supported flags
                        are: comments, skip_default, skip_null.

subcommands:
  For more details of each subcommand, add it as an argument followed by --help.

  Available subcommands:
    download            Download weights or tokenizer data from the Hugging Face Hub.
    chat                Chat with a model.
    finetune            Finetune a model using the LoRA method.
    finetune_lora       Finetune a model using the LoRA method.
    finetune_full       Finetune a model.
    finetune_adapter    Finetune a model using the Adapter method.
    finetune_adapter_v2
                        Finetune a model using the Adapter V2 method.
    pretrain            Pretrain a model.
    generate            Default generation option.
    generate_full       For models finetuned with `litgpt finetune_full`.
    generate_adapter    For models finetuned with `litgpt finetune_adapter`.
    generate_adapter_v2
                        For models finetuned with `litgpt finetune adapter_v2`.
    generate_sequentially
                        Generation script that partitions layers across devices to be run sequentially.
    generate_tp         Generation script that uses tensor parallelism to run across devices.
    convert_to_litgpt   Convert a Hugging Face Transformers checkpoint into a LitGPT compatible checkpoint.
    convert_from_litgpt
                        Convert a LitGPT trained checkpoint into a Hugging Face Transformers checkpoint.
    convert_pretrained_checkpoint
                        Convert a checkpoint after pretraining.
    merge_lora          Merges the LoRA weights with the base model.
    evaluate            Evaluate a model with the LM Evaluation Harness.
    serve               Serve a LitGPT model using LitServe.

from litgpt import LLM

llm = LLM.load("google/gemma-2-2b-it")
text = llm.generate("競馬の魅力を5つリストアップして。")
print(text)

uv run sample.py

競馬の魅力を、５つに分けて説明します！

1. **ドキドキとハラハラするレース展開:**
   - 予想以上の展開に、会場全体が盛り上がる！
   - 勝負の末に勝利を

from litgpt import LLM

llm = LLM.load("google/gemma-2-2b-it")
text = llm.generate("競馬の魅力を5つリストアップして。", max_new_tokens=1024)
print(text)

## 競馬の魅力５選！

1. **予測と偶然の組み合わせ:**  駆け込み馬券で運よく当たる喜びは、まさに「スポーツと賭け」の融合を感じさせる。
2. **情熱と戦略が交錯する競争:**  分析、予想、投票、そしてレース展開。競馬は、競馬記者やレース専門家、そして競馬ファンの共感と熱狂が渦巻く空間だ。
3. **歴史と伝統の重み:**  長い歴史の中で培われた格式と文化。味わえる馬券文化、その背景にある緊張感。
4. **個性と競争力の対比:**  それぞれの馬の性格や能力、競争する馬たちの体格や血統。個性的な馬達が舞台で競い合う姿は魅力的だ。
5. **リアルタイムの興奮と予想:**  レースが進むにつれ、予想が変化、そして予想と結果が合致した瞬間は、まさに興奮の結晶だ。


競馬は、単なるスポーツではなく、戦略、知識、そして偶然との出会いを楽しむ、まさに時 warp の世界を体感できる特別な体験だ。

from litgpt import LLM

llm = LLM.load("microsoft/Phi-4-mini-instruct")
text = llm.generate("競馬の魅力を5つリストアップして。", max_new_tokens=1024)
print(text)

FileNotFoundError: [Errno 2] No such file or directory: 'checkpoints/microsoft/Phi-4-mini-instruct/model_config.yaml'

uv run litgpt chat google/gemma-2-2b-it

{'access_token': None,
 'checkpoint_dir': PosixPath('checkpoints/google/gemma-2-2b-it'),
 'compile': False,
 'max_new_tokens': 50,
 'multiline': False,
 'precision': None,
 'quantize': None,
 'temperature': 0.8,
 'top_k': 50,
 'top_p': 1.0}
Now chatting with Gemma-2-2b-it.
To exit, press 'Enter' on an empty prompt.

Seed set to 1234
>> Prompt:

>> Prompt: こんにちは。
>> Reply: こんにちは！ 😊

何か用ですか？

Time for inference: 1.11 sec total, 10.86 tokens/sec, 12 tokens

>> Prompt: 競馬の魅力を簡潔に5つ教えて。
Warning: KV cache has length 61 < 69 = max_seq_length. Call 'set_kv_cache' before doing any forwards!
>> Reply: 競馬の魅力を5つ、簡潔に説明します！

1. **ドキドキ・ワクワクのレース:**  駆け抜けるhorseの動き、そして競争の末の勝敗。予想と結果が一致し、興奮が止まらない
Time for inference: 0.67 sec total, 74.11 tokens/sec, 50 tokens

>> Prompt:

uv run litgpt serve google/gemma-2-2b-it --max_new_tokens 2048

{'accelerator': 'auto',
 'access_token': None,
 'checkpoint_dir': PosixPath('checkpoints/google/gemma-2-2b-it'),
 'devices': 1,
 'max_new_tokens': 2048,
 'port': 8000,
 'precision': None,
 'quantize': None,
 'stream': False,
 'temperature': 0.8,
 'top_k': 50,
 'top_p': 1.0}
INFO:     Uvicorn running on http://0.0.0.0:8000 (Press CTRL+C to quit)
Swagger UI is available at http://0.0.0.0:8000/docs
INFO:     Started server process [2000952]
INFO:     Waiting for application startup.
INFO:     Application startup complete.
Initializing model...
Using 1 device(s)
Model successfully initialized.
Setup complete for worker 0.

curl -X POST \
     -H "Content-Type: application/json" \
     -d '{"prompt": "競馬の魅力を5つ簡潔に教えて。t"}' \
     http://XXX.XXX.XXX.XXX:8000/predict  | jq -r ".output"

競馬の魅力は、多岐にわたりますが、以下5つを挙げます。

1. **予想とドキドキ:**  馬の走りを分析し、馬券を組む。勝つ喜びと敗北の痛み、そしてその瞬間のドキドキ感は、競馬の魅力です。
2. **歴史と伝統:**  長い歴史を誇る競馬は、文化や社会に根差した伝統的なスポーツです。
3. **競い合い:**  優秀な馬と jockeys の競い合いは、観客の心を掴みます。
4. **豪華さ:**  競馬場は、賑やかな雰囲気と、豪華な施設で、特別な体験を提供します。
5. **人情味:**  競馬場は、人々の集いとなり、様々な人との出会いを通じて、温かい雰囲気と一体感を味わえます。