Open4
transformers で LLM のテキスト生成をコントロールしたいメモ
syoyollama.cpp のルールベースの生成(sampling)を transformers generate でも行いたい.
syoyo
で WIP PR が出ている(as of 2023/Nov/9)
syoyo- guidance https://github.com/guidance-ai/guidance
- JSON 生成 https://github.com/1rgs/jsonformer
- outlines https://github.com/outlines-dev/outlines
しばらくはこのあたりを使って対応がよいか.
その他情報
syoyo
プロジェクト自体は 2020 年からあり古い.
どちらかというと text classification(分類)向けかも