Open9

LLM の調査

nukopynukopy

AI からの「自然な応答」の実装

CyberAgent: LLM音声対話システムの応答を高速化してみた

https://developers.cyberagent.co.jp/blog/archives/44592/

Fairy Devices: ONNX 推論クレートの比較と実装奮闘記

Rust Tokyo 2024 でやってた面白かった発表。

「リアルタイム動作可能」とは?という指標があるの知らなかった。

  • RTF, Real Time Factor
    • 「1 秒の入力データが与えられたとき、処理が完了するために、その何倍の時間が掛かるか」を表す指標
    • 「リアルタイム動作可能なレベル」=「RTF の値が 1.0 より十分小さい」

https://speakerdeck.com/emergent/rust-tokyo-2024-comparing-onnx-crates