Zenn
Closed6

大規模言語モデル[入門]

Hugging Face
LLM
Reiji KumeReiji Kume
Reiji KumeReiji Kume
  • Attention moduleの改善による学習効率の向上
    • Flash Attention : 2次関数ではなく線形の特性
    • FlashAttention-2 : FlashAttentionよりも約2倍高速, 従来Attentionによる実装との比較では最大9倍の学習高速化

追加

追加

脚注

  1. HuggingFace Transformers DeepSpeed Integration ↩︎

Reiji KumeReiji Kume

Attention module以外のアーキテクチャの代替案

もっとある...

脚注

  1. arxiv - Mamba: Linear-Time Sequence Modeling with Selective State Spaces ↩︎

  2. github repo - state-spaces/mamba ↩︎

  3. arxiv- RWKV: Reinventing RNNs for the Transformer Era ↩︎

  4. github repo - BlinkDL/ChatRWKV ↩︎

Reiji KumeReiji Kume

RAG : Retrival Augmented Genearation[1][2][3]

脚注

  1. Prompting Engineering Guide - RAG: Retrival Augmentation Generation ↩︎

  2. github repo - langchain-ai/rag-from-scratch ↩︎

  3. Youtube - RAG From Scrach: Part1 by LangChain ↩︎

このスクラップは2024/04/25にクローズされました