Open2024/05/20にコメント追加7llmLLMnagamatz2024/05/20https://drive.google.com/file/d/1wvdeia1qSLij9QjVbR-qE2JY3001HMWa/view loss spikeの原因・対策 nagamatz2024/05/20に更新https://github.com/jquesnelle/yarn LLMコンテキスト長の拡大 https://openreview.net/forum?id=wHBfxhZu1u その論文 https://www.brainpad.co.jp/doors/contents/01_tech_2023-09-28-170010/#YaRN_Efficient_Context_Window_Extension_of_Large_Language_Models その論文の概要紹介 https://arxiv.org/pdf/2309.12307 LongLoRA nagamatz2024/05/20https://llm-jp.nii.ac.jp/llm/2024/03/26/meeting-8.html 第8回 LLM 勉強会 nagamatz2024/05/20https://drive.google.com/file/d/1OHmS6O62TBNNm_Y8Lu226PMIS0tx-EUQ/view 法的 nagamatz2024/05/20に更新https://note.com/eurekachan/n/n6e439ca20920 https://note.com/kan_hatakeyama/n/naf44ad92d8e5 nagamatz2024/05/20https://note.com/npaka/n/nc9ca523d5cd5 nagamatz2024/05/20https://huggingface.co/blog/hf-bitsandbytes-integration LLM.int8のHuggingFace統合
nagamatz2024/05/20https://drive.google.com/file/d/1wvdeia1qSLij9QjVbR-qE2JY3001HMWa/view loss spikeの原因・対策
nagamatz2024/05/20に更新https://github.com/jquesnelle/yarn LLMコンテキスト長の拡大 https://openreview.net/forum?id=wHBfxhZu1u その論文 https://www.brainpad.co.jp/doors/contents/01_tech_2023-09-28-170010/#YaRN_Efficient_Context_Window_Extension_of_Large_Language_Models その論文の概要紹介 https://arxiv.org/pdf/2309.12307 LongLoRA
nagamatz2024/05/20に更新https://note.com/eurekachan/n/n6e439ca20920 https://note.com/kan_hatakeyama/n/naf44ad92d8e5
