最近読んでいて興味深かった記事紹介 Vol.1
今回から新たなシリーズを始めてみます！内容としては、普段読んでいる色々なテックブログの中で、ぜひみなさんに共有したいものを共有すると言うものです。今回は主に機械学習・AIの分野のブログ記事を紹介します！今回読ませていただき載せさせていただいたブログ著者の皆様に感謝すると共に、今後新たな記事楽しみにしております。
Mastering LLM Techniques: Inference Optimization
LLMを利用するときに課題となるレイテンシやスループットの問題です。モデルが扱えるコンテキストウィンドウをはじめとして最適化が難しい領域だと思いますが、このブログではとても綺麗に推論の最適化のための内容がまとまっています。一般的によく話が出てくるKVキャッシュだけではなくSpeculative Inferenceやバッチ処理、並列処理など様々な観点でまとめられており、LLMを理論的な側面からも理解したい方にはおすすめの記事になります。
GPUDirect Storage: A Direct Path Between Storage and GPU Memory
ディープラーニングモデルではよくGPUにロードされ利用されると思いますが、効率的にGPUを利用できないとコストが無駄にかかるなどの問題があります。私自身ハードウェアの理解がまだ足りていないと思っていた中でこの記事を読みましたが、どのようなハードウェア構成を取るとGPUメモリが効率的に利用でき、かつスループットが向上するかを学ぶことができます。NVIDIAが既存のソースコードの変更を最小限にしつつGPU上でのコンピューティングを可能にするRAPIDSスイートを提供しており、その辺りを利用するとGPUを最大限利用することができ、パフォーマンス比較もされているのでぜひご覧ください。
JSON vs TOON — A new era of structured input?
こちらは先日公開したTOONというフォーマットの存在を知るきっかけとなったブログになります。Token-Orientedと言う名前の通りトークン化に最適化されているようなフォーマットですが、その内容が簡潔にまとまっておりとてもいい記事だと思います。
良性の乳がんをAIで判別。悲劇をなくせ
こちらはAIDB様上で公開されていた記事です。なぜここであえてこの記事を取り上げたかというと、私自身機械学習モデルを医学をはじめ以下に社会的意義のある用途で採用するかはとても重要な観点だと思っており、それを改めて認識させてくれた記事であるからです。このほかにも多数の記事が公開されており、AI利用に関して考えさせられることも多くあるのでぜひご覧ください。
Explainable AI:LIMEを用いた判断根拠の可視化
最近解釈可能なAIに関する以下の書籍を読んでいまして、その中でLIMEについて改めて学習することがあり、その際に参考にさせていただきました。ディープラーニングモデルは判断根拠が特に理解が困難な部類に入るモデル開発手法ではありつつ、その判断根拠を少しでも理解できる助けの手法があると開発しているモデルが本当に有益なものとなっているかを検討することに役立ちます。モデルを単純に開発するだけでなく、開発したモデルの有効性をちゃんと検証してステークホルダーに説明できる能力を手にしたい方はぜひ一読してほしい記事です！
まとめ
今回は最近読んでいて個人的に良かった記事を紹介しました。基本的にはML関係のブログを紹介することが多いかなと思いますが、今後もおすすめの情報は発信していこうと思います。
Discussion