🦁
27歳男が今日の学びを書く
技術系ドキュメンテーションについて
技術系のドキュメンテーションのプロである著者の記事を読んだ。
とても参考になったので是非。
要点としては
- 書くまえに要点を絞ろう。要点に絞れないなら、練り直し。
- 文の最後と最初で要点を繰り返す。
- 受動態をなくす。文章が汚くなるし、理解が難しい。
- 〜すべき、〜する必要があるは〜するに言い換える
- 副詞をなくす。 副詞は小説以外では役に立たない。
仕事に関するリクルートCEOによる記事
HBRの記事でとても心が動かされた。
-
https://dhbr.diamond.jp/articles/-/10497
気になった点は２点 - メンバーは情熱を持って仕事をする
- リーダーは失敗の総量をマネジメントする
どちらもリクルートのスローガンである**「個の尊重」**のために重要だ。
**「個の尊重」**により圧倒的にいいものが出来上がる。
Mambaとは
最近MambaというLLMアーキテクチャが流行っているので、Transformerとどう違うか調べた。
その違いはAttentionかSSMsである。
どちらも長い自然言語を高速に処理するための機構であるが、Attentionは全ての入力tokenを並列で処理するのに対して、SSMsは動的、選択的に入力tokenを処理するため更なる高速化が可能。
アルゴリズムを解く言語モデルの開発
探索アルゴリズムをそのタスクに分解し、それを言語化、LLMに学習させる。
既存のToT(Tree of Thought)手法の方が良いが、可能性を感じる。
SPLADE++
疎埋め込みモデルであり、検索の効率性を実現。マルチスレッドで47ms。
ColBertとの関係性は要確認。
Discussion