LLM勉強して作りたいもの、作っているもの

 概要いうほど LLMキャッチアップできていない（←これ重要）し、LLMを使って何かをDevelopするというのができていないので、スクラップ作ってみた。

 このスクラップに書くものLLMを使って、なにか自分にとって新しい価値をDevelopする
【含まない】CopilotやCursorなど、既存のLLMを使って開発効率を上げようみたいなツールおよびその周辺知識
【含む】既出であるかもしれないが、自分が見つけていないだけで新規かもしれないもの

 凡例🏃 doing
📅 planned
💭 only idea
🔍 既出であるかもしれない

meijin

🏃穴埋めテストの自動生成

テストメーカーで、穴埋めテストの自動生成をやっている。JSON Schemaに沿った生成は相当安定してきている。一方でZodなどを噛み合わせて安定性の担保もする。

meijin

 💭誰でも検索エンジンを作れるサービスコンテンツをいれる、Embeddingつくる、そこからサーチする、の流れが一般化しているので、そこだけ汎化したツールが作れないか？
たとえば
手元のデータベースのテーブル群数百のDDLを突っ込んで、「今から開発する機能はどのテーブルを活用できそう？」って質問できる
要するに僕視点では現状大量のデータを事前学習させるには多少の開発が必要になる印象だけどそのフェーズだけ切り出してツール化できませんかね、みたいな
データ群ごとに手元で管理できる
まあ、普通にいまのLLMのサービス自体がどれも根本的にはこれで、しかしInputがSpecificすぎるからInputだけ全部別口でサービスごと分かれているんですよってだけの話で、汎化はエンジニア視点のFramework粒度にとどまるべきなのかもしれない
あと、そもそもこれを検索エンジンって言っていいのか？っていう用語定義の問題はありそう。ただLLMはGenerateに特化しているけど、今回のIssueはFindに特化しているので、Find特化した回答ができるLLMだと思うと普通のLLMよりは検索エンジンに近いのかなと。

meijin

 🔍💭自分のソースレビューを生き写し一般的なソースレビューじゃなくて、自分がやっているソースレビューをEmulateできるようにしたい
イメージでは
ここ数ヶ月のソースレビューを投げ込む。Pull RequestのURLなりGitHub APIなりをベースにして、どういったファイルのどういったDiffに対してどういったコメントを投げたか
それをEmbeddingするなりして保存
それをもとに、目の前にある新規ソースコードに対してレビューをする
ただこれは普通にすでにあるかもしれん

meijin

💭📅自分が持っているコンテンツ群から穴埋めテスト生成

テストメーカーの応用編
テストメーカーおよびそれに類似するサービスは、1コンテンツ（PDFやWebサイト）からテストを生成する思想のものが多い
コンテンツ群からテストを生成することができてほしい
具体的には、僕はRaindropというサービスに1000以上ものWebサイトをBookmarkしているが、それらのサイトを自動でカテゴライズして、カテゴリごとに穴埋めテストを作り、不正解率が高かったときにこの記事を読み直そうって言ってくれるみたいな

meijin

 💭技術記事などカロリーの高い文献の精読をサポートするLLM英語の技術記事を読むことのカロリーが高いので。
技術記事を突っ込む
アウトライン生成する
アウトラインごとに、読み進めるアドバイスや、読み進めたことを進言すると確認テストを出題したりする