Closed6

Claudeに大量ファイルを一括で学習させる

ishiyamaishiyama

ClaudeはURLからサイトを見に行くことができないので、学習用のファイルをアップロードする必要がある。だが、ソースコードを全てアップロードしていると日が暮れる。
特定のディレクトリ配下を1つのファイルにまとめて、そのファイルを食わせるという手段が必要になる。
以下の記事が有用だったので、python不慣れのためメモを残しておきます。

https://zenn.dev/olemi/articles/7b7992c055c64a

ishiyamaishiyama

実態は以下のリポジトリ。

https://github.com/Olemi-llm-apprentice/generate-project-summary

generate_project_summary.pyを特定のディレクトリに配置して

pyhotn generate_project_summary.py

を実行するとそのディレクトリ配下を1つのtxtファイルに階層構造と共に内容を書き出してくれる。
そして、そのtxtファイルをClaudeにアップロードする。

ishiyamaishiyama

必要なパッケージインストール

brew install python

.zshrcに以下を追加

alias python='python3'
alias pip='pip3'

🤷‍♂️ chardetをpipでインストールする必要があるが、 "error: externally-managed-environment"のエラーでインストールできない。
💡 OSにもとから入っているpythonを壊さないために、不明なパッケージは仮想環境(venv)でインストールしてね。ということらしい。

ということで以下を参考に仮想環境で実施。

https://qiita.com/toiee_kame/items/c3781abb53f385dae4f9

python -m venv ~/mypy
source ~/mypy/bin/activate #仮想環境を起動
pip install chardet #仮想環境で実行

pyhotn generate_project_summary.py  #スクリプトも仮想環境で実行。

deactivate #仮想環境を終了

仮想環境で作業しているときはターミナルの前方に(mypy) と、環境名が表示される。

ishiyamaishiyama
python generate_project_summary.py

で作られたソースはこんな感じで、階層構造 + ファイル名 + ファイルの中身を1つのファイルに書き出してくれます。

このスクラップは3ヶ月前にクローズされました