boto3関連メモ

boto3使ったモジュールを作ってるときに見つけたメモというかリンク

認証とか接続とか

恥ずかしながら、ちゃんとやったことなかった

とあるLLMフレームワークの会話履歴モジュールのストレージに、S3/DynamoDBに対応するモジュールを追加しようとしているのだけど、

自分の必要な用途だけで動くものは簡単に作れるんだけども、これをPR出して取り込んでもらおうと思うと、いろんな人がいろんなユースケースで使うことになるので、モジュール側も柔軟なモジュール設計にする必要が出てくる。

そうなるといろいろ考慮しないといけないことが多くて、特にDynamoDBのスキーマ設計なんかはほんとにバリエーションも多くなりそうだし、どこまで対応するかとか考えると、ホントに難しい。

ふと思い出してAlexaのDynamoDB/S3 Persistence Adapterとかの実装も見てたのだけど、

共通化によってDynamoDBの魅力が減っている

このようにAdaptor層があることでDBの選択肢が自由になるメリットがあります。しかし一方で、「どのデータソースでも保存できるようにする」ためにDBが持つ利便性を失うデメリットもありました。

そうなのよなー。ライブラリ設計ってほんと難しいな。。。。

ただ、考え出すときりがないし、ある程度ここまで、みたいなラインはどこかで引かざるを得ないのだけれども、まあいろいろ勉強になった。

そして、LangChainやLlamaIndexのコードはとても参考になった。やはり多くの人が使うフレームワークは非常にいろんなことを考えて作られているなと感じた。