boto3関連メモ

boto3使ったモジュールを作ってるときに見つけたメモというかリンク

認証とか接続とか

https://qiita.com/tsukamoto/items/00ec8ef7e9a4ce4fb0e9

https://qiita.com/ttkiida/items/abfda5587a51e3101c51

https://zenn.dev/sugikeitter/articles/how-to-use-boto3-various-settings

https://boto3.amazonaws.com/v1/documentation/api/latest/guide/configuration.html

https://boto3.amazonaws.com/v1/documentation/api/latest/guide/credentials.html

https://boto3.amazonaws.com/v1/documentation/api/latest/guide/clients.html

https://boto3.amazonaws.com/v1/documentation/api/latest/reference/core/session.html#boto3.session.Session.client

DynamoDB

恥ずかしながら、ちゃんとやったことなかった

基本

https://qiita.com/shibataka000/items/e3f3792201d6fcc397fd

https://qiita.com/_kensh/items/2351096e6c3bf431ff6f

https://qiita.com/emiki/items/53dfcc8b519378634b52

https://timesaving.hatenablog.com/entry/2023/06/10/150000

TTL

https://dev.classmethod.jp/articles/try-dynamodb-ttl/

型変換

https://qiita.com/suzuki-navi/items/f8eecf280dd3c2d0e90c

https://dev.classmethod.jp/articles/convert-dynamodb-json-to-python-dict-by-boto3/

https://timesaving.hatenablog.com/entry/2023/06/18/150000

アップサートとか条件付き書き込みとか

https://dev.classmethod.jp/articles/boto3-dynamodb-upsert-and-conditional-update/

https://zenn.dev/enven/articles/041ab29a69b3ce

公式

https://boto3.amazonaws.com/v1/documentation/api/latest/reference/services/dynamodb/client/get_item.html

https://boto3.amazonaws.com/v1/documentation/api/latest/reference/services/dynamodb/client/put_item.html

とあるLLMフレームワークの会話履歴モジュールのストレージに、S3/DynamoDBに対応するモジュールを追加しようとしているのだけど、

自分の必要な用途だけで動くものは簡単に作れるんだけども、これをPR出して取り込んでもらおうと思うと、いろんな人がいろんなユースケースで使うことになるので、モジュール側も柔軟なモジュール設計にする必要が出てくる。

そうなるといろいろ考慮しないといけないことが多くて、特にDynamoDBのスキーマ設計なんかはほんとにバリエーションも多くなりそうだし、どこまで対応するかとか考えると、ホントに難しい。

ふと思い出してAlexaのDynamoDB/S3 Persistence Adapterとかの実装も見てたのだけど、

https://wp-kyoto.net/which-adaptor-should-we-use-for-ask-sdk/

共通化によってDynamoDBの魅力が減っている

このようにAdaptor層があることでDBの選択肢が自由になるメリットがあります。しかし一方で、「どのデータソースでも保存できるようにする」ためにDBが持つ利便性を失うデメリットもありました。

そうなのよなー。ライブラリ設計ってほんと難しいな。。。。

ただ、考え出すときりがないし、ある程度ここまで、みたいなラインはどこかで引かざるを得ないのだけれども、まあいろいろ勉強になった。

そして、LangChainやLlamaIndexのコードはとても参考になった。やはり多くの人が使うフレームワークは非常にいろんなことを考えて作られているなと感じた。

https://github.com/langchain-ai/langchain/blob/master/libs/community/langchain_community/chat_message_histories/dynamodb.py

https://github.com/langchain-ai/langchain/blob/master/libs/community/langchain_community/document_loaders/s3_file.py

https://github.com/langchain-ai/langchain/blob/master/libs/community/langchain_community/document_loaders/s3_directory.py

https://python.langchain.com/docs/integrations/memory/aws_dynamodb