データソースの登録

ユーザーは CSV をアップロードして、必要なカラムとデータ型を指定。
メールアドレスと電話番号のカラムを指定して、データソースのメタデータを設定し、登録を行う。
必要なフィールドに絞った CSV ファイルを生成し、圧縮して API にリクエストを送信。
API 側で回答を行い、バックグラウンドでデータの登録を行う。

CSV ファイルが大きすぎて、ブラウザが固まる

アップロードした CSV ファイルの 1 行目を読み込み、フィールドを取得する時にブラウザが固まる。
他の Sass ( nocodb, directus ) などのツールでは、アップロードファイルに 5 MB の制限をかけている。

他にデータソースを登録する UX を考えてみる。

膨大な量のデータは API で登録してもらう

API 経由だとブラウザのリソース制限に依存しないので、登録が可能。
ただ非エンジニアがデータソースの一括登録ができないのは、使用ハードルがかなり上がる。
できれば簡単に大量のデータを登録できるようにしてあげたい。
Web 上から大量のデータが登録できる仕組みが必要

CSV をブラウザで読み込まず、そのまま圧縮して登録

CSV を読み出す時にブラウザが固まるので、そのまま圧縮してリクエストを送る。
この方法だと CSV の全てのフィールドのカラムが文字列として、作られる。
またどのカラムがメールアドレスと電話番号なのかの情報もないので、登録後にユーザーが後から設定してもらう必要がある。2 度手間にはなるが、Web から大量のデータを登録する方法は、それしかない。

もう少し調査が必要なこと

• ブラウザを固めずに CSV の 1 行目だけを読み込む方法