csvデータをDB登録時に先頭の行が文字化けしてしまう

こんにちは投資ロウトです。

背景

先日のマスターデータ登録時に、API実行してみると、先頭の行が文字化けしている事象が確認されました。

https://zenn.dev/doshirote/articles/7cfc051b9b4c54

原因

先頭の行にbomがついているのが原因だった。

以下を実行すると「EF BB BF」というのが先頭に表示される。

xxd 対象のファイル.csv | head -n 1

対処

先頭のbomを削除する。

sed '1s/^\xEF\xBB\xBF//' 対象のファイル.csv > 変更後のファイル.csv

削除されているか確認

xxd 対象のファイル.csv | head -n 1

問題なく消えていました。

その後DBに投入し、対象のAPIをコールすると、こちらも問題なく消えていました。