ピン留めされたアイテム

 これは何RustでいろいろなフォーマットのCSVを読み書きする機会があったので、備忘録がてら書いていく。

公式のドキュメントやチュートリアルに書いてある内容がほとんどだが、さっと理解するのが難しかったため

やりたいことから逆引きで探せるようにまとめてみた(つもり)。

 BurntSushi/rust-csv (csvクレート)BurntSushi/rust-csvはRustでCSVデータを読み書きすることができる人気のライブラリ。作者のBurntSushi氏は高速なgrep代替コマンドラインツール ripgrep の開発者としても知られている。

クレート名は csv となっている。

以下、便宜上csvクレートと呼称する。
crates.io

docs.rs

BurntSushi氏のブログ

docs.rsのチュートリアル

ブログの日本語訳 (Qiita)

sheepla

準備

サンプル用のプロジェクトを作成する。

mkdir rust-csv-example && cd rust-csv-example
cargo init
cargo add csv

Cargo.tomlは次のようになっている。

[package]
name = "rust-csv-example"
version = "0.1.0"
edition = "2021"

[dependencies]
csv = "1.3.1"

sheepla

 流れcsvクレートを使ったCSVデータの読み書きの流れは、おおまかに下記のようになる。

なお、付与しているう番号はあくまで流れを説明するためのものなので、実際の処理順やコードの記述順と一致するとは限らない。

 読み込みCSVデータの読み込み(Read)は次のような流れで行う。同様にオプショナルな操作はカッコで示す。
(マッピングするための構造体はHashMapの用意)
入力したいファイルやストリームの用意
(エンコーディング等の前処理)

csv::Readerの初期化 (カスタムReaderを作る場合は csv::ReaderBuilder を使う)
レコードの読み取り
(構造体やHashMapへのマッピング: serde)

 書き込みまた、CSVデータの書き込み(Write)は次のような流れで行う。同様にオプショナルな操作はカッコで示している。
書き込みたいレコードの値や型の用意
出力したいファイルやストリームの用意
(エンコーディング等の前処理)

csv::Writer の初期化(カスタムWriterを作る場合は  csv::WriterBuillderを使う)
レコードの書き込み
Writerを .flush()して残りのデータを書き込み

 ポイントcsvクレートを使う上でポイントになるのは、csv::ReaderBuilderや csv::WriterBuilder による挙動の調整とレコードを表す型 csv::StringRecordや csv::ByteRecordの取り回しになる。

sheepla

CSVデータの読み取り(Read)

Readerを作る

CSVデータを読み込むには、まず csv::Reader を初期化する。
ファイルから読み込む場合は fn from_path<P: AsRef<Path>>(path: P) -> Result<Reader<File>>メソッドを使い、 std::io::Readerから読み込む場合は fn from_reader(rdr: R) -> Reader<R>メソッドを使う。
標準入力 std::io::Stdinは std::io::Readerを満たすため、from_readerには std::io::stdin()を渡すことができる。

let mut reader = csv::Reader::from_path("path/to/file.csv")?; // csv::Reader<File>

let mut reader = csv::Reader::from_reader(std::io::stdin()); // csv::Reader<Stdin>

カスタムReaderを作る

デフォルトのCSVリーダーの挙動をカスタマイズするには、csv::ReaderBuilderを使い、メソッドチェーンの引数で詳細なオプションを指定していく。

csv::ReaderBuilderからfrom_pathやfrom_readerを呼び出すことで、csv::Readerを初期化できる。

    let mut reader_builder = csv::ReaderBuilder::new()
        .has_headers(false) // ヘッダーなし: 1行目を無視しない
        .delimiter(b';') // デリミタ(区切り文字)をセミコロンとする
        .double_quote(false) // ダブルクオートによるエスケープを無効とする
        .escape(Some(b'\\')) // エスケープ文字
        .flexible(true) // フレキシブルモード有効: 列数が動的であってもエラーとしない
        .comment(Some(b'#')); // 「#」で始まる行をコメントとみなし無視する

    let mut reader = reader_builder.from_path("path/to/file.csv")?; // csv::Reader<File>

空行を無視しないようにする

csvクレートは、デフォルトでは空行を無視するようになっておりPythonのcsvモジュールなど他のライブラリとは異なる挙動になっている。
元のcsvクレートの代わりに、フォークされたリポジトリYarn/rust-csvをCargo.tomlに追加することで csv::ReaderBuilder の .skip_blank_lines(yes: bool) が使えるようになる。

.skip_blank_lines(false) を指定することでCSVを読み取る際に空行を無視しないようになる。

[dependencies]
csv = { git = "https://github.com/Yarn/rust-csv.git" }

レコードを読み取る

csv::Readerから文字列レコードを取得するには .records() メソッドを呼び出す。
.records()はResultで包まれた csv::StringRecord のイテレータを返し、n番目の値(のOption)は record.get(n) で取得できる。そのフィールドの値が存在しなければ Noneになる。

    for result in reader.records() {
        let record = result?;

        if let Some(first_field) = record.get(0) {
            dbg!(first_field);
        }

        if let Some(second_field) = record.get(1) {
            dbg!(second_field);
        }

        if let Some(third_field) = record.get(2) {
            dbg!(third_field);
        }
    }

文字列の代わりにバイト列を取得するには csv::Reader の .byte_records() メソッドを呼び出す。record.get(n) でフィールドの値を取ってくると&[u8]のOptionとなる。

構造体にレコードをマッピングする

CSVのフィールドが決まりきっている場合はレコードを構造体にマッピングすると都合が良い。
デシリアライズを行うために serde クレートを追加する。

cargo add serde -F derive

TODO

HashMapにレコードをマッピングする

TODO

sheepla

本家に取り込まれるといいなぁ...。

sheepla

 CSVデータの書き込み(Write)
 Writerを作る
 カスタムWriterを作るTODO

sheepla

 非UTF-8のファイルを読み書きするRustで文字コードのエンコード／デコードを行うには、一般に encoding_rs というクレートが使われる。
cargo add encoding_rs

 encoding_rsの基本各エンコーディング方式を表す encoding_rs::Encoding型で宣言された値(例えば SHIFT_JIS)の .encode()、.decode()メソッドを呼び出す。
型シグネチャは次のようになっている。
pub fn encode<'a>(
    &'static self,
    string: &'a str,
) -> (
    Cow<'a, [u8]>,
    &'static Encoding,
    bool
)

pub fn decode<'a>(
    &'static self,
    bytes: &'a [u8],
) -> (
    Cow<'a, str>,
    &'static Encoding,
    bool
)

 Shift_JISファイルを読み込むTODO

 Shift_JISファイルに書き込むTODO

sheepla

 特殊なフォーマットのCSVを読み込むシステム間の連携やIoT機器の出力するデータを扱う際に縦持ちのCSVや行ごとにレコードの意味が動的に変わるようないろいろなフォーマットの電文に遭遇することがあった。
そのようなフォーマットのCSVをパースする場合は次のような方法が考えられる。

A: あらかじめ行／列のインデックスにどの値が入るかの定義を用意しておきそれに則って値を取得する

B: 特定のフィールドの値を取得してその値をもとにパターンを振り分ける
TODO