🗾

Rust で Shift_JIS の CSV を扱う方法

に公開

概要

Rust と csv/encoding_rs で、CSV(日本語ヘッダー・SJIS)を「読み、パース、書き出す」ための方法を紹介します。

構成

# Cargo.toml
[package]
name = "csv-tools"
version = "0.1.0"
edition = "2021"

[dependencies]
csv = "1"
serde = { version = "1", features = ["derive"] }
encoding_rs = "0.8"
anyhow = "1"

最小 CLI(UTF-8 の CSV を読み、行数を数える)

use anyhow::Result;
use csv::ReaderBuilder;

fn main() -> Result<()> {
    let mut rdr = ReaderBuilder::new()
        .has_headers(true)
        .from_path("input.csv")?;
    let mut rows = 0usize;
    for rec in rdr.records() {
        rec?;
        rows += 1;
    }
    println!("rows={}", rows);
    Ok(())
}

Shift_JIS を UTF-8 へ変換して読む

use anyhow::Result;
use encoding_rs::SHIFT_JIS;
use std::fs;

fn read_sjis_to_utf8(path: &str) -> Result<String> {
    let bytes = fs::read(path)?;
    let (cow, _, _) = SHIFT_JIS.decode(&bytes);
    Ok(cow.into_owned())
}

fn main() -> Result<()> {
    let s = read_sjis_to_utf8("input_sjis.csv")?;
    let mut rdr = csv::ReaderBuilder::new().has_headers(true).from_reader(s.as_bytes());
    for rec in rdr.records() {
        let rec = rec?;
        // rec.get(i) でUTF-8文字列として扱える
    }
    Ok(())
}

ヘッダー正規化(空や重複に連番を付ける)

use csv::StringRecord;
use std::collections::HashMap;

fn normalize_headers(headers: &StringRecord) -> StringRecord {
    let mut seen: HashMap<String, usize> = HashMap::new();
    let mut out = Vec::with_capacity(headers.len());
    for (i, raw) in headers.iter().enumerate() {
        let base = raw.trim();
        let mut name = if base.is_empty() { format!("col_{}", i) } else { base.to_string() };
        let count = seen.entry(name.clone()).or_insert(0);
        if *count > 0 {
            name = format!("{}_{}", name, *count + 1);
        }
        *count += 1;
        out.push(name);
    }
    StringRecord::from(out)
}

// 使い方:Readerで最初のヘッダーを読み、正規化してインデックス表を作る
fn header_index_map(headers: &StringRecord) -> HashMap<String, usize> {
    headers.iter().enumerate().map(|(i, h)| (h.to_string(), i)).collect()
}

CSV のパース方法

serde で構造体に直接デシリアライズ(ヘッダーが安定している場合)

use serde::Deserialize;

#[derive(Debug, Clone, PartialEq, Deserialize)]
struct InputRow {
    #[serde(rename = "請求日")]
    #[serde(default)]
    billing_date: Option<String>,
    #[serde(rename = "得意先")]
    #[serde(default)]
    customer: Option<String>,
    #[serde(rename = "数量")]
    #[serde(default)]
    quantity: Option<String>,
    #[serde(rename = "単価")]
    #[serde(default)]
    unit_price: Option<String>,
    #[serde(rename = "金額")]
    #[serde(default)]
    amount: Option<String>,
}

重複・空ヘッダーが混在するケースに強い「手動マッピング」

use csv::{ReaderBuilder, StringRecord};
use std::collections::HashMap;

fn value(record: &StringRecord, idx: Option<usize>) -> Option<String> {
    idx.and_then(|i| record.get(i)).map(|s| s.to_string()).filter(|s| !s.trim().is_empty())
}

fn main() -> anyhow::Result<()> {
    // 1) SJIS読み込み→UTF-8文字列
    //    ※ read_sjis_to_utf8 は上の「Shift_JIS を UTF-8 へ変換して読む」セクションで定義します
    let s = read_sjis_to_utf8("input_sjis.csv")?;
    let mut rdr = ReaderBuilder::new().has_headers(true).from_reader(s.as_bytes());

    // 2) ヘッダー正規化→インデックス化
    let raw_headers = rdr.headers()?.clone();
    // normalize_headers / header_index_map は本記事の「ヘッダー正規化」セクションで定義しています
    let headers = normalize_headers(&raw_headers);
    let idx = header_index_map(&headers);

    // 3) 欲しい列の列番号を取得(存在しなければNoneのまま)
    let billing_date_i = idx.get("請求日").copied();
    let customer_i     = idx.get("得意先").copied();
    let quantity_i     = idx.get("数量").copied();
    let unit_price_i   = idx.get("単価").copied();
    // 例: 重複列の2つ目 → "得意先_2"
    let customer2_i    = idx.get("得意先_2").copied();
    // 例: 無名列 → "col_0"
    let unnamed0_i     = idx.get("col_0").copied();

    // 4) 行を逐次処理
    for rec in rdr.records() {
        let rec = rec?;
        let billing_date = value(&rec, billing_date_i);
        let customer     = value(&rec, customer_i).or_else(|| value(&rec, customer2_i));
        let quantity     = value(&rec, quantity_i);
        let unit_price   = value(&rec, unit_price_i);
        let extra_col0   = value(&rec, unnamed0_i);

        // 例: 金額の簡易計算(数値でなければNone)
        let amount = match (quantity.as_deref(), unit_price.as_deref()) {
            (Some(qs), Some(ps)) => {
                let q = qs.parse::<f64>().ok()?;
                let p = ps.parse::<f64>().ok()?;
                Some(format!("{:.2}", q * p))
            }
            _ => None,
        };

        println!("請求日={billing_date:?} 得意先={customer:?} 数量={quantity:?} 単価={unit_price:?} 金額={amount:?} col_0={extra_col0:?}");
    }
    Ok(())
}

CSV へ書き出す(UTF-8/SJIS の選択)

use anyhow::Result;
use csv::WriterBuilder;
use encoding_rs::SHIFT_JIS;
use std::fs::File;
use std::io::Write;

fn write_utf8(path: &str, headers: &[&str], rows: &[Vec<String>]) -> Result<()> {
    let mut wtr = WriterBuilder::new().from_path(path)?;
    wtr.write_record(headers)?;
    for row in rows {
        wtr.write_record(row)?;
    }
    wtr.flush()?;
    Ok(())
}

fn write_sjis(path: &str, headers: &[&str], rows: &[Vec<String>]) -> Result<()> {
    // まずUTF-8でメモリにCSVを構築し、最後にSJISへ変換して書き出す
    let mut buf = Vec::new();
    {
        let mut wtr = WriterBuilder::new().from_writer(&mut buf);
        wtr.write_record(headers)?;
        for row in rows {
            wtr.write_record(row)?;
        }
        wtr.flush()?;
    }
    let (sjis, _, _) = SHIFT_JIS.encode(std::str::from_utf8(&buf)?);
    let mut file = File::create(path)?;
    file.write_all(&sjis)?;
    Ok(())
}

Discussion