🗾
Rust で Shift_JIS の CSV を扱う方法
概要
Rust と csv/encoding_rs で、CSV(日本語ヘッダー・SJIS)を「読み、パース、書き出す」ための方法を紹介します。
構成
# Cargo.toml
[package]
name = "csv-tools"
version = "0.1.0"
edition = "2021"
[dependencies]
csv = "1"
serde = { version = "1", features = ["derive"] }
encoding_rs = "0.8"
anyhow = "1"
最小 CLI(UTF-8 の CSV を読み、行数を数える)
use anyhow::Result;
use csv::ReaderBuilder;
fn main() -> Result<()> {
let mut rdr = ReaderBuilder::new()
.has_headers(true)
.from_path("input.csv")?;
let mut rows = 0usize;
for rec in rdr.records() {
rec?;
rows += 1;
}
println!("rows={}", rows);
Ok(())
}
Shift_JIS を UTF-8 へ変換して読む
use anyhow::Result;
use encoding_rs::SHIFT_JIS;
use std::fs;
fn read_sjis_to_utf8(path: &str) -> Result<String> {
let bytes = fs::read(path)?;
let (cow, _, _) = SHIFT_JIS.decode(&bytes);
Ok(cow.into_owned())
}
fn main() -> Result<()> {
let s = read_sjis_to_utf8("input_sjis.csv")?;
let mut rdr = csv::ReaderBuilder::new().has_headers(true).from_reader(s.as_bytes());
for rec in rdr.records() {
let rec = rec?;
// rec.get(i) でUTF-8文字列として扱える
}
Ok(())
}
ヘッダー正規化(空や重複に連番を付ける)
use csv::StringRecord;
use std::collections::HashMap;
fn normalize_headers(headers: &StringRecord) -> StringRecord {
let mut seen: HashMap<String, usize> = HashMap::new();
let mut out = Vec::with_capacity(headers.len());
for (i, raw) in headers.iter().enumerate() {
let base = raw.trim();
let mut name = if base.is_empty() { format!("col_{}", i) } else { base.to_string() };
let count = seen.entry(name.clone()).or_insert(0);
if *count > 0 {
name = format!("{}_{}", name, *count + 1);
}
*count += 1;
out.push(name);
}
StringRecord::from(out)
}
// 使い方:Readerで最初のヘッダーを読み、正規化してインデックス表を作る
fn header_index_map(headers: &StringRecord) -> HashMap<String, usize> {
headers.iter().enumerate().map(|(i, h)| (h.to_string(), i)).collect()
}
CSV のパース方法
serde で構造体に直接デシリアライズ(ヘッダーが安定している場合)
use serde::Deserialize;
#[derive(Debug, Clone, PartialEq, Deserialize)]
struct InputRow {
#[serde(rename = "請求日")]
#[serde(default)]
billing_date: Option<String>,
#[serde(rename = "得意先")]
#[serde(default)]
customer: Option<String>,
#[serde(rename = "数量")]
#[serde(default)]
quantity: Option<String>,
#[serde(rename = "単価")]
#[serde(default)]
unit_price: Option<String>,
#[serde(rename = "金額")]
#[serde(default)]
amount: Option<String>,
}
重複・空ヘッダーが混在するケースに強い「手動マッピング」
use csv::{ReaderBuilder, StringRecord};
use std::collections::HashMap;
fn value(record: &StringRecord, idx: Option<usize>) -> Option<String> {
idx.and_then(|i| record.get(i)).map(|s| s.to_string()).filter(|s| !s.trim().is_empty())
}
fn main() -> anyhow::Result<()> {
// 1) SJIS読み込み→UTF-8文字列
// ※ read_sjis_to_utf8 は上の「Shift_JIS を UTF-8 へ変換して読む」セクションで定義します
let s = read_sjis_to_utf8("input_sjis.csv")?;
let mut rdr = ReaderBuilder::new().has_headers(true).from_reader(s.as_bytes());
// 2) ヘッダー正規化→インデックス化
let raw_headers = rdr.headers()?.clone();
// normalize_headers / header_index_map は本記事の「ヘッダー正規化」セクションで定義しています
let headers = normalize_headers(&raw_headers);
let idx = header_index_map(&headers);
// 3) 欲しい列の列番号を取得(存在しなければNoneのまま)
let billing_date_i = idx.get("請求日").copied();
let customer_i = idx.get("得意先").copied();
let quantity_i = idx.get("数量").copied();
let unit_price_i = idx.get("単価").copied();
// 例: 重複列の2つ目 → "得意先_2"
let customer2_i = idx.get("得意先_2").copied();
// 例: 無名列 → "col_0"
let unnamed0_i = idx.get("col_0").copied();
// 4) 行を逐次処理
for rec in rdr.records() {
let rec = rec?;
let billing_date = value(&rec, billing_date_i);
let customer = value(&rec, customer_i).or_else(|| value(&rec, customer2_i));
let quantity = value(&rec, quantity_i);
let unit_price = value(&rec, unit_price_i);
let extra_col0 = value(&rec, unnamed0_i);
// 例: 金額の簡易計算(数値でなければNone)
let amount = match (quantity.as_deref(), unit_price.as_deref()) {
(Some(qs), Some(ps)) => {
let q = qs.parse::<f64>().ok()?;
let p = ps.parse::<f64>().ok()?;
Some(format!("{:.2}", q * p))
}
_ => None,
};
println!("請求日={billing_date:?} 得意先={customer:?} 数量={quantity:?} 単価={unit_price:?} 金額={amount:?} col_0={extra_col0:?}");
}
Ok(())
}
CSV へ書き出す(UTF-8/SJIS の選択)
use anyhow::Result;
use csv::WriterBuilder;
use encoding_rs::SHIFT_JIS;
use std::fs::File;
use std::io::Write;
fn write_utf8(path: &str, headers: &[&str], rows: &[Vec<String>]) -> Result<()> {
let mut wtr = WriterBuilder::new().from_path(path)?;
wtr.write_record(headers)?;
for row in rows {
wtr.write_record(row)?;
}
wtr.flush()?;
Ok(())
}
fn write_sjis(path: &str, headers: &[&str], rows: &[Vec<String>]) -> Result<()> {
// まずUTF-8でメモリにCSVを構築し、最後にSJISへ変換して書き出す
let mut buf = Vec::new();
{
let mut wtr = WriterBuilder::new().from_writer(&mut buf);
wtr.write_record(headers)?;
for row in rows {
wtr.write_record(row)?;
}
wtr.flush()?;
}
let (sjis, _, _) = SHIFT_JIS.encode(std::str::from_utf8(&buf)?);
let mut file = File::create(path)?;
file.write_all(&sjis)?;
Ok(())
}
Discussion