📑
ユニコード正規化で、文字の揺れをおさえる
ユニコードで表された文字は、見た目が似ていてもコードポイントが異なる場合があります。ユニコード正規化は、同一コードポイントに変換する処理となります。
やってみた
pp "@".unicode_normalize # => "@"
RubyのString#unicode_normalizeを使いました。
感想
ユニコード以前に、そもそも文字コードを分かっていないな。。。
ユニコードで表された文字は、見た目が似ていてもコードポイントが異なる場合があります。ユニコード正規化は、同一コードポイントに変換する処理となります。
pp "@".unicode_normalize # => "@"
RubyのString#unicode_normalizeを使いました。
ユニコード以前に、そもそも文字コードを分かっていないな。。。
Discussion