文字は3層でできている

文字は、人が見る形のままファイルに入っているわけではない。番号に置き換え、その番号をバイトに詰めて保存している。

用語解説

• Unicode：世界中の文字に1つずつ番号を振った共通の表
• UTF-8：Unicode の番号をバイトに詰める規則。1文字1〜4バイト、英数字は1バイト、日本語は主に3バイト
• CP932：日本語版 Windows の文字コード。Unicode とは別の体系で、Excel の CSV 保存はいまもこれ
• Shift_JIS：日本の規格。CP932 はこれに ① ㈱ 髙 などを足した拡張版
• バイト：8ビットの保存・通信の単位。文字専用ではなく、文字はこれを1〜4個使う

文字の事故は2種類、ずれは3層のどこか

読めない事故：文字化けは戻る、置換文字は戻らない

文字化けしたとき、ファイルのバイト列は壊れていない。書いた側と同じ規則で読み直せば戻る。 文字が壊れたと勘違いすることが多いが、使っているレンズが違うだけ。

• 名前が同じでも中身が違う。Python の shift_jis は ㈱ を扱えないが、Go の japanese.ShiftJIS は中身が CP932 相当で扱える
• 定石は、入口で1回だけ UTF-8 に変換し、中では UTF-8 しか扱わないこと

一致しない事故：見た目が同じで中身が違う

見た目が同じなのに一致しないときは、推測で直さない。数えて、番号を出して、正体を特定してから直す。

• BOM は「UTF-8 で読め」という名札。ただし付いていないことは何の証拠にもならない。付けてくるのは主に Excel の「CSV UTF-8」保存

正規化：比べる・一致を見るときに大事

正規化は、見た目は同じなのに中身が違う文字列を、1つの形にそろえること。JOIN・名寄せ・重複チェックのように、2つの文字列が同じかを機械が判定するときに必要になる。表示するだけなら要らない。

• TrimSpace（BigQuery なら TRIM）：前後の空白を削る。全角スペースや改行も消えるが、真ん中のスペースと、ゼロ幅スペース・BOM は残る
• NFKC：形の違う同じ文字をそろえる。半角カナは全角に、全角英数は半角に、㈱ は (株) に、① は 1 になる。長音「ー」とハイフン、大文字小文字、ゼロ幅スペースはそろわない
• 小文字化（ToLower / LOWER）：大文字小文字をそろえる。NFKC はここをやらないので別に足す

"  ＡＢＣストア " → TrimSpace → "ＡＢＣストア" → NFKC → "ABCストア" → 小文字化 → "abcストア"

Goだとどうなる？

decoded := transform.NewReader(r, japanese.ShiftJIS.NewDecoder())   // CP932 → UTF-8
...
if strings.ContainsRune(f, utf8.RuneError) {   // utf8.RuneError は U+FFFD
    return nil, fmt.Errorf("... invalid Shift-JIS sequence at col %d", ...)
}

• 1行目：CP932 のバイト列を UTF-8 に読み替える＝読み直せば戻る
• RuneError の検査：デコーダは読めないバイトに出会っても、エラーを返さず黙って U+FFFD に置き換える。だから置換文字が1つでも混ざった値は、テーブルに入れずに止める

関連

• データ基盤
• Go
• エンコードとデコード — 入口でデコードする、の文字コード版