pandasでcsv読み込み時に「UnicodeDecodeError」が出る際の解決方法

pandas

2022.10.02 2022.05.21

この記事は約2分で読めます。

pandasでのcsv読み込み時「UnicodeDecodeError」

Pythonでcsvの中身をpd.read_csv()で読み込んでデータフレームとしてデータを処理しようとするとたまに「UnicodeDecodeError」が起こることがあります。

大抵は以下のように引数のencodingを「utf-8」とか「utf-8-sig」とか「shift-jis」とか「cp932」に適当に変更して再実行すると大抵上手くいくのですが、特殊文字などが含まれている場合はどれでエンコードしてもエラーになるときがあります。

import pandas as pd
pd.read_csv('xxx.csv', encoding='shift-jis')
pd.read_csv('xxx.csv', encoding='cp932')
pd.read_csv('xxx.csv', encoding='utf-8')

csv読み込み時の「UnicodeDecodeError」の最終手段

そんなときは最終手段で以下のように書くと良いです。

(codecsはデフォルトのライブラリなのでpipインストールは不要です)

import codecs
with codecs.open(r'path/to/xxx.csv', "r", "shift-jis", "ignore") as f:
    df = pd.read_csv(f)

参考：https://qiita.com/niwaringo/items/d2a30e04e08da8eaa643

現場で使える！pandasデータ前処理入門機械学習・データサイエンスで役立つ前処理手法

株式会社ロンバート翔泳社 2020年04月20日頃

楽天ブックス

コメント

ファイル書き出し時に「cp932 codec can’t encode character」エラーが出る際の解決法 | ミナピピンの研究室より:

2022年10月2日 6:17 PM

[…] 関連記事：【Python】pandasのcsv読み込みで「UnicodeDecodeError」が出たときの解決方法一覧 […]

返信
pandasで列数が一定じゃないcsvファイルを読み込む | ミナピピンの研究室より:

2022年11月16日 1:44 AM

[…] 関連記事：pandasでcsv読み込み時に「UnicodeDecodeError」が出る際の解決方法 […]

返信
pandasのread_csv()で「Unicode BOM付」ファイルを読み込む方法 | ミナピピンの研究室より:

2022年12月15日 11:39 PM

[…] 過去記事：pandasでcsv読み込み時に「UnicodeDecodeError」が出る際の解決方法 […]

返信
【pandas】to_csv()によるcsv出力時に空行が入る場合の対処法 | ミナピピンの研究室より:

2023年7月19日 5:47 PM

[…] 関連記事：pandasでcsv読み込み時に「UnicodeDecodeError」が出る際の解決方法 […]

返信
【pandas】csv出力時にcp932を指定するとUnicodeErrorが起こる場合の対処法 | ミナピピンの研究室より:

2023年8月5日 3:53 PM

[…] 関連記事：pandasでcsv読み込み時に「UnicodeDecodeError」が出る際の解決方法 […]

返信

タイトルとURLをコピーしました