Beautiful Soup Python スクレイピング

【Python】BeautifulSoupでスクレイピングしたhtmlが文字化けしたときの解消法

この記事は約2分で読めます。

 

こんにちは、ミナピピン(@python_mllover)です。この前案件で某ECのサイトの商品情報をスクレピングしていたのですが、いつも通りのやり方でスクレピングするとテキストが文字化けしていました。

 

import requests
from bs4 import BeautifulSoup 

res = requests.get('https://www.monotaro.com/g/04100001/')
soup = BeautifulSoup(res.text, 'lxml') #要素を抽出

 

 

スポンサーリンク
スポンサーリンク

文字化けの解決方法

 

res.contentを渡す

 

res = requests.get('https://www.monotaro.com/g/04100001/')
soup = BeautifulSoup(res.content, 'lxml') #要素を抽出

 

BeautifulSoupで指定するテキストデータをr.textではr.contentにすることで大体治る気がします。他にも文字コードをutf-8指定するみたいな方法もあるみたいなのですが、今回は試しても効果はありませんでした。あとは’lxml’の部分を’html.parser’に変更するなどもあります

 

 

 


プログラミング・スクレイピングツール作成の相談を受け付けています!

クラウドワークス・ココナラ・MENTAなどでPython・SQL・GASなどのプログラミングに関する相談やツール作成などを承っております!

過去の案件事例:

  • Twitter・インスタグラムの自動化ツール作成
  • ウェブサイトのスクレイピングサポート
  • ダッシュボード・サイト作成
  • データエンジニア転職相談

これまでの案件例を見る

キャリア相談もお気軽に!文系学部卒からエンジニア・データサイエンティストへの転職経験をもとに、未経験者がどう進むべきかのアドバイスを提供します。


スポンサーリンク
/* プログラミング速報関連記事一覧表示 */
ミナピピンの研究室

コメント

  1. […] 関連記事:【Python】BeautifulSoupでスクレイピングしたhtmlが文字化けしたときの解消法 […]

タイトルとURLをコピーしました