pandas データフレームのデータ型確認と型変換のサンプルコード集
Mentaの相談でよく「自作のデータをデータフレームを機械学習モデルの関数に入れるとエラーが出て動きません」というのがあるので、それのテンプレ回答になります。
ちなみに体感このエラーの原因の9割は関数が想定して...
pandas
pandas pandas 【Python】データフレームの複数列を、2次元配列リストに変換する方法
業務のデータ処理でデータフレームの複数の列を、二次元配列のリストを変換する際に少し手間取ったので、次からスムーズにできるように自分用にメモしておきます。
データフレームの複数の列を、二次元配列を変換する方法...
pandas pandasでcsv読み込み時に「UnicodeDecodeError」が出る際の解決方法
pandasでのcsv読み込み時「UnicodeDecodeError」
Pythonでcsvの中身をpd.read_csv()で読み込んでデータフレームとしてデータを処理しようとするとたまに「UnicodeDecodeErr...
pandas Pandasでサイトのテーブルタグをデータフレームとしてスクレイピング
webサイトのテーブルタグの中身のデータをまとめて簡単に取得する方法がないかを探していたところpandasのpd.read_html()という関数が非常に便利だったのでメモがてら紹介したいと思います。
pd.read_ht...
pandas 【Python】エルボー法による最適クラスタ数の決め方
今回は前回スクレイピングして前処理したデータをもとにしてk-mean法によるクラスタリングを行います。pythonではpandasのモジュールで実装することが可能です。
前回の記事：【Python】pandas-dat...
Beautiful Soup 【Python】ウェブサイトのTableタグ内の情報をpandasで効率良くスクレイピングする
こんにちは、ミナピピン(@python_mllover)です！
今回はスクレイピングしたwebサイトのテーブルタグの中の情報をデータフレームにして効率良く処理する方法について紹介したいと思います。
panda...
pandas エクセルの複数シートにデータフレームを出力・追記する
こんにちは、ミナピピン(@python_mllover)です。
今回は案件でスクレイピングしたデータをエクセル(.xlsx) のシートにまとめるということを行ったのですが、まずPythonではpandasのdf.to_...
pandas 【Python】pandas-profilingのprofile_report()の型推論の初期設定を変更する方法
こんにちは、ミナピピン(@python_mllover)です。
MENTAの案件でpandas-profilingのprofile_report()でデータフレームを自動分析した際に連続の数値として所為したいものがカテ...
pandas 【Python】pandas-profilingの「ImportError: cannot import name ‘AppLayout’ from ‘ipywidgets’」の原因と解消法
こんにちは、ミナピピン(@python_mllover)です。
ローカル環境でpandas-profilingのprofile_report()を実行しようとした以下のようなエラーが発生したので、原因と解決方法をメモし...
pandas pandasでcsv読み込み時にインデックスや列がズレる原因と対処法
こんにちはミナピピン(@python_mllover)です。
仕事でPythonを触っていたのですが、クライアントからもらったcsvをpandasで読み込むと列がズレて先頭列のデータが勝手にインデックスになるという謎の...