データ分析

pandas

pandasで特定列のユニークな値を数値IDに変換する方法

業務でこんな感じの文字列のデータフレームの列に対してユニークな値に対応する数値IDを割り振って新しく列を作りたいなぁと思って方法を調べたのでメモしておきます。 データ準備 イメージとしては購買データとかでアイテム...
pandas

pandasで2つのデータフレームの行の差分を取得する方法

業務で2つのデータフレームを比較して差分ではなく、内容に違いがある行だけを抽出したいな~と思ったのですが、少し手間取ったのでやり方をメモしておきます データ Pandasで2つのデータフレームを比較して処...
pandas

Pandasで列ごとの累積和を計算する方法

今回はPandasで列ごとの累積和を集計する方法を紹介したいと思います。 データ用意 import pandas as pd df = pd.DataFrame({'商品ID':, '商品名': , '平均価格'...
pandas

データフレームのデータ型確認と型変換のサンプルコード集

Mentaの相談でよく「自作のデータをデータフレームを機械学習モデルの関数に入れるとエラーが出て動きません」というのがあるので、それのテンプレ回答になります。 ちなみに体感このエラーの原因の9割は関数が想定して...
エンジニア日記

【データ分析】データマーケティングにおけるレコメンド手法の一覧まとめ

レコメンドとは レコメンドとはそのまま文字通りの意味で「推薦」。ECサイトなどで自分の購買履歴や属性情報に基づいてオススメの商品を紹介してくれる仕組みです。 この記事を見た人はこの記事も見ています。 こ...
pandas

【Python】データフレームの複数列を、2次元配列リストに変換する方法

業務のデータ処理でデータフレームの複数の列を、二次元配列のリストを変換する際に少し手間取ったので、次からスムーズにできるように自分用にメモしておきます。 データフレームの複数の列を、二次元配列を変換する方法...
Python

【Python】Pytorchで自作データセットとDataset/DataLoaderを使った画像分類

今回はPytorchを用いた画像分類をPOCで行ったので、その際のメモになります。TesorflowやKerasは以前使ったことがあったので余裕でしょwwwって思っていたら、Pytorch独特の書き方に結構苦戦しました。 ...
pandas

pandasでcsv読み込み時に「UnicodeDecodeError」が出る際の解決方法

pandasでのcsv読み込み時「UnicodeDecodeError」 Pythonでcsvの中身をpd.read_csv()で読み込んでデータフレームとしてデータを処理しようとするとたまに「UnicodeDecodeErr...
pandas

【Python】pandasでウェブサイトのtableタグ内のデータをまとめてスクレイピングする

webサイトのテーブルタグの中身のデータをまとめて簡単に取得する方法がないかを探していたところpandasのpd.read_html()という関数が非常に便利だったのでメモがてら紹介したいと思います。 pd.read_ht...
Matplotlib

【Python】Matplotlib製グラフの軸ラベルの文字が重なる問題を解決する方法

matplotlibでグラフを出力するとたまにこういう軸ラベルが重なっている気持ち悪いグラフが生成されてしまう問題が起きます。 今回は未来の自分用にこういう場合の対処法をまとめておきます。 #...
タイトルとURLをコピーしました