Python 【Python】リスト内の組み合わせをitertoolsで取得する
業務でPOSデータから一定期間内の特定のユーザーの購買の組み合わせを集計したいと思った際に購入アイテムのリストからリスト内の要素の組み合わせを全て出力する必要があったので方法をメモしておきます。
問題例と解決パターン
...
ミナピ@データアナリスト
Python pandas pandasで特定列のユニークな値を数値IDに変換する方法
業務でこんな感じの文字列のデータフレームの列に対してユニークな値に対応する数値IDを割り振って新しく列を作りたいなぁと思って方法を調べたのでメモしておきます。
データ準備
イメージとしては購買データとかでアイテム...
pyspark PySparkのtoPandas()でメモリエラーが起こるときの対策
SparkのDataFrameで作ったデータをPythonの各モジュールで使いたい時、pysparkのデータフレームをtoPandas()メソッドを利用してPandasのデータフレームに変換したいことがあると思いますが、その際にメモ...
pandas pandasで2つのデータフレームの行の差分を取得する方法
今回は業務で2つのデータフレームを比較して差分や内容に違いがある行だけを抽出したいな～と思ったのですが、少し手間取ったのでやり方をメモしておきます
データの準備
Pandasで2つのデータフレームを比較して処理を...
pandas Pandasで列ごとの累積和を計算する方法
今回はPandasで列ごとの累積和を集計する方法を紹介したいと思います。
データ用意
import pandas as pd
df = pd.DataFrame({'商品ID':, '商品名': , '平均価格'...
pyspark 【Pyspark】Spark.driverのメモリ上限設定を変更する方法
DatabricksでsparkのデータフレームをtoPandas()でpandasのデータフレームに変換しようとした際に以下のようなエラーに遭遇しました。
＜エラーメッセージ＞
Caused by: org.apa...
Python pandasからsparkデータフレームへの変換時に 「Can not merge type error」のエラーが出た時の対策
業務でPysparkを扱っていた際にcsvをデータフレームで読み込んで、前処理を掛けたあとにsparkのデータフレームに変換しようとしたところ以下のエラーに遭遇したので解決法をメモしておきます。
プログラム
df =...
Python 【Python】Seleniumで「element click intercepted」でボタン要素がクリックできない時の対策
こんにちは、ミナピピン(@python_mllover)です。
「element click intercepted」でボタン要素がクリックできない
PythonのSeleniumでボタン要素を.clic...
BigQuery BigQueryのサンプルデータセットのまとめ
業務でBigqueryのサンプルデータを使う必要があり、その辺りについて少し調査したので結果をメモしておきます。同じような人の助けになれば幸いです。
Bigqueryのサンプルデータの種類
Bigqueryのサン...
SQL DatabricksでSUBSTRINGとCONCATで文字列データを操作する
Databricksのspark.sqlで20220801みたいな年月日がそのままくっついている日付の文字型データを2022-08-01のように変換して新しい列にする方法について紹介したいと思います。
文字列の抽出はSUB...