{"id":2398,"date":"2021-01-26T21:08:44","date_gmt":"1970-01-01T00:00:00","guid":{"rendered":"https://freelance.indieverse.co.jp/media/?p=2398"},"modified":"2025-11-01T17:49:34","modified_gmt":"2025-11-01T08:49:34","slug":"python-pandas","status":"publish","type":"post","link":"https://freelance.indieverse.co.jp/media/programming/python/python-pandas","title":{"rendered":"Python | Pandasの使い方 | よく使う前処理、可視化方法をまとめみた"},"content":{"rendered":"

Pythonの前処理ライブラリPandasを利用して、データの前処理を行うことが多いのですが、そこでよく使う処理をまとめます。

\n

Pandasとは

\n

Pandasは、データの前処理を行うライブラリです。エクセルで行うような、行列を扱うことができます。

\n\n

などができます。

\n

Pandasと併用して利用するライブラリ

\n

Pandasと併用するライブラリは、

\n\n

という感じです。

\n

Pandasのメリット

\n

個人的に、データの前処理はこういう場合はExcelかGoogle Spreadsheetを使います。

\n\n

一方で、Pandasを利用する場合は、

\n\n

という場合には、非常に重宝します。

\n

ライブラリのインポート

\n

Pandasをインストールしていなければ、以下のコマンドでインストールして下さい。

\n
\n
pip install pandas
\n
\n

して下さい。

\n

データのインポート

\n

データセットをインポートします。

\n

CSVインポートする

\n

CSVファイルを、Pandasを利用してインポートします。

\n
\n
import pandas as pd\r\ndf = pd.read_csv(\"あなたのCSV名.csv\", index_col=0)
\n
\n\n

BigQueryからインポートする

\n

Google Big Queryからデータをインポートします。

\n
\n
import pandas as pd\r\nsql = \"\"\"SELECT nameFROM `bigquery-public-data.usa_names.usa_1910_current`WHERE state = 'TX'LIMIT 100\"\"\"\r\nproject_id = 'your-project-id'\r\ndf = pandas.read_gbq(sql, project_id=project_id, dialect='standard')
\n
\n\n

引用：pandas-gbq からの移行

\n

データフレームを結合する

\n

\n

データを眺める

\n

先頭行をみる

\n

データの中身を確認するため、最初の行を確認します。

\n
\n
df.head(50) #最初の50個を取得
\n
\n\n

最終行をみる

\n

データの最終行を確認します。

\n
\n
df.tail(30)
\n
\n\n

要約統計量を出力する

\n

要約統計量を出力します。

\n
\n
df.describe()
\n
\n\n

変数の個数を確認する

\n
\n
df.info()
\n
\n

 

\n

列名を取得する

\n
\n
df.columns
\n
\n

列名の型を取得する

\n
\n
df.dtypes
\n
\n

 

\n

データフレームを結合する

\n

複数のデータフレームがある場合に結合します。df1とdf2を組み合わせて、df3を出力します。

\n
\n
df1 = pd.read_csv(\"df1.csv\")\r\ndf2 = pd.read_csv(\"df2.csv\")\r\ndf3 = pd.concat([df1, df2])
\n
\n

参考）http://sinhrks.hatenablog.com/entry/2015/01/28/073327

\n

データをソートする

\n

列名を指定して、昇順、降順に並び替える

\n
\n
df.sort_values(by=[\"bookmarks\"], ascending=False)
\n
\n\n

データを抽出する

\n

列名から、条件を指定して取得します。

\n

列名から、以上、以下を指定して取得する

\n
\n
df[df[\"列名\"] > 20] # 列名の値が20以上の値のみ返します\r\ndf[df[\"列名\"] < 20] # 20以下の値のみ返します\r\ndf[df[\"列名\"] > 20][df[\"列名\"] <30] # 20以上30未満の値を返します
\n
\n

特定の行の値のものを検索する

\n

ある列から、”2017″が含まれるキーワードを抽出します。

\n
\n
df[df[\"date\"].str.contains(\"2017\", na=False)]
\n
\n\n

データをランダムにサンプリングする

\n

APIの利用制限等で、データの取得が限定される時は、ランダムにサンプリングする

\n
\n
df.sample(n=100)
\n
\n\n

GROUP BY

\n
\n
df[['Pclass', 'Survived']].groupby(['Pclass'], as_index=False).mean().sort_values(by='Survived', ascending=False)
\n
\n

 

\n

データを消去する

\n
\n
del df['col'] \r\ndf.drop(['col'], axis = 1)
\n\n

列名を並び替える

\n

A, B, C, D, Eという列があると仮定します。

\n
\n
\n
df = df[['A', 'B', 'C','D','E']]　#列を指定した列で並び替える
\n
\n

データをコピーする（バックアップ用）

\n
\n
df2 = df.copy()
\n
\n

列名を変更する

\n

事前に、

\n\n

というカラムがあるとします。

\n

列名を後から変更します。

\n
\n
#クエリ数 クリック数 表示回数 CTR 掲載順位\r\ndf = df.rename(columns={'クエリ数': 'query', 'クリック数':'clicks','表示回数':'apparence',\"掲載順位\":\"ranks\"})
\n
\n

CSVに書き込む

\n

CSVファイルにデータを書き込みます。

\n
\n
df.to_csv(\"csv名.csv\")
\n
\n

データのクリーニング

\n

置換を行う

\n

変更したい文字と、変換後の文字でデータを置換します。

\n

列の値に制限して置換したい場合

\n
\n
df['列名'] = df2['列名'].str.replace('変更したい文字', '変更後の文字')　#特定の列の一文字を置き換える
\n

データフレーム全体を置換したい場合

\n
\n
df.replace('変更したい文字', '変更後の文字')　
\n

正規表現で置換する

\n
\n
\n

正規表現を利用した置換を行う

\n
\n
df.列名.str.extract('(.+)@', expand=True) # @よりも前を検索df[\"age\"]= df.列名.str.extract('(\\d\\d)さい', expand=True) # 「さい」の前の整数値2つを取得した列ageを追加 df.loc[df.iloc[:,0].str.contains(r'(Hel|Just)')] df.loc[df.列名1 <= 4, '新規列名'] = True # 列名1の値が4未満なら、新規列名にTrueの値をだす
\n
\n

全角・半角文字の変換

\n

日本語文字列を扱っているデータの中に数値が全角で入っている場合がある。これをそのまま集計に入れるとエラーが起こるので、データを変換する。

\n

japandasをインストールする。

\n
\n
pip install japandas
\n
\n

あとは普通にpandasをインポートしてあげて、実行する

\n
\n
import japandas as jpd\r\ndf.列名.str.h2z() # 全角から半角に変換する\r\n
\n
\n

参考）https://japandas.readthedocs.io/en/latest/jpstrings.html

\n

正規表現についてはこちらの記事を参照。

\n

＞初心者歓迎！手と目で覚える正規表現入門・その１「さまざまな形式の電話番号を検索しよう」

\n

もしくは

\n
\n
pip install jaconv
\n
\n

して、

\n
\n
# 全角の数値を半角に変換する関数\r\ndef normalize(s):  \r\n    import numpy as np\r\n    s = str(s)  \r\n    if s == \"nan\":\r\n        return np.nan\r\n    s = jaconv.hira2kata(s)   \r\n    s = jaconv.z2h(s)\r\n    s = float(s)\r\n    return s\r\n\r\ndf['新しい列名'] = df.全角数値が入っている列名.apply(normalize)
\n

してあげると良い。

\n

参考）【保存版】Pythonの文字変換（半角,全角,小文字,大文字）

\n
\n

データ型を数値リテラルに変換する

\n

統計処理を行う際、文字列（String）だと動作しない場合があるので、数値列（numeric）に変換します。

\n
\n
df['列名'] = pd.to_numeric(df['列名'])
\n
\n

列名の、指定した文字から先を削除する

\n

単位を揃えるときによく利用します。

\n\n
\n
df[\"列名\"] = df[\"列名\"].str.split(\"万\").str[0]
\n
\n

特定の文字列を含んでいた時に、Trueなら1, Falseなら0に変換

\n

カテゴリカルデータを0-1に変換する場合に利用する。ただし、数値として扱われるので、クロス集計をする場合はカテゴリカルデータに変換する必要もある。

\n
\n
df[\"新しい列名\"] = df.列名.str.contains(\"^[0-9]\", regex=True) * 1 # 0-9の数値が含まれていたら \r\ndf[\"新しい列名\"] = df.列名.isnull() * 1 # NaNの数値が含まれていたら0\r\ndf[(df['列名1'].str.contains('文字列1')) & (df['列名1'].str.contains('文字列2'))] # 列名1に文字列1と文字列2が含まれたら
\n

特定の数字以上なら●●

\n
\n
df.loc[df.列名1 <= 4, '新規列名'] = 'True' # 列名1の値が4未満なら、新規列名にTrueの値をだす\r\ndf.loc[(df.列名1 >= 1) & (df.列名2 < 5), \"新規列名\"] = 1 # 1-5nの数値なら、なら、1を返す新規列名を作成
\n
\n

 

\n
\n

経過日数の取得

\n
\n
df[\"新しい列名\"] = pd.to_datetime(df['日付の列']) - pd.to_datetime(df['日付の列2'])\r\ndf[\"新しい列名\"] = pd.datetime.today() - pd.to_datetime(df['日付の列1']) # 本日までの経過時間
\n
\n

欠損値処理

\n
\n
df.fillna(0)　# nanを0に変換するdf.列名.fillna(0)　# nanを0に変換する
\n
\n

 

\n

データに重複があるかチェックする

\n
\n
df.duplicated().any() 
\n
\n

Seabornを使ってグラフ表示

\n

matplotlibのラッパーであるSeabornを使うと、シャレオツな感じでグラフを描画できます。

\n\n
\n
import seaborn as sns\r\nimport matplotlib.pyplot as plt\r\nfig, ax = plt.subplots()\r\nfig.set_size_inches(11.7, 8.27) #画像サイズを設定する
\n
\n

 

\n

散布行列を書く

\n

全ての列と列で、散布図を作成します。

\n
\n
\n
import seaborn as sns\r\nimport matplotlib.pyplot as plt\r\nfig, ax = plt.subplots()\r\nfig.set_size_inches(11.7, 8.27)\r\n\r\npg = sns.pairplot(df.dropna()) #NaNの削除\r\npg.fig.title(\"Correlation Matrix of RTs, Likes, Follower Increase\", fontsize=12) #タイトルの設定\r\npg.fig.suptitle(\"Outlier in RT and Favs observable\", fontsize=12)
\n

ヒストグラム

\n

ヒストグラムを書きます。

\n
\n
\n
import seaborn as sns\r\nimport matplotlib.pyplot as plt\r\nfig, ax = plt.subplots()\r\nfig.set_size_inches(11.7, 8.27)\r\n\r\nsns.distplot(df.列名,kde = True).set_title('タイトル') #列名Seriesを引数に。\r\nplt.show()
\n
\n
\n

箱ひげ図

\n

箱ひげ図を書きます。

\n
\n
import seaborn as sns\r\nimport matplotlib.pyplot as plt\r\nfig, ax = plt.subplots()\r\nfig.set_size_inches(11.7, 8.27)\r\nsns.boxplot(x=df[\"列名\"])
\n

棒グラフ

\n

棒グラフを描きます。

\n
\n
import seaborn as sns\r\nimport matplotlib.pyplot as plt\r\nfig, ax = plt.subplots()\r\nfig.set_size_inches(11.7, 8.27)\r\nsns.countplot(x=df[\"列名\"]).set_title(\"タイトル名\")
\n
\n
\n

分析処理

\n

Pandasでは、簡単な統計分析を行うことができます。

\n

相関係数を出力する

\n
\n
df.corr()
\n
\n

相関係数をヒートマップで可視化する

\n
\n
import seaborn as sns\r\nimport matplotlib.pyplot as plt\r\nfig, ax = plt.subplots()\r\nfig.set_size_inches(11.7, 8.27)\r\nsns.heatmap(df.dropna().corr(), vmax=1, vmin=-1, center=0)\r\n
\n
\n

デフォルトのカラーパレットはみにくいので、下記記事を参考に色を設定します。

\n

≫Seabornのカラーパレットの選び方 

\n
\n
sns.set_palette(\"husl\")
\n
\n

散布図・ヒストグラムを同時出力 (jointplot)

\n
\n
sns.jointplot('列名1', '列名2', data=df)
\n
\n\n

参考）https://seaborn.pydata.org/generated/seaborn.jointplot.html

\n

クロス集計

\n
\n
df[[\"列名1\", \"列名2\"]].groupby(['列名1'], as_index=False).mean().sort_values(by='列名2', ascending=False)
\n
\n

 

\n

Pandasのデータ分析のサンプル

\n

実際に上の処理を参考に、データ分析を行います。

\n
    \n
  1. Pandasのインポート
    2. \n
  2. データセットのインポート
    3. \n
  3. データセットの表示
    4. \n
\n

処理の内容は、以下のURLから確認できます。

\n

≫ Pandasチュートリアル

\n

Pandasのインポート

\n
\n
import pandas as pd
\n
\n

データセットのインポート

\n

今回はCSVがないので、sklearnと言うライブラリから、データをインポートします。
\n利用するデータセットは、ボストン市の住宅価格を利用します。各変数には、以下のような値が含まれています。

\n
    \n
  1. CRIM 犯罪発生率
    2. \n
  2. ZN 住居区画の密集度
    3. \n
  3. INDUS 非小売業の土地割合
    4. \n
  4. CHAS チャールズ川 (1: 川の周辺, 0: それ以外)
    5. \n
  5. NOX NOx濃度
    6. \n
  6. RM 住居の平均部屋数
    7. \n
  7. AGE 1940年より前に建てられた物件割合
    8. \n
  8. DIS 5つのボストン市の雇用施設からの重み付き距離
    9. \n
  9. RAD 大きな道路へのアクセスしやすさ
    10. \n
  10. TAX $10,000ドルあたりの所得税率
    11. \n
  11. PTRATIO 教師あたりの生徒数
    12. \n
  12. B 黒人の比率 1000(Bk – 0.63)^2
    13. \n
  13. LSTAT 低所得者の割合
    14. \n
\n

データセットの詳細は、以下のURLを参考にしてください。

\n

引用元： ≫ Scikit-learnで機械学習（回帰分析）

\n

早速、データを解析します。

\n
\n
import pandas as pd\r\nfrom sklearn.datasets import load_boston\r\nboston = load_boston()\r\ndf = pd.DataFrame(boston.data, columns=boston.feature_names)
\n
\n

データセットの表示

\n

取得したデータセットを表示します。

\n
\n
df.head(10)
\n
\n

\"データセットの表示\"

\n

要約統計量の出力

\n
\n
df.describe()
\n
\n

\"要約統計量の出力\"

\n

散布行列

\n

データの全体像を把握するために、散布行列を確認します。
\n本来はもっとまえに前処理が必要なのですが、データセットがすでに綺麗なので省略します。

\n

まずはseabornとmatplotlibをセットアップします。

\n
\n
import seaborn as sns\r\nimport matplotlib.pyplot as plt\r\nfig, ax = plt.subplots()\r\nfig.set_size_inches(11.7, 8.27)
\n

散布行列を描きます。

\n
\n
pg = sns.pairplot(df.dropna()) #NaNの削除
\n
\n
\n

\"散布行列を描きます。\"

\n

 

\n

こうすると、変数間の関係性を確認することができます。

\n

相関係数の出力

\n

変数間の相関係数を出力します。

\n
\n
df.corr()
\n
\n

\"相関係数の出力\"

\n

ヒートマップで可視化すると、どこがどう関係しているのかわかりやすいです。

\n
\n
sns.heatmap(df.dropna().corr(), vmax=1, vmin=-1, center=0)
\n
\n

\"ヒートマップで可視化すると、どこがどう関係しているのかわかりやすいです。\"

\n

最後に

\n

簡易的ではありますが、Pandasで何ができるのかがわかるかと思います。ぜひ参考にしてみてください！

\n

Pythonを無料で学ぼう！ DAINOTE公式チュートリアルを公開しました

\n

\"Pythonを無料で学ぼう！

\n\n

という方向けに、DAINOTE編集部が作成した、Pythonのチュートリアルを用意しました。

\n

まずは、簡単な技術で、プログラミングを楽しんでみませんか？

\nチュートリアルを見る（無料）\n

 

\n","protected":false},"excerpt":{"rendered":"

PythonのPandas入門。CSV/BigQueryの読み込み、結合・集計・抽出・ソート、可視化までをコード例で解説します。describeやinfo、matplotlib・seaborn連携紹介、実務で役立つ前処理のコツが分かります。

\n","protected":false},"author":1,"featured_media":2512,"comment_status":"closed","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[191],"tags":[],"class_list":["post-2398","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-python"],"aioseo_notices":[],"meta_description":"PythonのPandas入門。CSV/BigQueryの読み込み、結合・集計・抽出・ソート、可視化までをコード例で解説します。describeやinfo、matplotlib・seaborn連携紹介、実務で役...","_links":{"self":[{"href":"https://freelance.indieverse.co.jp/media/wp-json/wp/v2/posts/2398","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https://freelance.indieverse.co.jp/media/wp-json/wp/v2/posts"}],"about":[{"href":"https://freelance.indieverse.co.jp/media/wp-json/wp/v2/types/post"}],"author":[{"embeddable":true,"href":"https://freelance.indieverse.co.jp/media/wp-json/wp/v2/users/1"}],"replies":[{"embeddable":true,"href":"https://freelance.indieverse.co.jp/media/wp-json/wp/v2/comments?post=2398"}],"version-history":[{"count":2,"href":"https://freelance.indieverse.co.jp/media/wp-json/wp/v2/posts/2398/revisions"}],"predecessor-version":[{"id":94375,"href":"https://freelance.indieverse.co.jp/media/wp-json/wp/v2/posts/2398/revisions/94375"}],"wp:featuredmedia":[{"embeddable":true,"href":"https://freelance.indieverse.co.jp/media/wp-json/wp/v2/media/2512"}],"wp:attachment":[{"href":"https://freelance.indieverse.co.jp/media/wp-json/wp/v2/media?parent=2398"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https://freelance.indieverse.co.jp/media/wp-json/wp/v2/categories?post=2398"},{"taxonomy":"post_tag","embeddable":true,"href":"https://freelance.indieverse.co.jp/media/wp-json/wp/v2/tags?post=2398"}],"curies":[{"name":"wp","href":"https://api.w.org/{rel}","templated":true}]}}