パイソンパンダス

Python Pandas は、データの処理と分析に強力なツールです。柔軟で効率的で拡張可能なデータ構造を提供し、さまざまなデータの処理と分析を容易に行うことができます。この記事では、Pandas の基本的な概念と使用方法、一般的なメソッドやパラメータ、便利なテクニック、そして注意すべきポイントについて説明します。

Pandas の基本的な概念#

Pandas の中心的なデータ構造は Series と DataFrame です。Series は 1 次元の配列であり、整数、浮動小数点数、文字列など、任意のデータ型を格納することができます。DataFrame は 2 次元のテーブルであり、複数の Series で構成されていると考えることができます。各 Series は 1 つの列のデータを表し、各行は 1 つの観測値を表します。

Pandas は他にも Panel や Panel4D などのデータ構造を提供していますが、実際のアプリケーションでは主に Series と DataFrame を使用します。

Pandas の使用方法#

データの読み込み#

まず、ファイルやデータベースからデータを読み込む必要があります。Pandas は CSV、Excel、SQL など、さまざまなデータ形式をサポートしています。以下は CSV ファイルを読み込む例です：

import pandas as pd

df = pd.read_csv('data.csv')

データのクリーニング#

データを読み込んだ後、データをクリーニングする必要があります。データのクリーニングには、重複値の削除や欠損値の補完などが含まれます。以下は重複値の削除と欠損値の補完の例です：

# 重複値の削除
df.drop_duplicates(inplace=True)

# 欠損値の補完
df.fillna(0, inplace=True)

データのフィルタリング#

データをクリーニングした後、データをフィルタリングする必要があります。Pandas は行、列、条件など、さまざまなフィルタリング方法を提供しています。以下は条件に基づいてフィルタリングする例です：

# 条件に基づいてフィルタリング
df = df[df['age'] > 18]

データのグループ化#

データをフィルタリングした後、データをグループ化することがあります。Pandas は groupby メソッドを提供しており、データのグループ化を実現することができます。以下は性別でグループ化する例です：

# 性別でグループ化
grouped = df.groupby('gender')

データの統計処理#

グループ化した後、データの統計処理を行うことができます。Pandas は、カウント、合計、平均など、さまざまな統計メソッドを提供しています。以下は各グループの年齢の平均値を計算する例です：

# 各グループの年齢の平均値を計算
grouped['age'].mean()

Pandas の一般的なメソッドとパラメータ#

DataFrame の一般的なメソッド#

head (n)：最初の n 行のデータを返す。
tail (n)：最後の n 行のデータを返す。
info ()：DataFrame の基本情報を返す。
describe ()：DataFrame の統計情報を返す。
dropna ()：欠損値を削除する。
fillna (value)：欠損値を補完する。
drop_duplicates ()：重複値を削除する。
groupby ()：特定の列でグループ化する。

DataFrame の一般的なパラメータ#

index_col：特定の列をインデックス列として指定する。
header：特定の行を列名として指定する。
sep：区切り文字を指定する。
na_values：欠損値を指定する。
dtype：各列のデータ型を指定する。

Series の一般的なメソッド#

value_counts ()：各値の出現回数を返す。
unique ()：重複しない値を返す。
nunique ()：重複しない値の数を返す。
isnull ()：欠損値かどうかを判定する。
notnull ()：欠損値でないかどうかを判定する。

Series の一般的なパラメータ#

name：Series の名前を指定する。

Pandas の便利なテクニック#

フォーマットの自動認識#

CSV ファイルを読み込む際に、自動的にフォーマットを認識できない場合があります。たとえば、一部の CSV ファイルには数字がカンマ区切り（例：1,000）である場合がありますが、Pandas はデフォルトでカンマを千の区切りとして認識し、正しく数字を読み取れなくなります。

この問題を解決する方法は、CSV ファイルを読み込む際に decimal パラメータをカンマに指定することです。以下はその例です：

df = pd.read_csv('data.csv', decimal=',')

または、自動認識を行わずに、dtype パラメータを str に指定することもできます。以下はその例です：

df = pd.read_csv('data.csv', dtype=str)

データのクイックビュー#

データを処理する際には、データの最初の数行や最後の数行を確認することがよくあります。head や tail メソッドを使用することで実現できます。また、Pandas はデータをクイックに確認するための sample メソッドも提供しています。このメソッドは指定した行数をランダムに抽出し、新しい DataFrame を返します。

以下は sample メソッドを使用して 5 行のデータをランダムに抽出する例です：

df.sample(5)

データのクイック統計#

データを統計する際には、特定の列や複数の列の合計、平均値などを計算することがよくあります。sum や mean などのメソッドを使用することで実現できます。また、Pandas はデータをクイックに統計するための agg メソッドも提供しています。このメソッドは指定した列に対して複数の統計操作を行い、新しい DataFrame を返します。

以下は agg メソッドを使用して age 列の統計操作を行う例です：

df.agg({'age': ['sum', 'mean', 'max', 'min']})

Pandas で注意すべきポイント#

エンコーディングの問題#

CSV ファイルを読み込む際に、エンコーディングの問題が発生することがあります。たとえば、CSV ファイルが UTF-8 エンコーディングである場合、Pandas はデフォルトで ASCII エンコーディングを使用するため、読み込んだ中文の文字が文字化けしてしまいます。

この問題を解決する方法は、CSV ファイルを読み込む際に encoding パラメータを UTF-8 に指定することです。以下はその例です：

df = pd.read_csv('data.csv', encoding='utf-8')

インデックスの問題#

DataFrame を処理する際に、インデックスの問題が発生することがあります。たとえば、DataFrame に対して特定の操作を行うと、元のインデックス列が変更され、後続の操作でエラーが発生することがあります。

この問題を解決する方法は、DataFrame に対して操作を行う際に copy メソッドを使用して新しい DataFrame のコピーを作成し、新しい DataFrame に対して操作を行うことです。以下はその例です：

new_df = df.copy()
new_df.drop_duplicates(inplace=True)

まとめ#

本記事では、Python Pandas の基本的な概念と使用方法、一般的なメソッドやパラメータ、便利なテクニック、注意すべきポイントについて説明しました。本記事の学習を通じて、Pandas の基本的な使い方をマスターし、実際のプロジェクトに柔軟に応用することができるようになるでしょう。

Pandas の Google コース：#

pandas Google colab オンラインコース