<p>RustでPandasに似たライブラリはないか？と調べてみたところPolarsライブラリがありました。Pythonでも使えるということで、どんな差分があるか気になったのでまとめました。</p>
<p></p>
<h2 id="updates">
<a class="header-anchor-link" href="#updates" aria-hidden="true"></a> updates</h2>
<ul>
<li>2024.07.27: polarsのバージョンを0.20.31から1.2.1にアップデートしました。いよいよ初のメジャーアップデートです！</li>
<li>2024.06.23: polarsのバージョンを0.20.5から0.20.31にアップデートしました</li>
<li>2024.01.21: polarsのバージョンを0.18.3から0.20.5にアップデートしました
<ul>
<li>apply → map_elements　にリネームされました。</li>
<li>groupby → group_by にリネームされました。</li>
<li>groupby_dynamic → group_by_dynamic にリネームされました</li>
</ul>
</li>
<li>2023.06.17: polarsのバージョンを0.16.4から0.18.3にアップデートしました
<ul>
<li>groupby_dynamicを使う前に、明示的に昇順ソートするか、ソートフラグをTrueにしないとエラーになる仕様変更に対応しました。</li>
<li>v0.16.17以降、pivotで明示的にaggregate_functionを指定する必要がある警告に対応しました。</li>
</ul>
</li>
<li>2023.03.18: polarsのバージョンを0.15.8から0.16.14にアップデートしました
<ul>
<li>sortのreverse属性がdescending属性にリネームされました。</li>
<li>with_columnがwith_columnsにリネームされました。</li>
</ul>
</li>
<li>2022.12.30: polarsのバージョンを0.14.11から0.15.8にアップデートしました(APIの利用方法に変更はありません、print時に<code>dtype=datetime</code>のタイムゾーンが表示されるようになっています)</li>
<li>2022.09.17: polarsのバージョンを0.13.56から0.14.11にアップデートしました <strong>(列参照・更新などに変更があります)</strong>
</li>
<li>2022.07.24: polarsのバージョンを0.13.13から0.13.56にアップデートしました(APIに変更はありません)</li>
</ul>
<h2 id="%E6%B3%A8%E9%87%88">
<a class="header-anchor-link" href="#%E6%B3%A8%E9%87%88" aria-hidden="true"></a> 注釈</h2>
<ul>
<li>
<a href="https://github.com/pola-rs/polars" target="_blank" rel="nofollow noopener noreferrer">polarsモジュール</a>は開発中なので、今後APIが大きく変わる可能性があります。</li>
<li>ここでの差異・差分については主だったものをまとめています。そのため、全てを網羅しているわけではありません。</li>
</ul>
<h2 id="%E4%BB%95%E6%A7%98%E4%B8%8A%E3%81%AE%E5%A4%A7%E3%81%8D%E3%81%AA%E5%B7%AE%E5%88%86">
<a class="header-anchor-link" href="#%E4%BB%95%E6%A7%98%E4%B8%8A%E3%81%AE%E5%A4%A7%E3%81%8D%E3%81%AA%E5%B7%AE%E5%88%86" aria-hidden="true"></a> 仕様上の大きな差分</h2>
<p>公式ドキュメントの<a href="https://pola-rs.github.io/polars-book/user-guide/coming_from_pandas.html" target="_blank" rel="nofollow noopener noreferrer">Coming from Pandas</a>に一通り記載があります。このうち、主に影響するものを抜粋します。</p>
<ul>
<li>
<strong>pandasにはindexがあるものの、polarsには存在しません</strong>。そのため、indexに由来する処理やパラメータは使えません。
<ul>
<li>polarsでは、colなどの代わりにスライスを使います。</li>
<li>polarsにて一定日時で集計したいとき、resamplingのかわりにgroup_by_dynamicsを使います。
<ul>
<li>2023.06.17追記: v0.18.0より、group_by_dynamicsを呼び出す前に明示的にソートするか、ソート済みフラグの付与が必須となりました。sortでソートを行うか、set_sorted()を呼び出してソート済みであることを明示的に示す必要があります<sup class="footnote-ref"><a href="#fn-af00-1" id="fnref-af00-1">[1]</a></sup>。</li>
</ul>
</li>
</ul>
</li>
<li>欠損値の取り扱いについて、pandasではNA(pd.NA)、polarsではnull(pl.Null)が割り当てられます。
<ul>
<li>pandasでNAが入ったカラムはobject型になりますが、polarsではnull以外の型がキープされます。例えば、pl.Series=<code>[1, null, 2]</code>であればi64型になります。</li>
</ul>
</li>
<li>polarsでは、<code>df["hoge"] = 1</code>など単体の数値やSeriesをそのまま代入することはできません。<code>df = df.with_columns(pl.Series(name="hoge", values=[1 * len(df)]))</code>で列を追加するか、<code>df = df.replace("hoge", pl.Series(name="hoge", values=[1 * len(df)]))</code>などで列を置き換えます。</li>
</ul>
<h2 id="%E5%AE%9A%E7%BE%A9%E4%B8%8A%E3%81%AE%E5%B7%AE%E5%88%86">
<a class="header-anchor-link" href="#%E5%AE%9A%E7%BE%A9%E4%B8%8A%E3%81%AE%E5%B7%AE%E5%88%86" aria-hidden="true"></a> 定義上の差分</h2>
<ul>
<li>pandasモジュールはpd, polarsモジュールはplと略称で記載します。</li>
<li>
<code>df</code>は1データフレームを指します。</li>
</ul>
<table>
<thead>
<tr>
<th>役割</th>
<th>pandas</th>
<th>polars</th>
<th>備考</th>
</tr>
</thead>
<tbody>
<tr>
<td>データフレームの定義</td>
<td>pd.DataFrame</td>
<td>pl.DataFrame</td>
<td>-</td>
</tr>
<tr>
<td>csvファイル読み込み</td>
<td>pd.read_csv</td>
<td>pl.read_csv</td>
<td>-</td>
</tr>
<tr>
<td>csvファイル書き込み</td>
<td><code>df.to_csv</code></td>
<td>差分なし</td>
<td>-</td>
</tr>
<tr>
<td>特定カラム抽出(単列)</td>
<td>
<code>df["hoge"]</code> or <code>df.hoge</code>
</td>
<td>
<code>df["hoge"]</code> or <code>df.get_column("hoge")</code>
</td>
<td>※1</td>
</tr>
<tr>
<td>特定カラム抽出(複数列)</td>
<td><code>df[["hoge","fuga"]]</code></td>
<td>差分なし</td>
<td>-</td>
</tr>
<tr>
<td>特定カラム抽出(範囲指定)</td>
<td><code>df.loc[:, :"fuga"]</code></td>
<td><code>df[:, :"fuga"]</code></td>
<td>polarsにはindexがないため、pl.DataFrame.locは存在しない</td>
</tr>
<tr>
<td>フィルタリング(比較演算子)</td>
<td><code>df[(df.hoge == "a") | (df.hoge == "b")]</code></td>
<td>使用不可、filterを使う</td>
<td>-</td>
</tr>
<tr>
<td>フィルタリング(query)</td>
<td><code>df.query('hoge == "a" or hoge == "b"')</code></td>
<td><code>df.filter[(pl.col("hoge") == "a") | (pl.col("hoge") == "b")]</code></td>
<td>-</td>
</tr>
<tr>
<td>行数を出す</td>
<td><code>len(df)</code></td>
<td>差分なし</td>
<td>-</td>
</tr>
<tr>
<td>特定列に代入・置換する</td>
<td><code>df.assign(A=...)</code></td>
<td><code>df = df.with_columns(pl.Series(name="A",values=...))</code></td>
<td>-</td>
</tr>
<tr>
<td>特定列(複数)に代入・置換する</td>
<td><code>df.assign(A=...,B=...)</code></td>
<td><code>df = df.with_columns([pl.Series(name="A",values=...), pl.Series(name="B",values=...)])</code></td>
<td>-</td>
</tr>
<tr>
<td>あるカラムに対して関数を適用する(map)</td>
<td>pd.Series.map</td>
<td>存在しない</td>
<td>-</td>
</tr>
<tr>
<td>あるカラムに対して関数を適用する(apply)</td>
<td>pd.Series.apply</td>
<td>pl.Series.map_elements</td>
<td>polarでは第二引数で関数の返り値の型が必要※2</td>
</tr>
<tr>
<td>DataFrameの内、ユニークな部分を返す</td>
<td>pd.DataFrame.drop_duplicates</td>
<td>pl.DataFrame.unique</td>
<td>-</td>
</tr>
<tr>
<td>Seriesの内、ユニークな部分を返す</td>
<td>pd.Series.drop_duplicates</td>
<td>pl.Series.unique</td>
<td>-</td>
</tr>
<tr>
<td>Seriesをリストにする</td>
<td>pd.Series.to_list</td>
<td>差分なし</td>
<td>-</td>
</tr>
<tr>
<td>特定カラム(群)でソートする</td>
<td>pd.DataFrame.sort_values</td>
<td>pl.DataFrame.sort</td>
<td>pandasでのacsendingが、polarsでのdescendingに対応する。pandasの<code>acsending=[True, False]</code>はpolarsの<code>descending=[False, True]</code>に対応する。</td>
</tr>
<tr>
<td>na(欠損値)を置き換える</td>
<td>pd.DataFrame.fillna</td>
<td>pl.DataFrame.fill_null</td>
<td>※3</td>
</tr>
<tr>
<td>nan(Not a Number)を置き換える</td>
<td>pd.DataFrame.fillna</td>
<td>pl.DataFrame.fill_nan</td>
<td>-</td>
</tr>
<tr>
<td>na(欠損値)を削除する</td>
<td>pd.DataFrame.dropna</td>
<td>pl.DataFrame.drop_nulls</td>
<td>-</td>
</tr>
<tr>
<td>nan(Not a Number)を削除する</td>
<td>pd.DataFrame.dropna</td>
<td>pl.DataFrame.drop_nans</td>
<td>-</td>
</tr>
<tr>
<td>カラム名をリネーム</td>
<td><code>df.rename(columns={"hoge": "baz", ...})</code></td>
<td><code>df.rename({"hoge": "baz", ...})</code></td>
<td>-</td>
</tr>
<tr>
<td>グルーピング</td>
<td>pd.DataFrame.groupby</td>
<td>pl.DataFrame.group_by</td>
<td>-</td>
</tr>
<tr>
<td>集約処理</td>
<td><code>df_group.agg({"hoge": "sum"})</code></td>
<td><code>df_group.agg([pl.col("hoge").sum()])</code></td>
<td>-</td>
</tr>
<tr>
<td>統計量の計算</td>
<td>pd.DataFrame.describe</td>
<td>pl.DataFrame.describe</td>
<td>polarsでは、count, 25%, 75%は出力されない。また、50%はmedianに対応する ※4</td>
</tr>
<tr>
<td>一定期間ごとでグルーピング</td>
<td>pd.DataFrameのindexにdatetime型のリストを入れ、pd.DataFrame.resampleを使う</td>
<td>pd.DataFrameの対象カラムを<code>df.date.str.strptime</code>などでdatetimeにしてから、groupby_dynamicを使う</td>
<td>polarsではoffsetが有効でない？</td>
</tr>
<tr>
<td>2つのDataFrameを縦につなげる</td>
<td>pd.concat</td>
<td>pl.concat</td>
<td>-</td>
</tr>
<tr>
<td>2つのDataFrameをmergeする</td>
<td>pd.DataFrame.merge</td>
<td>pd.DataFrame.join</td>
<td>名前はjoinだが、pandasのmergeの挙動に近い。pd.DataFrame.joinの様に3つ以上のDataFrameをmergeできない。</td>
</tr>
<tr>
<td>ピボットテーブルを作る</td>
<td>pd.DataFrame.pivot</td>
<td>pl.DataFrame.pivot</td>
<td>-</td>
</tr>
</tbody>
</table>
<p>※1: v0.14以上より、<code>df.hoge</code> などのように列指定をすることはできなくなりました。<br>
※2: v0.14より前のバージョンでは、返り値を指定しない場合NotImplementedErrorとなっていました。<br>
※3: valueで値を指定するか、strategyで以下いずれかのルールに従ってfillすることができます。<br>
※4: v1.2.1現在、集約名を示すカラムが"describe"から"statistic"に変更されています。</p>
<ul>
<li>"forward": Series内の直前の値で置き換える</li>
<li>"backward": Series内の直後の値で置き換える</li>
<li>"mean": Series内の平均値で置き換える</li>
<li>"max": Series内の最大値で置き換える</li>
<li>"min": Series内の最小値で置き換える</li>
<li>"one": 1で置き換える</li>
<li>"zero": 0で置き換える</li>
</ul>
<p>ただし、valueはv0.14より前のバージョンでは使用できません。</p>
<h2 id="%E3%82%B5%E3%83%B3%E3%83%97%E3%83%AB%E3%82%B3%E3%83%BC%E3%83%89">
<a class="header-anchor-link" href="#%E3%82%B5%E3%83%B3%E3%83%97%E3%83%AB%E3%82%B3%E3%83%BC%E3%83%89" aria-hidden="true"></a> サンプルコード</h2>
<p>以下のGitHubリポジトリに、今回の内容を踏まえたサンプルコードを置いています。pandasとpolarsの動作の比較用にご利用ください。<br style="display:none">
<span class="embed-block zenn-embedded zenn-embedded-card"><iframe id="zenn-embedded__d4ecb455f53e4" src="https://embed.zenn.studio/card#zenn-embedded__d4ecb455f53e4" data-content="https%3A%2F%2Fgithub.com%2FNiccari%2Fpandas_polars_processing_example" frameborder="0" scrolling="no" loading="lazy"></iframe></span><a href="https://github.com/Niccari/pandas_polars_processing_example" style="display:none" target="_blank" rel="nofollow noopener noreferrer">https://github.com/Niccari/pandas_polars_processing_example</a></p>
<section class="footnotes">
<span class="footnotes-title">脚注</span>
<ol class="footnotes-list">
<li id="fn-af00-1" class="footnote-item">
<p><a href="https://pola-rs.github.io/polars/py-polars/html/reference/dataframe/api/polars.DataFrame.groupby_dynamic.html#polars-dataframe-groupby-dynamic" target="_blank" rel="nofollow noopener noreferrer">polars.DataFrame.groupby_dynamic</a>より。<code>The index column must be sorted in ascending order.</code>と記載あり <a href="#fnref-af00-1" class="footnote-backref">↩︎</a></p>
</li>
</ol>
</section>


[Python] Pandas/Polars よく使う処理での差異について

Discussion