【初心者向け】Pandasのファイル操作

データ分析を行う上で、ファイルの読み込み・書き出しは避けて通れない道です。
CSVファイルやExcelファイルなど、様々な形式のデータをPandasで自由自在に操ることができれば、データ分析がグッと効率的になります。

「Pandasでファイル操作ができるようになれば、データ分析がもっと楽しくなるかも！」

そう思ったことはありませんか？

この記事では、Pandasのファイル操作に焦点を当て、初心者の方でも分かりやすいように丁寧に解説していきます。
具体的なコード例を交えながら、基本的な操作を紹介します。

ファイル操作

CSVファイルの読み込み

import pandas as pd
df = pd.read_csv('test.csv',encoding='UTF-8')
df

指定したCSVファイルがDataFrameとして読み込まれます。

Excelファイルの読み込み

import pandas as pd
df = pd.read_Excel('test.xlsx')
df

指定したExcelファイルがDataFrameとして読み込まれます。

Webサイトのhtmlファイルの読み込み

#wikipediaのトップレベルドメイン一覧のURL
url = 'https://ja.wikipedia.org/wiki/%E3%83%88%E3%83%83%E3%83%97%E3%83%AC%E3%83%99%E3%83%AB%E3%83%89%E3%83%A1%E3%82%A4%E3%83%B3%E4%B8%80%E8%A6%A7'
tables = pd.read_html(url)
df = tables[4]
df

地点番号	地点名	国名	緯度	経度	日平均気温	日最高気温	日最低気温	日降水量

0 1001 ヤンマイエン島 ノルウェー 70.92 -8.67 -0.1 0.7 -1.4 2.4
1 1002 VERLEGENHUKEN ノルウェー 80.05 16.25 0.1 3.2
2 1003 HORNSUND ノルウェー 77.00 15.50 3.0 4.8 -0.1 10.0
3 1006 エドゲ島 ノルウェー 78.25 22.82 1.3 2.3 -0.3
4 1007 ニューオーレースン ノルウェー 78.92 11.92 0.9 4.9 -3.6 0.0
... ... ... ... ... ... ... ... ... ...

8115 rows × 9 columns

CSVファイル書き出し

df.to_csv('wikipedia_test.csv',encoding='UTF-8')

Excelファイル書き出し

df.to_excel('wikipedia_test.xlsx')

DataFrameの書き出し（pickle）

df.to_pickle('wikipedia_test.pickle')

pickleの読み込み

df.read_pickle('wikipedia_test.pickle')