e-statからデータをきれいな状態でダウンロードする方法
はじめに
e-statってご存じですか？ 国勢調査をはじめとした、国のオープンデータが格納されているサイトになります。
オープンデータって「加工しづらい」とか「セル結合されている」「合計行と明細行が両方入っていて重複している」みたいな課題があるかと思います。
実はこのサイトうまく使えば、必要な項目を表形式(csv)にダウンロードすることができます。
今回はその方法についてお伝えします。
対象データ
試しに「家計調査」をダウンロードしてみます。
母としてはやはり、皆さまの家計がどうなっているのだろう？物価高の影響は？など
気になることも多いので、チャレンジしてみようと思います。
ダウンロード方法
TOPページからダウンロード対象ページまでの遷移
TOPページから「家計調査」と検索します。
家計調査の「詳細」ボタンを押します。
「詳細」を押すとこのような画面になります。
実はこの画面から取得元サイトへのリンクをクリックすると、e-stat外のページに飛んで混乱することが多いです。
(少なくとも私はなります)
下の方までスクロールすると以下の画面になるのですが、「統計データ」と書かれているところをクリックします。
ここまで行ってやっと家計調査のデータっぽいページに遷移しました。
この段階で「データベース」を選択するとよいです。
データベースと記載されていると「SQLで何かを取るようなデータなのかな？」みたいな気持ちになったりしますが、実はそうではなく「表形式のデータ」がダウンロードできます。
一方「ファイル」はセル結合のデータだったり、不要なヘッダがくっついていたり、加工しづらいファイルになっています。
今回は「総世帯」「年次」を選択してみます。
ここまでたどり着いたところで、全国の行の「DB」を選択するとダウンロード画面になりました。
なお、「全国」をクリックすると、このような画面になります。
こちらはいわゆるメタデータとどんなデータが入っているか、という情報が入っています。
ダウンロード方法
せっかくたどり着いたのにこの画面・・・ダウンロードってどうやるの？って混乱しますよね。
それまでも多くの画面遷移があり、大変だったにもかかわらず。
ダウンロードをするために必要な項目を選択したり、行列を自分で設定できます。
「レイアウト選択」ボタンを押してみます。
ドラッグ＆ドロップで必要に応じて行列を変更し、「設定して表示を更新」ボタンを押下します。
今回はこのようなレイアウトでダウンロードしてみようと思います。
さぁダウンロード！
またもやポップアップでこのような画面が出てきますので、csv形式 列指向 Shift-JISを選択します。
10万件以上になった場合ファイルが分割されるよ、というワーニングが出ますが続行します。
実際e-statからダウンロードするファイルは10万レコードという制限があるためデータ加工の段階で縦積みにするのがよさそうです。
ファイル名が表示されるのでダウンロードを押します。
できました！
ファイルを開いてみると、このように指定したレイアウトで表形式で保存されました。
まとめ
e-statってたくさんの統計量データが格納されているものの、どのようにすれば自分の目的のデータを取得する方法を考えたり、実際にたどり着くのが大変です。
日頃作業で経験しているものの、あまりe-stat自体のダウンロード方法についてのブログやサイトを見たことがなかったので私なりにまとめてみました。
どなたかのお役に立てたらうれしいです。
以上、m.fujitaでした！
Discussion