<h1 id="%E3%81%AF%E3%81%98%E3%82%81%E3%81%AB">
<a class="header-anchor-link" href="#%E3%81%AF%E3%81%98%E3%82%81%E3%81%AB" aria-hidden="true"></a> はじめに</h1>
<p>この記事は <a href="https://qiita.com/advent-calendar/2020/kaggle" target="_blank" rel="nofollow noopener noreferrer">Kaggle Advent Calendar 2020のアドベントカレンダー</a>6日目の記事です。</p>
<p>去年の<a href="https://qiita.com/advent-calendar/2019/kaggle-part2" target="_blank" rel="nofollow noopener noreferrer">Kaggle-part2 Advent Calendar 2019のアドベントカレンダー</a>に書いた<a href="https://zenn.dev/wakame/articles/20201114_kaggle_code_management" target="_blank">記事</a>の続きの内容になります。続きの記事ですがなるべくこの記事で完結できるような内容になるよう書きました。</p>
<p>また、こちら<a href="https://tepppei.hatenablog.com/entry/2020/07/19/120625" target="_blank" rel="nofollow noopener noreferrer">Kaggleの学習から投稿までをAWS, GitHub Actionsを使って自動化する</a>本記事のリスペクト元になります。この記事を書くにあたり大きく影響を受けております。</p>
<h1 id="%E3%81%93%E3%81%AE%E8%A8%98%E4%BA%8B%E3%82%92%E8%AA%AD%E3%82%80%E3%81%A8%E3%81%A7%E3%81%8D%E3%82%8B%E3%82%88%E3%81%86%E3%81%AB%E3%81%AA%E3%82%8B%E3%81%93%E3%81%A8">
<a class="header-anchor-link" href="#%E3%81%93%E3%81%AE%E8%A8%98%E4%BA%8B%E3%82%92%E8%AA%AD%E3%82%80%E3%81%A8%E3%81%A7%E3%81%8D%E3%82%8B%E3%82%88%E3%81%86%E3%81%AB%E3%81%AA%E3%82%8B%E3%81%93%E3%81%A8" aria-hidden="true"></a> この記事を読むとできるようになること</h1>
<ul>
<li>
<code>git push</code>して<code>merge</code>するとGithub Actionsが走り、Kaggle Notebookが生成・動作するという流れの自動化。</li>
</ul>
<h1 id="%E3%81%93%E3%81%AE%E8%A8%98%E4%BA%8B%E3%81%A7%E8%AA%AC%E6%98%8E%E3%81%99%E3%82%8B%E3%81%93%E3%81%A8">
<a class="header-anchor-link" href="#%E3%81%93%E3%81%AE%E8%A8%98%E4%BA%8B%E3%81%A7%E8%AA%AC%E6%98%8E%E3%81%99%E3%82%8B%E3%81%93%E3%81%A8" aria-hidden="true"></a> この記事で説明すること</h1>
<ul>
<li>上記のKaggleへのサブミット自動化までの方法を主に記事で取り扱います。</li>
<li>逆に説明しないこととして、設定するパラメータの仕様等は参照URLを紹介するレベルに留めます。</li>
</ul>
<h1 id="%E3%81%AA%E3%81%9C%E3%82%84%E3%82%8B%E3%81%AE%E3%81%8B">
<a class="header-anchor-link" href="#%E3%81%AA%E3%81%9C%E3%82%84%E3%82%8B%E3%81%AE%E3%81%8B" aria-hidden="true"></a> なぜやるのか</h1>
<ul>
<li>「Gitでコード管理しているのに、KaggleのNotebook提出用に別のコードを用意するのが面倒だ」、Kaggleの<code>Code Competition</code>というルールの場合に発生する悩みだと思います。
<ul>
<li>
<code>Code Competition</code>について簡単に説明すると、CSVなどのファイルを直接アップロードするのではなく、Notebookを利用してそこにファイル提出するまでのソースコードを書きそれを提出するという形式のコンペのことです。</li>
<li>
<code>Code Competition</code>について詳しく知りたい方は以前の記事に説明を書きましたのでそちらを読んでもらえると嬉しいです。(<a href="https://zenn.dev/wakame/articles/20201114_kaggle_code_management" target="_blank">記事</a>)</li>
</ul>
</li>
<li>これらの悩みを解消したのが前回の記事でしたが、今回はさらにサブミットも自動化すれば楽になるなということで試してみました。</li>
</ul>
<h1 id="%E8%87%AA%E5%8B%95%E5%8C%96%E3%81%BE%E3%81%A7%E3%81%AB%E5%BF%85%E8%A6%81%E3%81%AA%E3%81%93%E3%81%A8">
<a class="header-anchor-link" href="#%E8%87%AA%E5%8B%95%E5%8C%96%E3%81%BE%E3%81%A7%E3%81%AB%E5%BF%85%E8%A6%81%E3%81%AA%E3%81%93%E3%81%A8" aria-hidden="true"></a> 自動化までに必要なこと</h1>
<p>以降は具体的にどうやって解決するのか、方法の部分の説明になります。</p>
<p>作業の流れはこのような形になっております。</p>
<ul>
<li>提出するコードを用意する</li>
<li>Github SecretsにAPI Tokenを設定</li>
<li>Github TemplateをCloneする</li>
<li>Github Templateのデフォルト設定を修正</li>
<li>Github Actionsのデフォルト設定を修正</li>
</ul>
<p>各項目について説明します。</p>
<h2 id="%E6%8F%90%E5%87%BA%E3%81%99%E3%82%8B%E3%82%B3%E3%83%BC%E3%83%89%E3%82%92%E7%94%A8%E6%84%8F%E3%81%99%E3%82%8B">
<a class="header-anchor-link" href="#%E6%8F%90%E5%87%BA%E3%81%99%E3%82%8B%E3%82%B3%E3%83%BC%E3%83%89%E3%82%92%E7%94%A8%E6%84%8F%E3%81%99%E3%82%8B" aria-hidden="true"></a> 提出するコードを用意する</h2>
<p>参考として<a href="https://www.kaggle.com/c/petfinder-adoption-prediction" target="_blank" rel="nofollow noopener noreferrer">Kaggle - petfinder-adoption-prediction</a>への提出自動化したリポジトリを作成しておきました。<a href="https://github.com/wakamezake/kaggle_petfinder" target="_blank" rel="nofollow noopener noreferrer">Github - wakamezake/kaggle_petfinder</a>参考に見てもらえればと思います。</p>
<p>Github Actions動作確認のため、はじめに提出するコードは簡単なアルゴリズムにしておくとすぐ結果が確認できます。</p>
<h2 id="github-template%E3%82%92clone%E3%81%99%E3%82%8B">
<a class="header-anchor-link" href="#github-template%E3%82%92clone%E3%81%99%E3%82%8B" aria-hidden="true"></a> Github TemplateをCloneする</h2>
<p>Github TemplateのURLは<a href="https://github.com/wakamezake/kaggle_submission_pipeline_template" target="_blank" rel="nofollow noopener noreferrer">Github - wakamezake/kaggle_submission_pipeline_template</a>になります。こちらをCloneしてください。<br>
以降Cloneしたリポジトリの中身を修正してゆきます。</p>
<h2 id="github-secrets%E3%81%ABapi-token%E3%82%92%E8%A8%AD%E5%AE%9A">
<a class="header-anchor-link" href="#github-secrets%E3%81%ABapi-token%E3%82%92%E8%A8%AD%E5%AE%9A" aria-hidden="true"></a> Github SecretsにAPI Tokenを設定</h2>
<p>CloneしたリポジトリのGithub SecretsにKaggleAPIを利用するためのAPI Tokenを設定します。</p>
<p>Github Actionsで参照しているGithub Secretsをそれぞれ、KAGGLE_USERNAME、KAGGLE_KEYとしているのでそれに合うようにユーザ名とKeyを設定してください。具体的な設定の方法は次の<a href="https://docs.github.com/en/free-pro-team@latest/actions/reference/encrypted-secrets#creating-encrypted-secrets-for-a-repository" target="_blank" rel="nofollow noopener noreferrer">URL</a>を参照してください。</p>
<h2 id="github-template%E3%81%AE%E8%A8%AD%E5%AE%9A%E3%82%92%E4%BF%AE%E6%AD%A3">
<a class="header-anchor-link" href="#github-template%E3%81%AE%E8%A8%AD%E5%AE%9A%E3%82%92%E4%BF%AE%E6%AD%A3" aria-hidden="true"></a> Github Templateの設定を修正</h2>
<p>修正部分を下記にまとめましたのでそれに従って設定を修正します。</p>
<ul>
<li>修正点
<ul>
<li>easy_goldというフォルダ名を適当な名前に変更してください。またこのフォルダに提出用のコードを置いてください。</li>
<li>script_template.py内のeasy_goldの部分を変更した名前に修正してください。<code>run('python easy_gold/main.py')</code>となっていますが実行して欲しいpythonファイルを設定してください。</li>
<li>setup.py内のeasy_goldの部分を変更した名前に修正してください。</li>
</ul>
</li>
</ul>
<p>具体的な修正点は<a href="https://github.com/wakamezake/kaggle_submission_pipeline_template#correctional-point" target="_blank" rel="nofollow noopener noreferrer">Github - wakamezake/kaggle_submission_pipeline_template#correctional-point</a>にも記載しているので参考にしてください。</p>
<h2 id="github-actions%E3%81%AE%E3%83%87%E3%83%95%E3%82%A9%E3%83%AB%E3%83%88%E8%A8%AD%E5%AE%9A%E3%82%92%E4%BF%AE%E6%AD%A3">
<a class="header-anchor-link" href="#github-actions%E3%81%AE%E3%83%87%E3%83%95%E3%82%A9%E3%83%AB%E3%83%88%E8%A8%AD%E5%AE%9A%E3%82%92%E4%BF%AE%E6%AD%A3" aria-hidden="true"></a> Github Actionsのデフォルト設定を修正</h2>
<p>修正部分を下記にまとめましたのでそれに従って設定を修正します。</p>
<ul>
<li>修正点
<ul>
<li>
<a href="https://github.com/wakamezake/kaggle_submission_pipeline_template/blob/master/.github/workflows/upload.yml" target="_blank" rel="nofollow noopener noreferrer">upload.yml</a>内の<code>with</code>以下の値に、提出に使うNotebook名等を設定して下さい。</li>
<li>各パラメータの仕様については<a href="https://github.com/Kaggle/kaggle-api/wiki/Kernel-Metadata" target="_blank" rel="nofollow noopener noreferrer">KaggleAPI - Kernel-Metadata</a>を参照して下さい。</li>
<li>例として<a href="https://www.kaggle.com/c/petfinder-adoption-prediction" target="_blank" rel="nofollow noopener noreferrer">Kaggle - petfinder-adoption-prediction</a>に提出する場合の<a href="https://github.com/wakamezake/kaggle_petfinder/blob/master/.github/workflows/upload.yml" target="_blank" rel="nofollow noopener noreferrer">upload.yml</a>を紹介します。</li>
</ul>
</li>
</ul>
<p>具体的な修正点は<a href="https://github.com/wakamezake/kaggle_submission_pipeline_template#github-actionuploadyml" target="_blank" rel="nofollow noopener noreferrer">Github - wakamezake/kaggle_submission_pipeline_template#github-actionuploadyml</a>にも記載しているので参考にしてください。</p>
<h2 id="%E4%BD%9C%E6%A5%AD%E7%94%A8%E3%83%AA%E3%83%9D%E3%82%B8%E3%83%88%E3%83%AA%E3%81%B8%E3%81%AEpush">
<a class="header-anchor-link" href="#%E4%BD%9C%E6%A5%AD%E7%94%A8%E3%83%AA%E3%83%9D%E3%82%B8%E3%83%88%E3%83%AA%E3%81%B8%E3%81%AEpush" aria-hidden="true"></a> 作業用リポジトリへの<code>push</code>
</h2>
<p>CloneしてきたリポジトリのGithub Actionsには「<code>pull_request</code>がされたらKaggle Notebookを生成する」というワークフローを設定してあります、適当なbranchを切って<code>push</code>、<code>merge</code>してみてください。Github Actionsが正しく動作していればKaggle Notebookが生成されているはずです。</p>
<p>説明は以上になります。</p>
<h1 id="%E3%81%8A%E3%82%8F%E3%82%8A%E3%81%AB">
<a class="header-anchor-link" href="#%E3%81%8A%E3%82%8F%E3%82%8A%E3%81%AB" aria-hidden="true"></a> おわりに</h1>
<p>今回はKaggleへのサブミットをGithub Actionsを使って自動化してみました。前回の記事に書いた課題を解決できたのでとても満足しています。<br>
今回の記事を実践してみてサブミットが自動化されたKaggle Lifeを是非楽しんでください！</p>
<p>最後に、今回作ったKaggleへのサブミット自動化を実際に適用した例を紹介します。検証に使ったコンペは<a href="https://www.kaggle.com/c/petfinder-adoption-prediction" target="_blank" rel="nofollow noopener noreferrer">Kaggle - petfinder-adoption-prediction</a>で、以下それぞれGithubのリポジトリ、生成されたKaggle Notebookになります。</p>
<ul>
<li><a href="https://github.com/wakamezake/kaggle_petfinder" target="_blank" rel="nofollow noopener noreferrer">Github - wakamezake/kaggle_petfinder</a></li>
<li><a href="https://www.kaggle.com/wakamezake/petfinder-sample-pipeline" target="_blank" rel="nofollow noopener noreferrer">Kaggle - wakamezake/petfinder-sample-pipeline</a></li>
</ul>
<p>以上です、最後まで読んで頂きありがとうございました。</p>
<h1 id="%E5%8F%82%E8%80%83">
<a class="header-anchor-link" href="#%E5%8F%82%E8%80%83" aria-hidden="true"></a> 参考</h1>
<ul>
<li><a href="https://github.com/harupy/push-kaggle-kernel" target="_blank" rel="nofollow noopener noreferrer">Github - harupy/push-kaggle-kernel</a></li>
<li><a href="https://github.com/lopuhin/kaggle-script-template" target="_blank" rel="nofollow noopener noreferrer">Github - lopuhin/kaggle-script-template</a></li>
<li><a href="https://www.kaggle.com/docs/competitions" target="_blank" rel="nofollow noopener noreferrer">Kaggle CodeCompetitions</a></li>
</ul>


KaggleへのサブミットをGithub Actionsを使って自動化する

この記事を読むとできるようになること

Github Actionsのデフォルト設定を修正

Shinsuke Katsumata

wakame

<p>有益なTipsの共有ありがとうございます。</p>
<blockquote>
<p>Github TemplateのURLはGithub - wakamezake/kaggle_submission_pipeline_templateになります。こちらをCloneしてください。<br>
以降Cloneしたリポジトリの中身を修正してゆきます。</p>
</blockquote>
<p>Cloneというとローカルにgit cloneするように取れますが、正しくはテンプレートを元に新しいリポジトリを作成するということでしょうか？</p>


<p>ご指摘頂いた方法が正しい方法になります、指摘頂きありがとうございます。</p>


Discussion