<p>下記記事で作成したAmazon EC2インスタンスにHadoop環境を構築していきたかった．この記事を見てもEC2インスタンスにHadoop環境は構築できません．せいぜいSFTPコマンド表とかSSHのホスト名バージョンとかしか情報ないです．それでも良ければ読んでください．というかアドバイスくれたらうれしいです</p>
<p>結構な時間の奮闘記なので記しておきます</p>
<h2 id="jdk%E3%81%AE%E3%83%80%E3%82%A6%E3%83%B3%E3%83%AD%E3%83%BC%E3%83%89%EF%BC%8C%E3%82%A4%E3%83%B3%E3%82%B9%E3%83%88%E3%83%BC%E3%83%AB">
<a class="header-anchor-link" href="#jdk%E3%81%AE%E3%83%80%E3%82%A6%E3%83%B3%E3%83%AD%E3%83%BC%E3%83%89%EF%BC%8C%E3%82%A4%E3%83%B3%E3%82%B9%E3%83%88%E3%83%BC%E3%83%AB" aria-hidden="true"></a> JDKのダウンロード，インストール</h2>
<p>OracleのサイトからJDKをダウンロードします<br>
※OpenJDKをyumで持ってきてもダメって書いてある記事を見かけましたが，公式はOpenJDKでもテストしてると言っている？<br>
参考<br style="display:none">
<span class="embed-block zenn-embedded zenn-embedded-card"><iframe id="zenn-embedded__e2e398dc50bb5" src="https://embed.zenn.studio/card#zenn-embedded__e2e398dc50bb5" data-content="https%3A%2F%2Fcwiki.apache.org%2Fconfluence%2Fdisplay%2FHADOOP2%2FHadoopJavaVersions" frameborder="0" scrolling="no" loading="lazy"></iframe></span><a href="https://cwiki.apache.org/confluence/display/HADOOP2/HadoopJavaVersions" style="display:none" target="_blank" rel="nofollow noopener noreferrer">https://cwiki.apache.org/confluence/display/HADOOP2/HadoopJavaVersions</a></p>
<ol>
<li>作成したインスタンスの「プロセッサのアーキテクチャー」を調べます．<br>
<img src="https://storage.googleapis.com/zenn-user-upload/x8o0bl5u5o3wts8o6yjrk2mcq4tu" alt loading="lazy" class="md-img"><br>
<s><strong>64bit ARM</strong>らしいです</s>だまされました(だまされたわけではないかもですが)</li>
<li>Oracleのサイトで対応するJDKをダウンロード<br>
<img src="https://storage.googleapis.com/zenn-user-upload/km7e5qemt7eaiuwjbqkhu1wxeldu" alt loading="lazy" class="md-img"><br>
ダウンロードしたrpmファイルは，またパスがわかる場所に置きましょう．後ほどEC2インスタンスに送ります．</li>
</ol>
<h2 id="jdk%E3%82%A4%E3%83%B3%E3%82%B9%E3%83%88%E3%83%BC%E3%83%AB">
<a class="header-anchor-link" href="#jdk%E3%82%A4%E3%83%B3%E3%82%B9%E3%83%88%E3%83%BC%E3%83%AB" aria-hidden="true"></a> JDKインストール</h2>
<div class="code-block-container"><pre><code>sudo yum install -y java-1.8.0-openjdk-devel.x86_64
</code></pre></div><h2 id="hadoop%E3%82%A4%E3%83%B3%E3%82%B9%E3%83%88%E3%83%BC%E3%83%AB">
<a class="header-anchor-link" href="#hadoop%E3%82%A4%E3%83%B3%E3%82%B9%E3%83%88%E3%83%BC%E3%83%AB" aria-hidden="true"></a> Hadoopインストール</h2>
<p>ここで詰まりました．とりあえずEMR先にやってみます．<br>
インスタンス作り直して，再度試してみます</p>
<p>エラーログもコマンドラインフリーズして消えたという，，<br>
<img src="https://storage.googleapis.com/zenn-user-upload/55grhmw5tj8n23b1ppic9osx1xhk" alt loading="lazy" class="md-img"></p>
<h1 id="appendix">
<a class="header-anchor-link" href="#appendix" aria-hidden="true"></a> Appendix</h1>
<p>試行錯誤しているうち，昔インプットしたLinuxコマンドが浮かんできたので使ってみた記録</p>
<h2 id="sftp%E3%83%97%E3%83%AD%E3%83%88%E3%82%B3%E3%83%AB%E3%82%92%E4%BD%BF%E7%94%A8%E3%81%97%E3%81%A6jdk%E3%82%92ec2%E3%81%AB%E9%80%81%E3%82%8B%E6%96%B9%E6%B3%95">
<a class="header-anchor-link" href="#sftp%E3%83%97%E3%83%AD%E3%83%88%E3%82%B3%E3%83%AB%E3%82%92%E4%BD%BF%E7%94%A8%E3%81%97%E3%81%A6jdk%E3%82%92ec2%E3%81%AB%E9%80%81%E3%82%8B%E6%96%B9%E6%B3%95" aria-hidden="true"></a> sftpプロトコルを使用してJDKをEC2に送る方法</h2>
<p>今回コマンドラインでやりますが，GUIツールもあります．FFFTP，FileZillaなどで検索してみてください</p>
<h3 id="ssh%E3%81%A7%E3%81%84%E3%81%A1%E3%81%84%E3%81%A1%E3%83%A6%E3%83%BC%E3%82%B6%E3%83%BC%E5%90%8D%40%E3%83%9B%E3%82%B9%E3%83%88%E3%82%A2%E3%83%89%E3%83%AC%E3%82%B9%E3%82%92%E5%85%A5%E5%8A%9B%E3%81%99%E3%82%8B%E3%81%AE%E3%81%8C%E3%82%81%E3%82%93%E3%81%A9%E3%81%8F%E3%81%95%E3%81%84%E3%81%AE%E3%81%A7">
<a class="header-anchor-link" href="#ssh%E3%81%A7%E3%81%84%E3%81%A1%E3%81%84%E3%81%A1%E3%83%A6%E3%83%BC%E3%82%B6%E3%83%BC%E5%90%8D%40%E3%83%9B%E3%82%B9%E3%83%88%E3%82%A2%E3%83%89%E3%83%AC%E3%82%B9%E3%82%92%E5%85%A5%E5%8A%9B%E3%81%99%E3%82%8B%E3%81%AE%E3%81%8C%E3%82%81%E3%82%93%E3%81%A9%E3%81%8F%E3%81%95%E3%81%84%E3%81%AE%E3%81%A7" aria-hidden="true"></a> sshでいちいちユーザー名@ホストアドレスを入力するのがめんどくさいので</h3>
<p>設定で</p>
<div class="code-block-container"><pre><code>ssh ~
</code></pre></div><p>だけで接続できるようにします．<br>
<code>.ssh/config</code>に下記を追記（なかったら作る）</p>
<div class="code-block-container"><pre><code>Host aws-hadoop
	Hostname ec2-3-16-38-216.us-east-2.compute.amazonaws.com
	User ec2-user
	Port 22
	IdentityFile C:\Users\rilak\SAMPLE_KEY.pem
</code></pre></div><p>書き方<br>
Host [接続に使いたい名前]</p>
<table>
<thead>
<tr>
<th style="text-align:left">パラメータ</th>
<th style="text-align:left">説明</th>
</tr>
</thead>
<tbody>
<tr>
<td style="text-align:left">Host</td>
<td style="text-align:left">任意の接続名（接続するsshのエイリアス名）</td>
</tr>
<tr>
<td style="text-align:left">Hostname</td>
<td style="text-align:left">接続するサーバーのIPアドレスまたはドメイン</td>
</tr>
<tr>
<td style="text-align:left">User</td>
<td style="text-align:left">接続するユーザー名</td>
</tr>
<tr>
<td style="text-align:left">Port</td>
<td style="text-align:left">接続するポート番号</td>
</tr>
<tr>
<td style="text-align:left">IdentityFile</td>
<td style="text-align:left">秘密鍵のファイルパス</td>
</tr>
<tr>
<td style="text-align:left">以降，<code>ssh aws-hadoop</code>だけで接続ができます．</td>
<td style="text-align:left"></td>
</tr>
<tr>
<td style="text-align:left"><img src="https://storage.googleapis.com/zenn-user-upload/mwco1rqpdv07ad6biqtu3et399cb" alt loading="lazy" class="md-img"></td>
<td style="text-align:left"></td>
</tr>
</tbody>
</table>
<h2 id="stfp%E3%81%A7%E9%80%81%E3%81%A3%E3%81%A6%E3%81%BF%E3%82%8B">
<a class="header-anchor-link" href="#stfp%E3%81%A7%E9%80%81%E3%81%A3%E3%81%A6%E3%81%BF%E3%82%8B" aria-hidden="true"></a> stfpで送ってみる</h2>
<p>ssh接続した後でしたら<code>exit</code>しておいてください．</p>
<ol>
<li>aws-hadoopにsftp接続します<br>
コマンドラインに以下を入力します</li>
</ol>
<div class="code-block-container"><pre><code>sftp aws-hadoop
</code></pre></div><p>Connect to AWS Hadoopと出ます<br>
<img src="https://storage.googleapis.com/zenn-user-upload/c3lf7rylqkipb5x5te0gvf5yhyij" alt loading="lazy" class="md-img"><br>
2. JDKのファイルを送ります</p>
<div class="code-block-container"><pre><code>put jdk-15.0.1_linux-x64_bin.rpm
</code></pre></div><p><img src="https://storage.googleapis.com/zenn-user-upload/qpo10vxevqke8fhgvgal7cggetjj" alt loading="lazy" class="md-img"></p>
<h3 id="sftp%E3%82%B3%E3%83%9E%E3%83%B3%E3%83%89%E4%B8%80%E8%A6%A7">
<a class="header-anchor-link" href="#sftp%E3%82%B3%E3%83%9E%E3%83%B3%E3%83%89%E4%B8%80%E8%A6%A7" aria-hidden="true"></a> sftpコマンド一覧</h3>
<p>「サーバー側の」と書いてあるものは，頭に「!」をつければ「ローカル側の」操作になります．<br>
今回サーバーとなるのはEC2インスタンス．ローカルとなるのは自分のコマンドプロンプト・ターミナルです</p>
<table>
<thead>
<tr>
<th style="text-align:left">コマンド</th>
<th style="text-align:left">説明</th>
</tr>
</thead>
<tbody>
<tr>
<td style="text-align:left">! [コマンド]</td>
<td style="text-align:left">ローカル側のシェルでコマンドを実行</td>
</tr>
<tr>
<td style="text-align:left">bye</td>
<td style="text-align:left">sftpを終了する（exitでも可）</td>
</tr>
<tr>
<td style="text-align:left">cd [パス]</td>
<td style="text-align:left">サーバー側のカレントディレクトリを変更</td>
</tr>
<tr>
<td style="text-align:left">get [ファイル]</td>
<td style="text-align:left">サーバー上のファイルをローカルにダウンロード</td>
</tr>
<tr>
<td style="text-align:left">help</td>
<td style="text-align:left">ヘルプを表示（「?」でも可）</td>
</tr>
<tr>
<td style="text-align:left">lcd [パス]</td>
<td style="text-align:left">ローカル側のカレントディレクトリを変更</td>
</tr>
<tr>
<td style="text-align:left">lls</td>
<td style="text-align:left">ローカル側のファイルリストを表示</td>
</tr>
<tr>
<td style="text-align:left">ln</td>
<td style="text-align:left">シンボリックリンクを作成</td>
</tr>
<tr>
<td style="text-align:left">lpwd</td>
<td style="text-align:left">ローカル側のカレントディレクトリを表示</td>
</tr>
<tr>
<td style="text-align:left">ls</td>
<td style="text-align:left">サーバー側のファイルリストを表示</td>
</tr>
<tr>
<td style="text-align:left">mkdir ディレクトリ</td>
<td style="text-align:left">サーバー側にディレクトリを作成</td>
</tr>
<tr>
<td style="text-align:left">put [ファイル]</td>
<td style="text-align:left">ローカルのファイルをサーバーへアップロード</td>
</tr>
<tr>
<td style="text-align:left">pwd</td>
<td style="text-align:left">サーバー側のカレントディレクトリを表示</td>
</tr>
<tr>
<td style="text-align:left">rename [旧ファイル] [新ファイル]</td>
<td style="text-align:left">サーバー側のファイルを新しい名前に変更</td>
</tr>
<tr>
<td style="text-align:left">rm [ファイル]</td>
<td style="text-align:left">サーバー側のファイルを削除</td>
</tr>
</tbody>
</table>
<h3 id="aws%E3%81%AE%E3%82%A4%E3%83%B3%E3%82%B9%E3%82%BF%E3%83%B3%E3%82%B9%E3%82%92%E4%BD%9C%E6%88%90%E3%81%97%E3%81%9F%E3%83%AA%E3%83%BC%E3%82%B8%E3%83%A7%E3%83%B3%E3%81%AB%E6%B3%A8%E6%84%8F">
<a class="header-anchor-link" href="#aws%E3%81%AE%E3%82%A4%E3%83%B3%E3%82%B9%E3%82%BF%E3%83%B3%E3%82%B9%E3%82%92%E4%BD%9C%E6%88%90%E3%81%97%E3%81%9F%E3%83%AA%E3%83%BC%E3%82%B8%E3%83%A7%E3%83%B3%E3%81%AB%E6%B3%A8%E6%84%8F" aria-hidden="true"></a> AWSのインスタンスを作成したリージョンに注意</h3>
<p>ファイルを送る際，外国リージョンにインスタンスがあったりすると，廉価なインスタンスは回線がとても細いので，送るのに時間がかかります．インスタンス作成時には自分の住んでる地域に一番近いところにしましょう(複数のインスタンスが無駄に遠いリージョンをまたいでいるのも要注意です．多分無駄にお金と時間がかかります)．</p>
<h4 id="%E8%A3%8F%E6%8A%80">
<a class="header-anchor-link" href="#%E8%A3%8F%E6%8A%80" aria-hidden="true"></a> 裏技</h4>
<p>裏技というか，踏んだらダウンロードされるリンクを知っていれば，Linuxにはwgetというコマンドがあるので，インスタンスからそれをたたくのも手です(たぶんOracleのサイトは外国にあるので，そのほうが速い説あります)</p>
<div class="code-block-container"><pre><code>wget https://download.oracle.com/otn-pub/java/jdk/15.0.1%2B9/51f4f36ad4ef43e39d0dfdbaf6549e32/jdk-15.0.1_linux-x64_bin.rpm
</code></pre></div>

EC2でHadoop環境構築できなかった話

JDKのダウンロード，インストール

sshでいちいちユーザー名@ホストアドレスを入力するのがめんどくさいので

sftpプロトコルを使用してJDKをEC2に送る方法

AWSのインスタンスを作成したリージョンに注意

Discussion