<p>前提は特にないです．ラズパイのシェルに入れてsudoが使えれば，Hadoopをスタンドアロン形式ではありますが動かせます</p>
<p>失敗記事はこちら<br style="display:none">
<span class="embed-block zenn-embedded zenn-embedded-card"><iframe id="zenn-embedded__c93b6d3c636f6" src="https://embed.zenn.studio/card#zenn-embedded__c93b6d3c636f6" data-content="https%3A%2F%2Fzenn.dev%2Fyassh_i%2Farticles%2F6c5cab552c3b49" frameborder="0" scrolling="no" loading="lazy"></iframe></span><a href="https://zenn.dev/yassh_i/articles/6c5cab552c3b49" style="display:none" target="_blank">https://zenn.dev/yassh_i/articles/6c5cab552c3b49</a></p>
<h3 id="%E3%83%8F%E3%83%BC%E3%83%89%E3%83%BB%E3%82%BD%E3%83%95%E3%83%88%E3%82%A6%E3%82%A7%E3%82%A2%E7%92%B0%E5%A2%83">
<a class="header-anchor-link" href="#%E3%83%8F%E3%83%BC%E3%83%89%E3%83%BB%E3%82%BD%E3%83%95%E3%83%88%E3%82%A6%E3%82%A7%E3%82%A2%E7%92%B0%E5%A2%83" aria-hidden="true"></a> ハード・ソフトウェア環境</h3>
<p>ハード</p>
<ul>
<li>マシン：Raspberry Pi 4 Model B Rev 1.4
<ul>
<li>debian version：10.4</li>
<li>カーネル：Linux raspberrypi 4.19.118-v7l+ #1311 SMP Mon Apr 27 14:26:42 BST 2020 armv7l GNU/Linux</li>
<li>memory：8GB</li>
</ul>
</li>
</ul>
<p>ソフト</p>
<ul>
<li>Java：openjdk version "1.8.0_212"</li>
<li>Hadoop：3.2.2</li>
</ul>
<h3 id="%E5%A4%B1%E6%95%97%E3%83%91%E3%82%BF%E3%83%BC%E3%83%B3">
<a class="header-anchor-link" href="#%E5%A4%B1%E6%95%97%E3%83%91%E3%82%BF%E3%83%BC%E3%83%B3" aria-hidden="true"></a> 失敗パターン</h3>
<p>AWS EC2に作ろうとしたときもこれに気付いてなかった．Hadoopページのリンクアドレスをコピーすると，<strong>末尾がtar.gzになっているから，これをwgetすればtar.gzファイルが手に入ると思っていた</strong>．実際これはtar形式でもgz形式でもない．それはなぜかというと，リンクの飛ぶ先にまだページがある．つまりHTMLをwgetしていたのです．</p>
<aside class="msg message"><span class="msg-symbol">!</span><div class="msg-content">
<p>↓ここのbinaryはwgetしてもできない<br>
<a href="https://hadoop.apache.org/releases.html" target="_blank" rel="nofollow noopener noreferrer">https://hadoop.apache.org/releases.html</a></p>
</div></aside>
<h4 id="%E5%A4%B1%E6%95%97%E3%83%91%E3%82%BF%E3%83%BC%E3%83%B3%E6%A4%9C%E8%A8%BC">
<a class="header-anchor-link" href="#%E5%A4%B1%E6%95%97%E3%83%91%E3%82%BF%E3%83%BC%E3%83%B3%E6%A4%9C%E8%A8%BC" aria-hidden="true"></a> 失敗パターン検証</h4>
<div class="code-block-container"><pre><code>hadoop@raspberrypi:~ $ wget https://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-3.2.2/hadoop-3.2.2.tar.gz
</code></pre></div><div class="code-block-container"><pre><code>--2021-01-25 19:51:13--  https://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-3.2.2/hadoop-3.2.2.tar.gz
www.apache.org (www.apache.org) をDNSに問いあわせています... 2a01:4f9:2a:185f::2, 2a01:4f9:2a:1a61::2, 95.216.24.32, ...
www.apache.org (www.apache.org)|2a01:4f9:2a:185f::2|:443 に接続しています... 接続しました。
HTTP による接続要求を送信しました、応答を待っています... 200 OK
長さ: 特定できません [text/html]
`hadoop-3.2.2.tar.gz' に保存中

hadoop-3.2.2.tar.gz               [  &lt;=&gt;                                             ]  29.76K   102KB/s 時間 0.3s

2021-01-25 19:51:15 (102 KB/s) - `hadoop-3.2.2.tar.gz' へ保存終了 [30474]
</code></pre></div><p>tarダメ</p>
<div class="code-block-container"><pre><code>hadoop@raspberrypi:~ $ tar -xzvf hadoop-3.2.2.tar.gz
</code></pre></div><div class="code-block-container"><pre><code>gzip: stdin: not in gzip format
tar: Child returned status 1
tar: Error is not recoverable: exiting now
</code></pre></div><p>ダウンロードしたファイルの形式はというと（fileコマンドで確認できます）</p>
<div class="code-block-container"><pre><code>hadoop@raspberrypi:~ $ file hadoop-3.2.2.tar.gz
</code></pre></div><div class="code-block-container"><pre><code>hadoop-3.2.2.tar.gz: HTML document, ASCII text, with very long lines
</code></pre></div><p>どうして，，，(自分のせい)</p>
<h4 id="%E5%8F%82%E8%80%83%E3%82%B5%E3%82%A4%E3%83%88">
<a class="header-anchor-link" href="#%E5%8F%82%E8%80%83%E3%82%B5%E3%82%A4%E3%83%88" aria-hidden="true"></a> 参考サイト</h4>
<p>tomcat関連の記事でしたが，見つかりました<br style="display:none">
<span class="embed-block zenn-embedded zenn-embedded-card"><iframe id="zenn-embedded__fbb4fb06f1ee6" src="https://embed.zenn.studio/card#zenn-embedded__fbb4fb06f1ee6" data-content="https%3A%2F%2Fnote.com%2Fhallohallo_memo%2Fn%2Fn9ed2010870ed" frameborder="0" scrolling="no" loading="lazy"></iframe></span><a href="https://note.com/hallohallo_memo/n/n9ed2010870ed" style="display:none" target="_blank" rel="nofollow noopener noreferrer">https://note.com/hallohallo_memo/n/n9ed2010870ed</a></p>
<h3 id="%E6%88%90%E5%8A%9F%E3%83%91%E3%82%BF%E3%83%BC%E3%83%B3">
<a class="header-anchor-link" href="#%E6%88%90%E5%8A%9F%E3%83%91%E3%82%BF%E3%83%BC%E3%83%B3" aria-hidden="true"></a> 成功パターン</h3>
<p>ここの，downloads~からダウンロードできます<br style="display:none">
<span class="embed-block zenn-embedded zenn-embedded-card"><iframe id="zenn-embedded__17cc804a861e1" src="https://embed.zenn.studio/card#zenn-embedded__17cc804a861e1" data-content="https%3A%2F%2Fwww.apache.org%2Fdyn%2Fcloser.cgi%2Fhadoop%2Fcommon%2Fhadoop-3.2.2%2Fhadoop-3.2.2.tar.gz" frameborder="0" scrolling="no" loading="lazy"></iframe></span><a href="https://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-3.2.2/hadoop-3.2.2.tar.gz" style="display:none" target="_blank" rel="nofollow noopener noreferrer">https://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-3.2.2/hadoop-3.2.2.tar.gz</a></p>
<div class="code-block-container"><pre><code>hadoop@raspberrypi:~ $ wget https://downloads.apache.org/hadoop/common/hadoop-3.2.2/hadoop-3.2.2.tar.gz
</code></pre></div><div class="code-block-container"><pre><code>--2021-01-25 20:01:57--  https://downloads.apache.org/hadoop/common/hadoop-3.2.2/hadoop-3.2.2.tar.gz
downloads.apache.org (downloads.apache.org) をDNSに問いあわせています... 2a01:4f8:10a:201a::2, 88.99.95.219
downloads.apache.org (downloads.apache.org)|2a01:4f8:10a:201a::2|:443 に接続しています... 接続しました。
HTTP による接続要求を送信しました、応答を待っています... 200 OK
長さ: 395448622 (377M) [application/x-gzip]
`hadoop-3.2.2.tar.gz' に保存中

hadoop-3.2.2.tar.gz           100%[=================================================&gt;] 377.13M  3.97MB/s 時間 65s

2021-01-25 20:03:04 (5.79 MB/s) - `hadoop-3.2.2.tar.gz' へ保存完了 [395448622/395448622]
</code></pre></div><p>ダウンロード量が段違い，，，</p>
<p>念のためfileコマンドで確認すると，</p>
<div class="code-block-container"><pre><code>hadoop@raspberrypi:~ $ file hadoop-3.2.2.tar.gz
</code></pre></div><div class="code-block-container"><pre><code>hadoop-3.2.2.tar.gz: gzip compressed data, last modified: Sun Jan  3 10:46:06 2021, from Unix, original size 957777920
</code></pre></div><h3 id="%E8%A7%A3%E5%87%8D">
<a class="header-anchor-link" href="#%E8%A7%A3%E5%87%8D" aria-hidden="true"></a> 解凍</h3>
<p>下記コマンドで解凍できます</p>
<div class="code-block-container"><pre><code>hadoop@raspberrypi:~ $ tar -xzvf hadoop-3.2.2.tar.gz
</code></pre></div><p>めっちゃログ出ます(Javaって感じっすね)</p>
<h3 id="java%E3%81%AE%E3%82%A4%E3%83%B3%E3%82%B9%E3%83%88%E3%83%BC%E3%83%AB">
<a class="header-anchor-link" href="#java%E3%81%AE%E3%82%A4%E3%83%B3%E3%82%B9%E3%83%88%E3%83%BC%E3%83%AB" aria-hidden="true"></a> javaのインストール</h3>
<aside class="msg message"><span class="msg-symbol">!</span><div class="msg-content">
<p>JDKです．Java製のアプリを動かすだけで，javac(Javaのコンパイルコマンド)が使えないJREではないほうをいれます</p>
</div></aside>
<div class="code-block-container"><pre><code>hadoop@raspberrypi:~ $ sudo apt-get install openjdk-8-jdk
</code></pre></div><p>いろいろでます</p>
<p>次にjavaの場所を確認します</p>
<div class="code-block-container"><pre><code>hadoop@raspberrypi:~ $ sudo update-alternatives --config java
</code></pre></div><div class="code-block-container"><pre><code>リンクグループ java に 1 つの alternative のみがあります (/usr/bin/java が提供): /usr/lib/jvm/java-8-openjdk-armhf/jre/bin/java
設定は行いません。
</code></pre></div><h3 id="java_home%E3%81%AE%E8%A8%AD%E5%AE%9A">
<a class="header-anchor-link" href="#java_home%E3%81%AE%E8%A8%AD%E5%AE%9A" aria-hidden="true"></a> JAVA_HOMEの設定</h3>
<div class="code-block-container"><pre><code>hadoop@raspberrypi:~ $ sudo vi ~/.bashrc
</code></pre></div><div class="code-block-container"><pre><code>hadoop@raspberrypi:~ $ sudo vi ~/.bashrc

下記を追記します．
export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-armhf/jre/                             
export PATH=$PATH:$JAVA_HOME/bin
</code></pre></div><aside class="msg message"><span class="msg-symbol">!</span><div class="msg-content">
<p>前述の<strong>sudo update-alternatives --config javaで出たパスそのままコピペではないので注意です</strong></p>
<p>また，viエディタについて，操作方法がわからないときは下記を参考にしてください<br>
<a href="https://prev.net-newbie.com/linux/commands/vi.html" target="_blank" rel="nofollow noopener noreferrer">https://prev.net-newbie.com/linux/commands/vi.html</a><br>
一応，「Ctrl + End」でファイルの最後列の最後尾に行き<br>
「O(オー)キー」で改行してインサートモード<br>
書くもの書いたら，「:」→「w」→「q」→「Enter」でいけます</p>
</div></aside>
<p>~/.bashrcは起動時に読み込まれるファイルなので，手動で読み込むかrebootをしましょう<br>
ここでは手動で読み込みました</p>
<div class="code-block-container"><pre><code>hadoop@raspberrypi:~ $ source ~/.bashrc
</code></pre></div><h3 id="%E7%96%91%E4%BC%BC%E5%88%86%E6%95%A3%E3%83%A2%E3%83%BC%E3%83%89">
<a class="header-anchor-link" href="#%E7%96%91%E4%BC%BC%E5%88%86%E6%95%A3%E3%83%A2%E3%83%BC%E3%83%89" aria-hidden="true"></a> 疑似分散モード</h3>
<p>下記方法は疑似分散モードという，デバッグ用の方法らしいです．Javaプロセスはひとつしか立たないそうです<br style="display:none">
<span class="embed-block zenn-embedded zenn-embedded-card"><iframe id="zenn-embedded__fe543824586aa" src="https://embed.zenn.studio/card#zenn-embedded__fe543824586aa" data-content="https%3A%2F%2Fhadoop.apache.org%2Fdocs%2Fcurrent%2Fhadoop-project-dist%2Fhadoop-common%2FSingleCluster.html" frameborder="0" scrolling="no" loading="lazy"></iframe></span><a href="https://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-common/SingleCluster.html" style="display:none" target="_blank" rel="nofollow noopener noreferrer">https://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-common/SingleCluster.html</a></p>
<h3 id="%E6%BA%96%E5%82%99">
<a class="header-anchor-link" href="#%E6%BA%96%E5%82%99" aria-hidden="true"></a> 準備</h3>
<div class="code-block-container"><pre><code>hadoop@raspberrypi:~ $ mkdir input
hadoop@raspberrypi:~ $ cp hadoop-3.2.2/etc/hadoop/*.xml input
hadoop@raspberrypi:~ $ cd hadoop-3.2.2/
</code></pre></div><h4 id="%E3%82%B7%E3%83%B3%E3%82%B0%E3%83%AB%E3%83%8E%E3%83%BC%E3%83%89%E5%AE%9F%E8%A1%8C">
<a class="header-anchor-link" href="#%E3%82%B7%E3%83%B3%E3%82%B0%E3%83%AB%E3%83%8E%E3%83%BC%E3%83%89%E5%AE%9F%E8%A1%8C" aria-hidden="true"></a> シングルノード実行</h4>
<p>inputの中のxml全部に対して，grepコマンドを処理するコマンド</p>
<div class="code-block-container"><pre><code>bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.2.2.jar grep input output 'dfs[a-z.]+'
</code></pre></div><h3 id="%E5%AE%9F%E8%A1%8C%E7%B5%90%E6%9E%9C">
<a class="header-anchor-link" href="#%E5%AE%9F%E8%A1%8C%E7%B5%90%E6%9E%9C" aria-hidden="true"></a> 実行結果</h3>
<p>inputの中のxml全部に対して，grepコマンドを処理するコマンド<br>
hadoop@raspberrypi:~/hadoop-3.2.2 cat output/*<br>
1       dfsadmin<br>
hadoop@raspberrypi:~/hadoop-3.2.2 $ ls output/*<br>
output/_SUCCESS  output/part-r-00000</p>
<h2 id="%E6%AC%A1%E5%9B%9E%E3%81%AF">
<a class="header-anchor-link" href="#%E6%AC%A1%E5%9B%9E%E3%81%AF" aria-hidden="true"></a> 次回は</h2>
<p>疑似分散モードと，完全分散モードに触れていこうと思います．おわり</p>


Hadoop環境できた -2回目の挑戦- ラズパイ4で

Discussion