<h2 id="%E3%81%AF%E3%81%98%E3%82%81%E3%81%AB" data-line="0" class="code-line">
<a class="header-anchor-link" href="#%E3%81%AF%E3%81%98%E3%82%81%E3%81%AB" aria-hidden="true"></a> はじめに</h2>
Dockerのversionを18から20にアップグレードしたところ、SDK for JavaScript v3でS3へアップロードする際に、<code>InvalidChunkSizeError</code>のエラーが発生したため、その解消方法について記事にしていきます。
<div class="code-block-container"><pre class="language-bash"><code class="language-bash code-line" data-line="4">InvalidChunkSizeError: Only the last chunk is allowed to have a size less than 8192 bytes
Only the last chunk is allowed to have a size less than 8192 bytes
</code></pre></div> 
バージョンは以下の通りです。
<table data-line="12" class="code-line">
<thead data-line="12" class="code-line">
<tr data-line="12" class="code-line">
<th>ライブラリ・言語</th>
<th>バージョン</th>
</tr>
</thead>
<tbody data-line="14" class="code-line">
<tr data-line="14" class="code-line">
<td>aws-sdk/client-s3</td>
<td>v3.45.0</td>
</tr>
<tr data-line="15" class="code-line">
<td>aws-sdk/lib-storage</td>
<td>v3.45.0</td>
</tr>
<tr data-line="16" class="code-line">
<td>aws-sdk</td>
<td>v2.1048.0</td>
</tr>
<tr data-line="17" class="code-line">
<td>node</td>
<td>v20.11.0</td>
</tr>
<tr data-line="18" class="code-line">
<td>typescript</td>
<td>v4.4.4</td>
</tr>
</tbody>
</table>
 
<h2 id="invalidchunksizeerror%E3%81%AB%E3%81%A4%E3%81%84%E3%81%A6" data-line="23" class="code-line">
<a class="header-anchor-link" href="#invalidchunksizeerror%E3%81%AB%E3%81%A4%E3%81%84%E3%81%A6" aria-hidden="true"></a> InvalidChunkSizeErrorについて</h2>
これはAWS SDK（@aws-sdk/client-s3）でS3へのストリームアップロード処理中にチャンクサイズのルールを破ったことに起因します。AWS S3では、マルチパートアップロード（単一のオブジェクトを複数に分割してアップロードできる機能）やストリームアップロードを行う際に以下のようなルールがあり、処理中に8192バイト未満のチャンクが途中で送られてしまったことでこのエラーが発生したことが推測されます。
<ul data-line="27" class="code-line">
<li data-line="27" class="code-line">各チャンクは8192バイト（8KB）以上でなければならない</li>
<li data-line="28" class="code-line">最後のチャンクだけは8KB未満でも大丈夫（<code>Only the last chunk is allowed to have a size less than 8192 bytes</code>で8192バイト未満であることが許可されることが示されています。最後のチャンクのみ「残りのデータが少ない場合に限り」小さくても受け入れることで、無駄な空チャンクの送信を回避しています。）</li>
</ul>
チャンクサイズとは、ファイルアップロードやダウンロード時に一度に転送されるデータのサイズ（チャンク）に関する制限のことを指します。
<iframe id="zenn-embedded__29a57a9c5b8bf" src="https://embed.zenn.studio/card#zenn-embedded__29a57a9c5b8bf" data-content="https%3A%2F%2Fgithub.com%2Faws%2Faws-sdk-js-v3%2Fissues%2F6949" frameborder="0" scrolling="no" loading="lazy"></iframe><a href="https://github.com/aws/aws-sdk-js-v3/issues/6949" style="display:none" target="_blank" rel="nofollow noopener noreferrer">https://github.com/aws/aws-sdk-js-v3/issues/6949</a>
<iframe id="zenn-embedded__5a147587e214d" src="https://embed.zenn.studio/card#zenn-embedded__5a147587e214d" data-content="https%3A%2F%2Fzenn.dev%2Fmifurohi%2Farticles%2F0eb415528e7139" frameborder="0" scrolling="no" loading="lazy"></iframe><a href="https://zenn.dev/mifurohi/articles/0eb415528e7139" style="display:none" target="_blank">https://zenn.dev/mifurohi/articles/0eb415528e7139</a>
 
<h2 id="%E8%A7%A3%E6%B6%88%E6%96%B9%E6%B3%95" data-line="39" class="code-line">
<a class="header-anchor-link" href="#%E8%A7%A3%E6%B6%88%E6%96%B9%E6%B3%95" aria-hidden="true"></a> 解消方法</h2>
<code>S3Client.send(PutObjectCommand)</code>を使用している箇所を<a href="https://docs.aws.amazon.com/AWSJavaScriptSDK/v3/latest/Package/-aws-sdk-lib-storage/" target="_blank" rel="nofollow noopener noreferrer">@aws-sdk/lib-storage</a>の<code>Stream Upload</code>に書き換えます。
<div class="code-block-container"><pre class="language-ts"><code class="language-ts code-line" data-line="44">this.destinationS3.send(
 new PutObjectCommand({
 Bucket: process.env.SOURCE_BUCKET,
 Key: 'some/key/file.jpg',
 Body: someStreamOrBuffer,
 ContentType: this.excelContentType,
})
</code></pre></div> 
<div class="code-block-container"><pre class="language-ts"><code class="language-ts code-line" data-line="57">import { Upload } from '@aws-sdk/lib-storage';

await new Upload({
 client: s3Client,
 params: {
 Bucket: process.env.SOURCE_BUCKET,
 Key: 'some/key/file.jpg',
 Body: someStreamOrBuffer,
 ContentType: this.excelContentType,
 },
}).done();
</code></pre></div><code>Upload</code>を使用することでチャンクサイズなど内部的によしなに最適化されて処理されます。
<iframe id="zenn-embedded__3e74829b8b689" src="https://embed.zenn.studio/card#zenn-embedded__3e74829b8b689" data-content="https%3A%2F%2Fzenn.dev%2Fcorocn%2Farticles%2F2cae801ddc1327" frameborder="0" scrolling="no" loading="lazy"></iframe><a href="https://zenn.dev/corocn/articles/2cae801ddc1327" style="display:none" target="_blank">https://zenn.dev/corocn/articles/2cae801ddc1327</a>
 
<h2 id="requestchecksumcalculation%E3%81%8C%E7%99%BA%E7%94%9F%E3%81%97%E3%81%9F%E5%A0%B4%E5%90%88" data-line="76" class="code-line">
<a class="header-anchor-link" href="#requestchecksumcalculation%E3%81%8C%E7%99%BA%E7%94%9F%E3%81%97%E3%81%9F%E5%A0%B4%E5%90%88" aria-hidden="true"></a> requestChecksumCalculationが発生した場合</h2>
<div class="code-block-container"><pre><code class="code-line" data-line="78">TypeError: this.client.config.requestChecksumCalculation is not a function
</code></pre></div><code>lib-storage</code>がS3クライアントに存在するべき<code>requestChecksumCalculation</code>オプションを期待しているのに、その関数が存在しないために発生しているエラーとなります。lib-storage側が内部的に使っているミドルウェア（flexible-checksums）の一部であり、古いAWS SDKと<code>lib-storage</code>の組み合わせがズレると問題になります。 
AWS SDKのversionを最新に設定するか、両方のVersionを揃えることでエラーが解消します。
<div class="code-block-container"><pre><code class="code-line" data-line="83">"dependencies": {
 "@aws-sdk/client-s3": "^3.45.0",
 "@aws-sdk/lib-storage": "^3.45.0"
}
</code></pre></div> 
<h2 id="%E6%9C%80%E5%BE%8C%E3%81%AB" data-line="92" class="code-line">
<a class="header-anchor-link" href="#%E6%9C%80%E5%BE%8C%E3%81%AB" aria-hidden="true"></a> 最後に</h2>
今回は、InvalidChunkSizeErrorの解消について記事にしました。 
ここまで読んでいただきありがとうござました。

SDK for JavaScriptで発生したInvalidChunkSizeErrorを解消する

requestChecksumCalculationが発生した場合

javascript

nodejs

Discussion