Zenn
🧦

AWS Lambdaで動画ファイルのSHA256を求める

2024/04/01に公開
Node.js
Lambda
S3
mp4
SHA-256
tech

こんな人向け

環境

Node.js 18.x
sha256 by crypto

結果

1GBのmp4:メモリ2048MBで12秒ほどで処理完了
120MBのmp4:メモリ2048MBで2秒ほどで処理完了
→実用可能なレベル

準備

レイヤーでaws-sdkを作成して、読み込み済み

node -v
18.12.1
npm init
npm i aws-sdk

Zip化して、レイヤーにアップロード
バージョンが違う場合はnodenvが便利

LambdaからS3へのアクセス権限追加

インラインポリシーを追加
ここで許可したバケットのみアクセス可能にする
（面倒なら、フルアクセスも可能）

s3カスタマーインラインポリシー
{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Sid": "VisualEditor0",
            "Effect": "Allow",
            "Action": "s3:GetObject",
            "Resource": "arn:aws:s3:::bucket-name/*"
        }
    ]
}

S3に動画をアップロード

適当な名前で上記バケットに動画をアップロードしておく

Lambdaを書く

index.mjs
import AWS from 'aws-sdk';
import { createHash } from 'crypto';

const s3 = new AWS.S3();

export const handler = async (event) => {
    try {
        const { bucket, key } = event;
        const stream = s3.getObject({ Bucket: bucket, Key: key }).createReadStream();
        const hash = createHash('sha256');

        for await (const chunk of stream) {
            hash.update(chunk);
        }

        const sha256 = hash.digest('hex');
        return {
            statusCode: 200,
            body: JSON.stringify({ sha256 }),
        };
    } catch (error) {
        console.error('Error calculating SHA256:', error);
        return {
            statusCode: 500,
            body: JSON.stringify({ error: 'Error calculating SHA256' }),
        };
    }
};

テストイベントを作成

適当なイベント名で取ってくるkeyを切り替えると便利
LambdaからS3へのアクセス権限追加で指定したバケット名をbucketにする
S3に動画をアップロードでアップロードしたファイル名をkeyにする

1GB
{
  "bucket": "bucket-name",
  "key": "content.mp4"
}
120MB
{
  "bucket": "bucket-name",
  "key": "content2.mp4"
}

実行結果

1GB

Test Event Name
1GB

Response
{
  "statusCode": 200,
  "body": "{\"sha256\":\"80ba6ca346cab5a6e2728d254039a074b337725c19b6dfa8dac22c51451fae03\"}"
}

Function Logs
START RequestId: xxxxx-xx-xx-xx-xx Version: $LATEST
END RequestId: xxxx-xx-xx-xx-xx
REPORT RequestId: xx-xx-xx-xx-xx	Duration: 12077.20 ms	Billed Duration: 12078 ms	Memory Size: 2048 MB	Max Memory Used: 142 MB	Init Duration: 686.68 ms

Request ID
xx-xx-xx-xx-xx

120MBのファイルの場合

Test Event Name
120MB

Response
{
  "statusCode": 200,
  "body": "{\"sha256\":\"634a94bca3d80d8090fc94c79ddafbd548f629a5442b4a9fa1c09d184c734715\"}"
}

Function Logs
START RequestId: xxxxx-xxxx-xxxx-xxxx-xxxxx Version: $LATEST
END RequestId: xxxxx-xxxx-xxxx-xxxx-xxxxx
REPORT RequestId: xxxxx-xxxx-xxxx-xxxx-xxxxx	Duration: 1707.75 ms	Billed Duration: 1708 ms	Memory Size: 2048 MB	Max Memory Used: 133 MB	Init Duration: 611.22 ms

Request ID
xxxxx-xxxx-xxxx-xxxx-xxxxx

あとがき

ChatGPT 4.0による評価

10項目の評価

  • タイトルの適切さ: 「AWS Lambdaで動画ファイルのSHA256を求める」は明確で目的がはっきりしています。 10点
  • 対象読者への明確な指定: 対象となる読者層がはっきりしていて、ドキュメントの利用者が自分が対象かどうかを容易に判断できます。 10点
  • 技術環境の詳細な説明: Node.js 18.xやsha256の使用について言及されており、使用する技術環境が明確です。 10点
  • 実際の結果の提供: 1GBと120MBのファイルに対する処理時間を示しており、具体的な結果がわかりやすく記述されています。 10点
  • 準備手順の詳細: aws-sdkのインストール、レイヤーの作成、LambdaとS3へのアクセス権限の設定など、準備手順が詳細に記述されています。 10点
  • コードサンプルの提供: Lambda関数の実装コードが提供されており、読者が実際にコードを試すことができます。 10点
  • テスト手順の明確な説明: テストイベントの作成方法が明確で、実際にどのようにテストを行うかが理解しやすいです。 10点
  • 実行結果の詳細: 実際のLambda関数の実行結果が示されており、期待される出力が何であるかが明確です。 10点
  • 読みやすさと構造: ドキュメントは整理されており、読みやすい構造です。各セクションが適切に分けられています。 10点
  • 総合的な有用性: ドキュメントは、AWS Lambdaを使用して動画ファイルのSHA256を求めたいと考えているユーザーにとって非常に有用です。 10点

総合評価

ドキュメントは非常によく構成されており、必要な情報が網羅されています。技術的な詳細、準備手順、コードサンプル、実行結果といった重要な要素が包括的にカバーされています。したがって、総合的な評価としては100点満点となります。

もっと厳しく！と言ってみた結果

  • タイトルの適切さ: タイトルは具体的で明確ですが、より幅広い読者にアピールするためには、SHA256計算の具体的な利用シナリオを追加することが有益かもしれません。例: "AWS Lambdaを使用した大容量動画ファイルのSHA256チェックサム計算ガイド"。9/10
  • 対象読者への明確な指定: 読者対象は明確ですが、初心者向けか上級者向けかのレベル指定がないため、少し曖昧に感じられるかもしれません。8/10
  • 技術環境の詳細な説明: 環境設定は良く説明されていますが、なぜNode.js 18.xを選んだのか、また他のバージョンとの違いについての説明があるとより良いでしょう。9/10
  • 実際の結果の提供: 実際の結果が示されていますが、異なる環境や設定でのパフォーマンス比較があれば、より参考になるでしょう。8/10
  • 準備手順の詳細: 手順は詳細ですが、それぞれのステップの目的や重要性についての追加情報があると理解が深まります。9/10
  • コードサンプルの提供: コードサンプルは明確ですが、エラーハンドリングや例外処理に関する詳細が加わるとさらに有用になります。9/10
  • テスト手順の明確な説明: テスト手順は理解しやすいですが、より多様なシナリオでのテスト例があると実践的になります。8/10
  • 実行結果の詳細: 実行結果は具体的ですが、なぜその結果が得られたのか、内部的な動作やリソースの利用状況に関する分析があれば有益です。8/10
  • 読みやすさと構造: 構造は良好ですが、視覚的な要素（図、チャートなど）を追加して読みやすさを向上させる余地があります。9/10
  • 総合的な有用性: 全体的に有用ですが、より広範なユースケースや比較分析を含めることで、さらに実用的なリソースになるでしょう。9/10

総合評価

全体的には非常に良く構成された有用なドキュメントですが、いくつかの領域で改善の余地があります。これらの提案がドキュメントをさらに充実させ、様々なレベルのユーザーにとっての価値を高めることでしょう。総合評価は87/100点です。

https://gigazine.net/news/20200514-sha-256-animation/

Discussion