🌐

Unityからs3にログを送って分析できる基盤を作ってみた

2021/08/22に公開

AWS

Unity

tech

始めに

使用技術

この記事は下記のサービスを利用して最小構成の分析基盤を作ってみた話です

Unity
AWSSDK.Net
AWS S3
AWS KinesisFirehose
AWS Athena

最小限で作ったので、セキュリティ面などは考慮しておりません
また、料金面も詳しく調査してません（高くは無いと思います...）

クライアントからログを取る意味とは？

クライアントでしか扱わないような大量のデータを保存するために使用する想定です
例えば、
ゲーム内に高難易度のステージを実装した場合、どこが難しいのかという情報はあまりログとして取られていません
ですが、DBに保存しない大量のログを取れる場合では、クライアントのゲームでの正確な行動ログなどを取ることが出来ます。

アクションゲームでは、ステージのどの場面で死んだのか
リズムゲームでは、どの瞬間でゲームオーバーになったのか

といった明確な失敗要因をログとして残すことが可能になるかと思います

AWS側の用意

クライアントからアクセスする用のIAMの作成

とりあえずIAMを作成する

プログラムからアクセスできるように設定
firehoseへのアクセス権を指定する
フルアクセスの必要はないので必要な分だけ設定すると良いです
なお、今回はでは面倒臭いのでフルアクセスにしているだけです
あとは成り行きで進める
この時に表示されるアクセスキーとシークレットキーは使用するのでメモしておいてください

ログを保存するためのs3の作成

二つのs３を作る必要性があります

firehoseで送られてきたログの集積場所
AthenaのDBのデータを保存するための場所
この二つを作って行きます

firehoseで送られてきたログの集積場所

firehoseの設定時に作るので、後載となります

AthenaのDBのデータを保存するための場所

こちらも同様に特に設定することは無い

KinesisFirehoseでクライアントから送ったログをs3へ送る

新規の配信ストリームを作成する
この画面では名前以外は特に設定する必要は無し
s3の作成
保存形式をgzipにする
Athenaではgzip形式のjsonが読み込み対応できるので、gzipに設定する
ログの保存場所を設定する

Unity側の用意

AWS SDKのDLLファイルの用意

やること
1．VisualStudioで新規プロジェクト → クラスライブラリでプロジェクトを作成する
2．メニュータブのプロジェクト管理から「NuGetパッケージの管理」を選択

3．使用するパッケージを選択する
・AWSSDK.Core
・AWSSDK.KinesisFirehose

検索で「aws」と検索するとやりやすいかと思います
4．パッケージをインストール後にビルドを行う

5.「プロジェクトフォルダ\bin\Release or Debug」のフォルダ内にDLLが作成されていることを確認する
6.Unityのプロジェクトを開き、Pluginフォルダ内に生成されたDLLを入れる

↓こちらのURLを参考すると参考にするとやりやすいです

AWS KinesisFirehoseへの接続とデータの転送

1．スクリプトの作成

using System.IO;
using System.Text;
using System.Collections.Generic;
using UnityEngine;
using Amazon.KinesisFirehose;
using Amazon.KinesisFirehose.Model;


public struct Data
{
    public int id;
    public int type;
    public string message;

    public Data(int id, int type, string message)
    {
        this.id = id;
        this.type = type;
        this.message = message;
    }
}



public class Test : MonoBehaviour
{
    const string Accesskey = "IAM作成した際にメモしたアクセスキー";
    const string SecretKey = "IAM作成した際にメモしたシークレットキー";


    // Start is called before the first frame update
    void Start()
    {
        var client = new AmazonKinesisFirehoseClient(Accesskey, SecretKey, Amazon.RegionEndpoint.APNortheast1);

        //テストデータの定義
        var datas = new Data[] {
            new Data(1,2,"test"),
            new Data(2,3,"aws"),
            new Data(3,4,"kinesis"),
            new Data(4,5,"fire"),
            new Data(5,6,"hose"),
        };

        List<Record> recodes = new List<Record>();

        foreach(var data in datas)
        {
            var json = JsonUtility.ToJson(data);

            // Amazon.KinesisFirehose.Model.RecordインスタンスのDataプロパティにPUTするデータを詰める
            var record = new Record()
            {
                Data = new MemoryStream(Encoding.UTF8.GetBytes(json + "\n")) //末尾に改行を入れないとAthenaで認識されない
            };

            recodes.Add(record);
        }

        //送信
        var r = client.PutRecordBatch("Firehoseの配信ストリーム名", recodes);
        Debug.Log(r.HttpStatusCode);
    }
}

2．上記で作成したスクリプトを適当なオブジェクトにアタッチしてシーンを再生する
3．再生し「OK」というログが出てることを確認する

4.awsのs3を確認し、ログが生成されていることを確認する
・1,2分ほど時間がかかります