なにをするのか

2023.03.02のアップデート「Amazon Timestream がデータのバッチロードをサポート」を試してみる。

具体的には

Timestreams、バッチロード、それぞれに5分間動画があるので、これをやってみる。

• Introduction to Amazon Timestream - Demo - YouTube
• Using batch load to ingest data into Amazon Timestream in bulk | Amazon Web Services - YouTube

英語だけど、自動生成字幕（英語）の自動翻訳字幕（日本語）があるからなんとかなるでしょう。

まず「Introduction to Amazon Timestream - Demo - YouTube」を見ながら、Amazon Timestreamを触ってみる。

データベースの作成

1. AWSコンソールで「Amazon Timestream」を開く。
2. 「データベースの作成」をクリックする。
3. データベースの設定で以下を指定する。
   • 「設定を選択」は「サンプルデータベース」。
   • 「名前」は devops 。
   • 「サンプルデータを含むテーブル」は「DevOps」にチェック、「IoT」はチェックを外す。
   • 「時系列レコードのタイプ」は「単一メジャーレコード」。
   • 上記を指定したら「データベースを作成」をクリック。

作成したデータベース、テーブルの確認

1. データベースが作成されるとデータベース一覧画面に遷移する。それ以外の画面になっているときは、Timestreamの画面左のメニュー（閉じられている場合ハンバーガーメニューを展開）から、データベースを選択。
2. 名前 devops をクリック。データベースの詳細画面に遷移する。
3. 下部の「テーブル」タブを開き、テーブル名 DevOps をクリック。テーブルの詳細画面に遷移する。
4. 以下を確認する。
   • 「メモリストアの保持期間」がどうなっているか … 1日。
   • 「マグネティックストアの保持期間」がどうなっているか … 5年。
   • 「マグネティックストアの書き込み」がどうなっているか … 無効化済み。

SQLの実行

クエリエディタでテーブルの定義を確認し、SQLを実行してみる。

1. Timestreamの画面左のメニュー（閉じられている場合ハンバーガーメニューを展開）から、クエリエディタを選択。
2. クエリエディタ画面で、テーブルのスキーマを確認する。以下を実施。
   • 「Choose a database to query.」は devops を選択。
   • 「Tables」の DevOps 右の ： メニューから「スキーマを表示」を選択。
   • 「テーブルの詳細」タブで「スキーマを表示」して、タイムスタンプ、ディメンジョン（データのグルーピングや絞込み用フィールド）がなにになっているか、確認する。
   • 「テーブルの詳細」タブで「メジャーを表示」して記録する測定値がなにになっているか、確認する。
3. クエリエディタ画面で、SQLを実行する。
   • 上部「Query 1」のテキストボックスに、以下のSQLを入力（コピー＆ペースト）する。
     SELECT * FROM devops.DevOps ORDER BY time DESC LIMIT 10
   • 「実行」をクリックする。
   • 「返された行」を確認する。

データの追加

次項の準備として、データを追加する。主として「How to use it - amazon-timestream-tools/sample_apps/python at mainline · awslabs/amazon-timestream-tools · GitHub」の手順に従い、以下を行う。

1. 「GitHub - awslabs/amazon-timestream-tools: Tools and utilities to enable loading data and building applications with Amazon Timestream.」をCloneするか、Download Zipして展開する。
2. 展開されたフォルダの sample_apps\python をカレントディレクトリとしてコマンドプロンプトを開く。
3. 以下のコマンドを実行する。
   pip3 install -r requirements.txt --upgrade
4. 以下のコマンドを実行する。<PROFILE_NAME> は使用するAWSプロファイル名を指定する。
   set AWS_PROFILE=<PROFILE_NAME>
5. 以下のコマンドを実行する。
   python3 SampleApplication.py --csv_file_path ../data/sample.csv
6. スクリプトの完了を待って、次項に進む。

Timestreamの提供する高度なサポートの実行

1. Timestreamの画面左のメニュー（閉じられている場合ハンバーガーメニューを展開）から、クエリエディタを選択。
2. 平均を試用する。クエリエディタ画面で以下を実施。
   • クエリエディタで「サンプルクエリ」タブに移動する。
   • 「説明」が「過去 2 時間のフリート全体の平均 CPU 使用率と比較して、CPU 使用率が 10% 以上高い EC2 ホストを特定します。」のクエリをクリック。
   • 「実行」をクリック。
   • 「クエリ結果」の先頭行はもっとも平均CPU使用率が高かったホストになる。 hostname の値を控えておく。
3. 補完を試用する。クエリエディタ画面で以下を実施。
   • クエリエディタで「サンプルクエリ」タブに移動する。
   • 「説明」が「過去 2 時間に特定の EC2 ホストの 30 秒間隔でビニングされた平均 CPU 使用率を算出し、線形補間を使用して欠落値を補完します。」のクエリをクリック。
   • クエリの内容で、２行目や８行目では BIN() 関数が使われていることを確認する。これは指定された時間（ここでは30秒）間隔で集計するように指定している。
   • クエリの内容で、11行目では INTERPOLATE_LINEAR() 関数が使われていることを確認する。これは時系列値（タイムシリーズ）に欠落があった場合に、線形補完する。
   • 6行目 AND hostname = 'host-Hovjv' の host-Hovjv を上で控えておいた hostname の値で上書きする。
   • 「実行」をクリック。

クリーンアップ

1. Timestreamの画面左のメニュー（閉じられている場合ハンバーガーメニューを展開）から、テーブルを選択。
2. テーブル DevOps を削除。
3. テーブル host_metrics を削除。
4. Timestreamの画面左のメニュー（閉じられている場合ハンバーガーメニューを展開）から、データベースを選択。
5. データベース devops を削除。

「Using batch load to ingest data into Amazon Timestream in bulk | Amazon Web Services - YouTube」を見ながら、データのバッチロードを触ってみる。

CSVファイルの準備

1. 「コンソールでのバッチロードの使用 - Amazon Timestream」先頭部からサンプルCSVをダウンロードし、展開。
2. batch-load-sample-file.csv の内容を確認する。
   • memory_utilization と cpu_utilization の二つの計測値を持つCSVファイルになっている。
3. batch-load-sample-file.csv 先頭行のタイムスタンプを、1日以内の値に修正する。ここでは以下のようにした。
   1. batch-load-sample-file.csv をExcelで開く。
   2. 列Bの前に列を挿入し、先頭行の値は time にする。
   3. B2セルに以下の数式を入力する。現在日時のUNIXTIME秒を計算してミリ秒に変換し、A列の値とA列の最大値の差分を減算している。
      =((NOW()-25569)*86400-32400)*1000-(MAX(A$2:A$100)-A2)
   4. B2セルをコピーし、B3～B100セルを範囲選択してペースト。
   5. B列をコピーし、B列に「値として貼り付け」。
   6. B列を右クリックし「セルの書式変更」で、「ユーザー定義」の「0」を選択。
   7. A列を削除。
   8. 「保存」して閉じる。

CSVファイルのアップロード

1. AWSコンソールでAmazon S3を開く。
2. 「バケットを作成」をクリック。
3. 「バケットの作成」画面で以下を指定。
   • 「バケット名」は任意の名前。世界中でユニークであることが必要なので yourname-20230319-2153 のように名前と年月日時分を組合わせるなどするとよい。
   • 「AWSリージョン」は作業中のリージョン。通常は「アジアパシフィック（東京）ap-northeast-1」。
   • 上記を指定したら、他はデフォルトのまま、「バケットを作成」をクリック。
4. バケットから、作成されたバケット名（ yourname-20230319-2153 など）をクリック。
5. バケットの詳細画面に遷移し、オブジェクトタブが表示される。CSVファイルをアップロードする。
   • 「アップロード」をクリック。
   • 「アップロード」画面が表示される。batch-load-sample-file.csvをドラッグアンドドロップし、「アップロード」をクリック。
   • 「アップロード：ステータス」が表示されたら「閉じる」をクリック。

Timestreamデータベースとテーブルを作成

1. AWSコンソールでAmazon Timestreamを開く。
2. Timestreamの画面左のメニュー（閉じられている場合ハンバーガーメニューを展開）から、「データベース」を選択。
3. 「データベースを作成」をクリック。
4. 「データベースを作成」画面で、「名前」に devops を指定し、「データベースを作成」をクリック。
5. Timestreamの画面左のメニューから、「テーブル」を選択。
6. 「テーブルを作成」をクリック。
7. 「テーブルを作成」画面で、以下を指定。
   • 「データベース名」は devops を指定。
   • 「テーブル名」は metrics を指定。
   • 上記を指定したら、他はデフォルトのまま、「テーブルを作成」をクリック。

バッチロードタスクを作成

1. AWSコンソールでAmazon Timestreamを開く。
2. Timestreamの画面左のメニュー（閉じられている場合ハンバーガーメニューを展開）から、「バッチロードタスク」を選択。
3. 「バッチロードタスクを作成」をクリック。
4. 「バッチロードタスクの設定を行う」ステップで、以下を指定。
   • 「ターゲットデータベース」は devops を指定。
   • 「ターゲットテーブル」は metrics を指定。
   • 「データソース」は「S3を参照」をクリックし、アップロードしたCSVファイルを選択。
   • 「データモデルマッピング」では以下を指定。
     1. マッピング入力方式は「ビジュアルビルダー（推奨）」。
     2. 「ビジュアルビルダー」部で「データソース列をロード」をクリック。
     3. ソース列名 time の行で、Timestream属性タイプに TIMESTAMP を指定。
     4. ソース列名 measure_name の行で、Timestream属性タイプに MEASURE_NAME を指定。
     5. ソース列名 region ocation hostname の行で、Timestream属性タイプに DIMENSION を指定。
     6. ソース列名 memory_utilization cpu_utilization の行で、Timestream属性タイプに MULTI を指定。データ型に DOUBLE を指定。
   • 「エラーログS3の場所」は「S3を参照」をクリックし、バケット一覧で作成したバケットのラジオボタンを選択した状態で、「選択」をクリック。
   • 上記を指定したら、他はデフォルトのまま、「次へ」をクリック。
5. 「レビューして作成」ステップで、「バッチロードタスクを作成」をクリック。
6. 作成されたバッチロードタスクの「タスクID」をクリック。
7. バッチロードタスクの詳細が表示される。以下を確認する。
   • スタータスが「完了済み」になる（データサイズに応じた時間経過後）。
   • 進捗報告部で、処理されたレコード数、取り込まれたレコード数、失敗などが確認できる。
   • データモデルマッピング部で、マッピングのJSONテキストが確認できる（これは次回以降のバッチロードタスクに役立てられる）。

データの確認

クエリエディタでテーブルの定義を確認し、SQLを実行してみる。

1. Timestreamの画面左のメニュー（閉じられている場合ハンバーガーメニューを展開）から、クエリエディタを選択。
2. クエリエディタ画面で、データを確認する。以下を実施。
   • 「Choose a database to query.」は devops を選択。
   • 「Tables」の metrics 右の ： メニューから「スキーマを表示」を選択。スキーマを確認する。
   • 上部「Query 1」のテキストボックスに、以下のSQLをコピー＆ペーストして、「実行」をクリックする。
     SELECT COUNT(*) FROM devops.metrics
   • 「クエリ結果」の「返された行」を確認する。テーブル内のレコード件数が返される。
   • 上部「Query 1」のテキストボックスに、以下のSQLをコピー＆ペーストして、「実行」をクリックする。
     SELECT * FROM devops.metrics ORDER BY time DESC LIMIT 10
   • 「クエリ結果」の「返された行」を確認する。テーブル内の時系列データの最新10件が返される。

クリーンアップ

1. AWSコンソールでAmazon Timestreamを開く。
2. Timestreamの画面左のメニュー（閉じられている場合ハンバーガーメニューを展開）から、テーブルを選択。
3. テーブル metrics を削除。
4. Timestreamの画面左のメニューから、データベースを選択。
5. データベース devops を削除。
6. AWSコンソールでAmazon S3を開く。
7. バケットを空にする。
   • 一覧で、今回作成したバケット（ yourname-20230319-2153 など）左をラジオボタンを選択した状態で、「空にする」をクリック。
   • バケットを空にする。
   • 「バケットを空にする：ステータス」が表示されたら「終了」をクリック。
8. バケットを削除する。
   • 一覧で、今回作成したバケット（ yourname-20230319-2153 など）左をラジオボタンを選択した状態で、「削除」をクリック。
   • バケットを削除する。