Closed23

OpenSearchServiceドメインのパラメータ

batchibatchi
% aws es describe-elasticsearch-domain --domain-name aes-siem --output yaml
DomainStatus:
  ARN: arn:aws:es:ap-northeast-1:012345678910:domain/aes-siem
  AccessPolicies: '{"Version":"2012-10-17","Statement":[{"Effect":"Allow","Principal":{"AWS":"arn:aws:iam::012345678910:root"},"Action":"es:*","Resource":"arn:aws:es:ap-northeast-1:012345678910:domain/aes-siem/*"},{"Effect":"Allow","Principal":{"AWS":"*"},"Action":"es:*","Resource":"arn:aws:es:ap-northeast-1:012345678910:domain/aes-siem/*","Condition":{"IpAddress":{"aws:SourceIp":["10.0.0.0/8","172.16.0.0/12","192.168.0.0/16"]}}}]}'
  AdvancedOptions:
    override_main_response_version: 'false'
    rest.action.multi.allow_explicit_index: 'true'
  AdvancedSecurityOptions:
    Enabled: true
    InternalUserDatabaseEnabled: true
  AutoTuneOptions:
    State: ENABLE_IN_PROGRESS
  CognitoOptions:
    Enabled: false
  Created: true
  Deleted: false
  DomainEndpointOptions:
    CustomEndpointEnabled: false
    EnforceHTTPS: true
    TLSSecurityPolicy: Policy-Min-TLS-1-2-2019-07
  DomainId: 012345678910/aes-siem
  DomainName: aes-siem
  EBSOptions:
    EBSEnabled: true
    VolumeSize: 10
    VolumeType: gp2
  ElasticsearchClusterConfig:
    ColdStorageOptions:
      Enabled: false
    DedicatedMasterEnabled: false
    InstanceCount: 1
    InstanceType: t3.medium.elasticsearch
    WarmEnabled: false
    ZoneAwarenessEnabled: false
  ElasticsearchVersion: OpenSearch_1.0
  EncryptionAtRestOptions:
    Enabled: true
    KmsKeyId: arn:aws:kms:ap-northeast-1:012345678910:key/76338696-62c6-4c8d-9d20-95d4xxxxxxxx
  Endpoint: search-aes-siem-7gz4ocangx5d6cpezff7pmgeq4.ap-northeast-1.es.amazonaws.com
  LogPublishingOptions:
    ES_APPLICATION_LOGS:
      CloudWatchLogsLogGroupArn: arn:aws:logs:ap-northeast-1:012345678910:log-group:/aws/aes/domains/aes-siem/application-logs
      Enabled: true
  NodeToNodeEncryptionOptions:
    Enabled: true
  Processing: false
  ServiceSoftwareOptions:
    AutomatedUpdateDate: '2021-07-08T17:14:34+09:00'
    Cancellable: false
    CurrentVersion: R20210816-P1
    Description: There is no software update available for this domain.
    NewVersion: ''
    OptionalDeployment: false
    UpdateAvailable: false
    UpdateStatus: COMPLETED
  SnapshotOptions:
    AutomatedSnapshotStartHour: 0
  UpgradeProcessing: false
batchibatchi
% aws es describe-elasticsearch-domain-config --domain-name aes-siem --output yaml
DomainConfig:
  AccessPolicies:
    Options: '{"Version":"2012-10-17","Statement":[{"Effect":"Allow","Principal":{"AWS":"arn:aws:iam::012345678910:root"},"Action":"es:*","Resource":"arn:aws:es:ap-northeast-1:012345678910:domain/aes-siem/*"},{"Effect":"Allow","Principal":{"AWS":"*"},"Action":"es:*","Resource":"arn:aws:es:ap-northeast-1:012345678910:domain/aes-siem/*","Condition":{"IpAddress":{"aws:SourceIp":["10.0.0.0/8","172.16.0.0/12","192.168.0.0/16"]}}}]}'
    Status:
      CreationDate: '2021-09-21T00:04:05.834000+09:00'
      PendingDeletion: false
      State: Active
      UpdateDate: '2021-09-21T00:19:45.312000+09:00'
      UpdateVersion: 6
  AdvancedOptions:
    Options:
      override_main_response_version: 'false'
      rest.action.multi.allow_explicit_index: 'true'
    Status:
      CreationDate: '2021-09-21T00:04:05.834000+09:00'
      PendingDeletion: false
      State: Active
      UpdateDate: '2021-09-21T00:19:45.312000+09:00'
      UpdateVersion: 6
  AdvancedSecurityOptions:
    Options:
      Enabled: true
      InternalUserDatabaseEnabled: true
    Status:
      CreationDate: '2021-09-21T00:04:05.834000+09:00'
      PendingDeletion: false
      State: Active
      UpdateDate: '2021-09-21T00:20:39.507000+09:00'
      UpdateVersion: 11
  AutoTuneOptions:
    Options:
      DesiredState: ENABLED
      MaintenanceSchedules: []
      RollbackOnDisable: NO_ROLLBACK
    Status:
      CreationDate: '2021-09-21T00:04:05.834000+09:00'
      PendingDeletion: false
      State: ENABLE_IN_PROGRESS
      UpdateDate: '2021-09-21T00:19:45.312000+09:00'
      UpdateVersion: 6
  CognitoOptions:
    Options:
      Enabled: false
    Status:
      CreationDate: '2021-09-22T12:23:27.724000+09:00'
      PendingDeletion: false
      State: Active
      UpdateDate: '2021-09-22T12:23:27.724000+09:00'
      UpdateVersion: 11
  DomainEndpointOptions:
    Options:
      CustomEndpointEnabled: false
      EnforceHTTPS: true
      TLSSecurityPolicy: Policy-Min-TLS-1-2-2019-07
    Status:
      CreationDate: '2021-09-21T00:04:05.834000+09:00'
      PendingDeletion: false
      State: Active
      UpdateDate: '2021-09-21T00:19:45.312000+09:00'
      UpdateVersion: 6
  EBSOptions:
    Options:
      EBSEnabled: true
      VolumeSize: 10
      VolumeType: gp2
    Status:
      CreationDate: '2021-09-21T00:04:05.834000+09:00'
      PendingDeletion: false
      State: Active
      UpdateDate: '2021-09-21T00:19:45.312000+09:00'
      UpdateVersion: 6
  ElasticsearchClusterConfig:
    Options:
      ColdStorageOptions:
        Enabled: false
      DedicatedMasterEnabled: false
      InstanceCount: 1
      InstanceType: t3.medium.elasticsearch
      WarmEnabled: false
      ZoneAwarenessEnabled: false
    Status:
      CreationDate: '2021-09-21T00:04:05.834000+09:00'
      PendingDeletion: false
      State: Active
      UpdateDate: '2021-09-21T00:19:45.312000+09:00'
      UpdateVersion: 6
  ElasticsearchVersion:
    Options: OpenSearch_1.0
    Status:
      CreationDate: '2021-09-21T00:04:05.834000+09:00'
      PendingDeletion: false
      State: Active
      UpdateDate: '2021-09-21T00:19:45.312000+09:00'
      UpdateVersion: 6
  EncryptionAtRestOptions:
    Options:
      Enabled: true
      KmsKeyId: arn:aws:kms:ap-northeast-1:012345678910:key/76338696-62c6-4c8d-9d20-95d4xxxxxxxx
    Status:
      CreationDate: '2021-09-21T00:04:05.834000+09:00'
      PendingDeletion: false
      State: Active
      UpdateDate: '2021-09-21T00:19:45.312000+09:00'
      UpdateVersion: 6
  LogPublishingOptions:
    Options:
      ES_APPLICATION_LOGS:
        CloudWatchLogsLogGroupArn: arn:aws:logs:ap-northeast-1:012345678910:log-group:/aws/aes/domains/aes-siem/application-logs
        Enabled: true
    Status:
      CreationDate: '2021-09-21T00:04:05.834000+09:00'
      PendingDeletion: false
      State: Active
      UpdateDate: '2021-09-21T00:19:45.312000+09:00'
      UpdateVersion: 6
  NodeToNodeEncryptionOptions:
    Options:
      Enabled: true
    Status:
      CreationDate: '2021-09-21T00:04:05.834000+09:00'
      PendingDeletion: false
      State: Active
      UpdateDate: '2021-09-21T00:19:45.312000+09:00'
      UpdateVersion: 6
  SnapshotOptions:
    Options:
      AutomatedSnapshotStartHour: 0
    Status:
      CreationDate: '2021-09-21T00:04:05.834000+09:00'
      PendingDeletion: false
      State: Active
      UpdateDate: '2021-09-21T00:19:45.312000+09:00'
      UpdateVersion: 6
  VPCOptions:
    Options: {}
    Status:
      CreationDate: '2021-09-22T12:23:27.724000+09:00'
      PendingDeletion: false
      State: Active
      UpdateDate: '2021-09-22T12:23:27.724000+09:00'
      UpdateVersion: 11
batchibatchi

クラスター設定タブ

  • データノード
    • アベイラビリティゾーン
    • インスタンスタイプ
    • ノードの数
    • ストレージタイプ
    • EBSボリュームタイプ
    • EBSボリュームサイズ
  • 専用マスターノード
    • 有効
  • ウォームデータストレージとコールドデータストレージ
    • UltraWarm データノードが有効になっています
  • ネットワーク
    • アクセス
    • VPC
    • セキュリティグループ
    • IAMロール
    • サブネット
  • カスタムエンドポイント
    • 有効
  • スナップショット
    • 頻度
    • 開始時刻
  • 高度なクラスター設定
    • HTTPリクエストの本文内のインデックスへの参照を許可します
    • フィールドデータのキャッシュの割り当て
    • 句の最大カウント
batchibatchi

UltraWarm ストレージ

  • 標準はホットストレージで、ノードにひもづくEBSにデータが保管される
  • UltraWarmだとS3にデータが保存されて料金が抑えられるが、速度に難が出る
  • いくつか前提条件あり

https://docs.aws.amazon.com/ja_jp/opensearch-service/latest/developerguide/ultrawarm.html

https://dev.classmethod.jp/articles/ultrawarm-calc-storage-requirements-and-pricing/

コールドストレージ

  • 同じくS3に保管
  • コールドストレージを有効にするにはUltraWarmも有効である必要あり

https://docs.aws.amazon.com/ja_jp/opensearch-service/latest/developerguide/cold-storage.html

batchibatchi

高度なクラスター設定

https://docs.aws.amazon.com/ja_jp/opensearch-service/latest/developerguide/createupdatedomains.html#createdomain-configure-advanced-options

「HTTPリクエストの本文内のインデックスへの参照を許可します」

複数のインデックスにまたがることができる API を許可し、インデックス固有のアクセスポリシーをバイパスする
このオプションをオフにすると、rest.action.multi.allow_explicit_index が false に設定され、bulk、mget、および msearch API に対する特定の呼び出しが中断されます。これらの API へのアクセスを管理する必要がある場合は、このオプションをデフォルトの true のままにして、きめ細かなアクセスコントロールを有効にします。詳細はこちら

デフォルトのtrueのままの方が取りまわししやすそう

バルクAPIでまとめて操作するときに明示的に許可が与えられていなくても操作が許可されるか（制限を回避させるか）といったところか

https://docs.aws.amazon.com/ja_jp/opensearch-service/latest/developerguide/ac.html#ac-advanced

batchibatchi

セキュリティ設定タブ

  • きめ細やかなアクセスコントロール
    • 有効
  • OpenSearch Dashboards/Kibana の認証
    • SAMLが有効になっています
    • Cognitoが有効になっています
    • リージョン
  • 暗号化
    • 必要なHTTPS
    • ノード間の暗号化
    • 保存時の暗号化
    • AWS KMSキー
  • アクセスポリシー
batchibatchi

きめ細やかなアクセスコントロール

https://docs.aws.amazon.com/ja_jp/opensearch-service/latest/developerguide/fgac.html

  • 有効化すると元に戻せない
  • 既存の方式（オープン/IPベースのアクセスポリシー）からの移行期間を設けることもできる
  • マスターユーザーを作成する
    • IAMロール
    • 内部のデータベース
  • 「ロール」とユーザーのマッピングをする
  • これを使わない場合、以下のいずれかになる
    • IPベース：許可されたIPからであれば全てのユーザーがドメインにアクセスできる
    • オープン：すべてのユーザーがドメインにアクセスできる
batchibatchi

インスタンスのヘルス　タブ

ノードの種類ごとに詳細画面に飛べる

batchibatchi

自動調整　タブ

  • 自動調整
  • 次のウインドウでスケジュールされているアクション
batchibatchi
  • チューニングをレコメンドしてくれる
  • 即時に適用できるものもあればメンテナンスウインドウを必要とするものもある

Amazon OpenSearch Service の Auto-Tune では、OpenSearch クラスターのパフォーマンスと使用状況のメトリクスを使用して、メモリ関連の設定の変更を提案します。これには、キューとキャッシュのサイズ、ノードの Java 仮想マシン (JVM) 設定が含まれます。これらのオプションの変更により、クラスターの速度と安定性が向上します。

https://docs.aws.amazon.com/ja_jp/opensearch-service/latest/developerguide/auto-tune.html

このスクラップは2023/03/11にクローズされました