Terraform 静的検査ツール比較

対象

• tfsec
• tflint
• KICS
• Checkov
• Snyk

tfsec

https://github.com/aquasecurity/tfsec

https://aquasecurity.github.io/tfsec/v1.28.1

特徴

CI系

• 公式のdocker imageがある
  • https://github.com/aquasecurity/tfsec#use-with-docker
• GitHub Actionがある
  • https://github.com/aquasecurity/tfsec-pr-commenter-action
• GitHub Security Alertsと統合できる

検査系

• AWS, GCP, Azure対応
• 警告を無視できる
  • https://github.com/aquasecurity/tfsec#ignoring-warnings
  • tfファイルにコメントで記載する形式
• 指定した検査を無視できる
  • https://github.com/aquasecurity/tfsec#disable-checks
  • https://aquasecurity.github.io/tfsec/v1.28.1/guides/configuration/ignores
• 独自の検査項目を追加できる
  • https://aquasecurity.github.io/tfsec/v1.28.1/guides/configuration/custom-checks
  • 定義ファイルは.tfsec ディレクトリの*_tfchecks.json または*_tfchecks.yaml
    • urlも指定できる
    • 文法(JSON or YAML)
      • https://aquasecurity.github.io/tfsec/v1.28.1/guides/configuration/custom-checks/#what-does-a-check-file-look-like
    • 定義ファイルが正常か検証できる
      -https://aquasecurity.github.io/tfsec/v1.28.1/guides/configuration/custom-checks/#how-do-i-know-my-json-is-valid
  • OPA/Regoでもできる
    • https://aquasecurity.github.io/tfsec/v1.28.1/guides/rego/rego
• 検査結果は各種formatに変更可能(JSON, CSV,,)
• 指摘する最小の重大度(CRITICAL, HIGH, MEDIUM, LOW)を決められる
• 重要度を変更できる

開発系

• VSCodeのプラグインがある
  • https://marketplace.visualstudio.com/items?itemName=tfsec.tfsec

tflint

https://github.com/terraform-linters/tflint

特徴

CI系

• 公式のdocker imageがある
  • https://github.com/terraform-linters/tflint#docker
• GitHub Actionがある
  • https://github.com/terraform-linters/setup-tflint

検査系

• AWS, GCP, Azure対応
• deep check
  • クラウドへの接続情報を渡すことで実体と照らし合わせて検査できる
    • AWS
      • https://github.com/terraform-linters/tflint-ruleset-aws/blob/master/docs/deep_checking.md
    • GCP
      • https://github.com/terraform-linters/tflint-ruleset-google/blob/master/docs/deep_checking.md
    • Azure
      • できない
• 独自の検査項目を追加できる
  • プラグインの機構があってGo言語で書ける
  • AWS, GCP, Azureも公式のプラグインとして切り出されている
• 有効無効の設定可能
• 検査結果は各種formatに変更可能(JSON,,)

開発系

• 期待した動作ができなかったときなどに詳細なログを出力してデバッグできる
  • https://github.com/terraform-linters/tflint#debugging

KICS

https://github.com/Checkmarx/kics

https://docs.kics.io/latest/queries/terraform-queries

特徴

CI系

• 公式のdocker imageがある
  • https://docs.kics.io/latest/documentation/#docker
• GitHub Actionがある
  • https://docs.kics.io/latest/integrations_ghactions/
• GitLab の各レポートに対応している
  • Static Application Security Testing (SAST)
    • https://docs.kics.io/latest/integrations_gitlabci/#using_gitlab_sast_reports
    • --report-formats glsast
  • Code Quality
    • https://docs.kics.io/latest/integrations_gitlabci/#code_quality_integration
    • --report-formats codeclimate

検査系

• AWS, GCP, Azure, Kubernetesなどに対応
• クエリ(検査項目)を指定して検査を除外できる
• クエリのカテゴリごと指定して検査を除外できる
• severityを指定して結果から除外できる
• IDを指定して直接結果から除外できる
• 0以外の終了コードを返す結果を決められる。default [high,medium,low,info]
• 独自の検査項目を追加できる
  • https://docs.kics.io/latest/creating-queries
  • OPA/Regoでポリシーを記述できる
    • また、ポリシーのテストを簡単にわかりやすく実施できます
      • OPA/Rego自体にポリシーをテストする機能があるので、どのツールを選択してもテスト自体を行うことは可能です
      • ただ、kicsの場合は、テストコードを用意するのではなく成功と失敗のサンプルファイルとそれに対応する結果をjsonで定義するだけでテストできます
        • https://github.com/Checkmarx/kics/tree/master/assets/queries/terraform/aws/alb_listening_on_http/test
    • 汎用的な関数が定義されており、記述がしやすいです
      • https://github.com/Checkmarx/kics/blob/master/assets/libraries/terraform.rego
• 検査結果は各種formatに変更可能(JSON, PDF,,)
  • https://docs.kics.io/latest/results/

開発系

• VSCodeの拡張機能で自動でscanできる
  • https://docs.kics.io/latest/integrations_auto_scanning_visual_studio/

Checkov

https://github.com/bridgecrewio/checkov

https://www.checkov.io/5.Policy Index/terraform.html

特徴

CI系

• 公式のdocker imageがある
  • https://github.com/bridgecrewio/checkov#using-docker
  • https://www.checkov.io/4.Integrations/Docker.html
• GitHub Actionsがある
  • https://www.checkov.io/4.Integrations/GitHub Actions.html

検査系

• AWS, GCP, Azure, Kubernetesなどに対応
• 警告を無視できる
  • tfファイルにコメントで記載する形式
  • https://www.checkov.io/2.Basics/Suppressing and Skipping Policies.html
• 指定した検査だけを実施できる
  　- severityも使える
• 指定した検査を無視できる
  • severityも使える
• 検査の厳密性を3段階で決められる
  • https://www.checkov.io/2.Basics/Hard and soft fail.html
  • -–soft-fail
  • -–soft-fail-on
  • -–hard-fail
• 独自の検査項目を追加できる
  • pythonで書く
    • https://www.checkov.io/3.Custom Policies/Python Custom Policies.html
  • yamlで書く
    • https://www.checkov.io/3.Custom Policies/YAML Custom Policies.html

開発系

• VSCodeの拡張機能で自動でscanできる
  • https://marketplace.visualstudio.com/items?itemName=Bridgecrew.checkov

実際の検査についての比較

各クラウドに対応していますが、今回はAWSの検査の比較をしてみます。

リソースの網羅度

使用率が高いリソースはおそらくどのツールも指摘してくれるので、あまり使わないリソースについて指摘してくれるかを確認してみます。
ベストプラクティスなどの知見が少なく指摘して欲しいため。

	tfsec	tflint	KICS	Checkov
api-gateway	○	○	○	○
athena	○	○	○	○
autoscaling	○	○	○	○
cloudfront	○	○	○	○
cloudtrail	○	-	○	○
cloudwatch	○	○	○	○
codebuild	○	○	○	○
config	○	○	○	○
documentdb	○	○	○	○
dynamodb	○	○	○	○
ebs	○	○	○	○
ec2	○	○	○	○
ecr	○	○	○	○
ecs	○	○	○	○
efs	○	○	○	○
eks	○	○	○	○
elasticsearch	○	○	○	○
elasticache	○	○	○	○
elb	○	○	○	○
emr	○	○	○	○
iam	○	○	○	○
kinesis	○	○	○	○
kms	○	○	○	○
lambda	○	○	○	○
mq	○	○	○	○
msk	○	○	○	○
neptune	○	-	○	○
rds	○	○	○	○
redshift	○	○	○	○
s3	○	○	○	○
sns	○	-	○	○
sqs	○	-	○	○
ssm	○	○	○	○
vpc	○	○	○	○
workspaces	○	○	○	○
acm	-	○	-	○
accessanalyzer_analyzer	-	○	-	○
amplify	-	○	-	-
appconfig	-	○	-	-
appmesh	-	○	-	○
apprunner	-	○	-	-
appstream	-	○	-	-
appsync	-	○	-	○
backup	-	○	-	○
batch	-	○	○	○
budgets	-	○	-	○
chime	-	○	-	-
cloud9	-	○	-	○
cloudformation	-	○	○	○
cloudfront	-	○	-	-
cloudhsm	-	○	-	○
codeartifact	-	○	-	○
codecommit	-	○	-	○
codedeploy	-	○	-	○
codepipeline	-	○	-	○
codestarconnections	-	○	-	-
cognito	-	○	○	○
connect	-	○	-	○
cur	-	○	-	○
customer_gateway	-	○	-	○
datasync	-	○	-	○
db_proxy	-	○	-	-
devicefarm	-	○	-	○
directory_service	-	○	-	○
dlm	-	○	-	○
dms	-	○	-	○
dx	-	○	-	○
elastic_beanstalk	-	○	-	○
elastictranscoder	-	○	-	○
flow_log	-	○	-	○
fms	-	○	-	○
fsx	-	○	-	○
gamelift	-	○	-	○
globalaccelerator	-	○	○	○
glue	-	○	○	○
guardduty	-	○	○	○
imagebuilder	-	○	-	○
inspector	-	○	-	○
iot	-	○	-	○
lakeformation	-	○	-	-
licensemanager	-	○	-	○
lightsail	-	○	-	○
macie	-	○	-	○
media_store	-	○	-	○
memorydb	-	○	-	○
opsworks	-	○	-	○
organizations	-	○	○	○
placement_group	-	○	-	○
prometheus	-	○	-	-
quicksight	-	○	-	○
resourcegroups	-	○	-	○
route53	-	○	○	○
sagemaker	-	○	○	○
schemas	-	○	-	-
securityhub	-	○	-	○
service_discovery	-	○	-	○
servicecatalog	-	○	-	○
servicequotas	-	○	-	○
ses	-	○	-	○
sfn	-	○	-	○
shield	-	○	-	○
signer	-	○	-	-
spot	-	○	-	○
ssoadmin	-	○	○	○
storagegateway	-	○	-	○
swf	-	○	-	○
timestreamwrite	-	○	-	○
transfer	-	○	-	○
worklink	-	○	-	○
identitystore	-	-	○	○
dax	-	-	○	○
waf	○	○	○	○
xray	○	○	○	○
vpn	-	-	-	○
secretsmanager	○	○	○	○
scheduler	-	-	-	○
security_group	○	○	○	○
pinpoint	-	-	-	○
opensearch	-	-	-	○
appautoscaling	-	○	-	○
appflow	-	-	-	○
cloudsearch	-	-	-	○
codestarnotifications	-	-	-	○
comprehend	-	-	-	○
datapipeline	-	-	-	○
kendra	-	-	-	○
media_convert	-	-	-	○
media_package	-	-	-	○
mwaa	-	-	-	○
qldb	-	-	-	○
ram	-	-	-	○
sdb	-	-	-	○
networkfirewall	-	○	○	○

リソースベースだとtflintとCheckovが網羅度が高いです。
tflint = Checkov > KICS > tfsec
ただ、KICSもtfsecも主要なリソースは指摘してくれるので一般的な利用だとどれでも良さそうです。
指摘の内容にもよってくるので次は検査項目について比較してみます。

検査項目の比較

次にどんな指摘をしてくれるかを見てみます。
全てを確認すると時間が幾らあっても足りないので抜粋して確認します。

EKS

全体感を確認するために4つとも対応していて使用頻度の高いEKSで比較。

	tfsec	tflint	KICS	Checkov
コントロールプレーンのログを有効化している	○	-	○	○
secretsリソースの保護のためにencryption_configブロックを設定している	○	-	○	○
パブリックアクセスCIDRを明示的に設定	○	-	○	○
パブリックアクセスを無効	○	-	○	○
アドオンに設定するクラスタ名が有効	-	○	-	-
アドオンに設定するresolve_conflictsが有効	-	○	-	-
アドオンに設定するservice_account_role_arnが有効	-	○	-	-
クラスタ名が有効	-	○	-	-
ノードグループに設定するami_typeが有効	-	○	-	-
ノードグループに設定するcapacity_typeが有効	-	○	-	-
SourceSecurityGroupsを設定していない場合はリモートアクセスをしない	-	-	○	-
0.0.0.0/0からの暗黙のSSHアクセスを許可していない	-	-	-	○
サポートされているKubernetes version	-	-	-	○

tflintだけ毛色が違う指摘でベストプラクティスというよりplan,applyが通るかを見てるようです。
他のtfsec, KICS、Checkovは同じような内容で大事なところは漏れなく指摘してくれています。

Route 53

tflintは求めているものとは違いそうなので、tfsecが対応していないものでkicsとcheckovを比較。

	KICS	Checkov
recordsを設定している	○	-
Aレコードにリソースがアタッチされている	-	○
パブリックホストゾーンに対してDNSSEC署名を有効化している	-	○
クエリログを有効化している	-	○

KICSよりもChekovの方が指摘事項が多くより実になる内容になっています。

DynamoDB Accelerator

あんまり使用頻度の高くないもので比較。

	KICS	Checkov
保管時の暗号化が有効	○	○
エンドポイントでTLSを利用	-	○

Route 53と同様にCheckovの方が多いです。

ドキュメントの充実度

検査項目の説明が詳しくされているか意図を汲めるか確認してみます。

tfsec

https://aquasecurity.github.io/tfsec/v1.28.1/checks/aws/eks/encrypt-secrets/

説明、影響、解決法、インセキュアな例、セキュアな例、参考リンクが記載されている。

KICS

https://docs.kics.io/latest/queries/terraform-queries/aws/63ebcb19-2739-4d3f-aa5c-e8bbb9b85281/

説明、インセキュアな例、セキュアな例が記載されている。

Chekcov

https://github.com/bridgecrewio/checkov/blob/main/checkov/terraform/checks/resource/aws/EKSSecretsEncryption.py

説明のみで詳細はPythonかYAMLのファイルを読む。

まとめ

リソースの網羅度が高く検査項目も多いCheckovを導入するのが基本的には良さそうです。ただ、tfsecやKICSと違って詳細を確認するのにコードを読む必要がありますし、OPA/Regoを使うこともできないです。しかし、Checkovの他の追随を許さないカバー力には補って余りある魅力があります。