• Spot Ocean: k8s Node の Autoscaling
  • Karpenter も検討している
• EKS を AWS CDK で管理
  • TypeScript なので dev にもとっつきやすい
• Polaris で manifest のテスト https://polaris.docs.fairwinds.com/

https://developer.hatenastaff.com/entry/2022/02/03/100525

https://blog.argoproj.io/5-gitops-best-practices-d95cb0cbe9ff

https://engineering.mercari.com/blog/entry/k8s-cronjob-20200908/

https://engineering.mercari.com/en/blog/entry/20220121-securing-terraform-monorepo-ci/

• GCP では Project を作成した entity に対し、デフォルトでその Project に対する Owner 権限が付与される。 GCP Project を作成したら、 GCP Project を作成する Service Account から、その Project に対する Owner 権限を剥奪する
• 危険な provider の利用を禁止する
  • Cloud Build で使用する Docker image に予め plugin を install しておく。 terraform init で -plugin-dir を指定するようにし、 Docker image にインストールされていない plugin は使えないようにする
• CI の設定を変更するのを防ぐ
  • Cloud Build の CI の設定ファイルは GCS で管理する。 Webhook の仕組みは Cloud Function を使い、自前で実装する

https://engineering.mercari.com/blog/entry/20220124-automation-of-terraform-for-aws/

• Google Cloud Build から OIDC を使って AWS に対して Terraform を実行している
• 新しい AWS Account が作られたら CloudFormation Stack Set を実行

OU内にNewAccountが作られることをトリガーとして、同Account内のterraform-apply IAM Roleが自動的にそのOUを代表するAdmin accountのみを信頼するよう設定できるようになりました。
なお、あらかじめAdmin account は 対応するGCP ProjectをOIDCのIdPとして信頼しています

https://developer.hatenastaff.com/entry/2021/11/30/093000

https://developer.hatenastaff.com/entry/2021/10/25/093000

https://developer.hatenastaff.com/entry/2021/03/04/093000

https://developer.hatenastaff.com/entry/2021/02/18/093000

https://developer.hatenastaff.com/entry/2020/11/05/093000

https://cloud.google.com/blog/ja/products/gcp/how-to-start-and-assess-your-sre-journey

https://developer.hatenastaff.com/entry/2020/09/18/093000

https://developer.hatenastaff.com/entry/2020/08/31/093000

https://developer.hatenastaff.com/entry/2020/08/21/elasticsearch-migration

https://engineering.visional.inc/blog/302/error-budget/

https://engineer.recruit-lifestyle.co.jp/techblog/2021-07-09-migrate-letsencrypt-to-gclb-on-istio/

https://engineer.recruit-lifestyle.co.jp/techblog/2021-03-31-four-keys/

https://engineer.recruit-lifestyle.co.jp/techblog/2020-09-25-docker-build/

https://engineer.recruit-lifestyle.co.jp/techblog/2019-12-01-istio/

https://developers.freee.co.jp/entry/stopping-kubernetes-cronjob-gracefully

https://www.atlassian.com/ja/agile/kanban/wip-limits

https://itrevolution.com/24-key-capabilities-to-drive-improvement-in-software-delivery/

Go expvar

Go の Web アプリケーションのメトリックスを API で公開する

https://pkg.go.dev/expvar

https://qiita.com/methane/items/8f56f663d6da4dee9f64
https://www.klab.com/jp/blog/tech/2015/1047514565.html

https://medium.com/eureka-engineering/s3-security-case-study-6c143ae8ba11

S3 Presigned URL

https://docs.aws.amazon.com/ja_jp/AmazonS3/latest/userguide/ShareObjectPreSignedURL.html

https://qiita.com/tmiki/items/87697d3d3d5330c6fc08

https://dev.classmethod.jp/articles/lim-s3-pre-signed-urls/

S3 ACL 無効化

https://dev.classmethod.jp/articles/s3-bucket-owner-enforced/

Okta を用いたアカウント管理

https://medium.com/eureka-engineering/workdayとoktaを連携してアカウント管理運用を省力化した話-2b77f77d758d

https://engineering.mercari.com/blog/entry/sre-qray/

https://medium.com/eureka-engineering/started-to-use-ssm-session-manager-49dcd1e867a6

Tagを変更するとこの制限を突破できてしまうので、別途SCP (Service Control Policy) などでTagの変更が確実にDenyされていることを保証する必要があります。

Private Subnetにデータストア接続用の踏み台は引き続き必要だったので、EC2より管理の楽なECS on Fargateで踏み台を再構築し、ここへもSession Managerで接続させている

https://dev.classmethod.jp/articles/ecs-exec/

https://dev.classmethod.jp/articles/relay-tcp-with-socat/

https://medium.com/eureka-engineering/オンライン本人確認機能-ekyc-に-lambda-を採用した振り返り-4bbba170002

• CloudWatch Log Insight
• Serverless Framework
• Lambda から RDS に接続するのに RDS Proxy が必要
  • 202012 現在 RDS Proxy は Read/Write 構成を取ることができないので、いくら RDS Proxy があるとはいえ、参照系のクエリすらマスタを叩くことになります
• 同時実行数周りのケアについても今後はもしかしたら課題として上がってくるかもしれない

https://dev.classmethod.jp/articles/20200626-abou-rds-proxy/

https://mixi-developers.mixi.co.jp/kubeconform-2bb477371e06

kubeval と似たツールだが、 kubeval よりいくつかの点で改良されている

https://github.com/yannh/kubeconform

https://github.com/instrumenta/kubeval/

https://mixi-developers.mixi.co.jp/compare-eso-with-secret-csi-846ed8b1c9b

https://mixi-developers.mixi.co.jp/zero-downtime-upgrade-gke-nodepool-a444191adfe3

https://mixi-developers.mixi.co.jp/id-almost-broken-etcd-45da12ceac9b

https://mixi-developers.mixi.co.jp/nodelocal-dnscache-807184bf3e7c

https://kubernetes.io/ja/docs/tasks/administer-cluster/nodelocaldns/

https://creators-note.chatwork.com/entry/2021/01/05/104206

• Pod 数が増えると不安定になっていた
• conntrack table が溢れてリクエストが drop されていた
• kube-proxy の設定で conntrackのmaxを増やした
• dns-autoscaler を導入
• DNS の Pod が入れ替わるタイミングで DNS のエラーが発生するので、 node-local-dns を導入

https://www.e-agency.co.jp/column/20121225.html

https://labs.gree.jp/blog/2021/09/21360/

• GCS には組み込みキャッシュがあり、デフォルトで 1時間キャッシュされる
  • パージできない・コストがかかる

GCSをオリジンとして使う場合のポイントは、いかにGCS側の組み込みキャッシュを抑制するか

http://blog.xcir.net/?p=2806

http://blog.xcir.net/?p=2575

https://tech.gunosy.io/entry/eks_kernel

カーネルパラメータ net.core.somaxconn を増やす

https://tech.gunosy.io/entry/cue_as_yaml_template

https://tech.gunosy.io/entry/spike_scaling

速報などのプッシュ通知をメディアが送信すると一気にユーザはアプリを開くため、急激なスパイクが発生します。 そのスパイクは通常時の10倍以上のトラフィックが発生します

HPAとcluster autoscalerだけでこのスパイクは受け止められない

Push 通知を送る際に、 SNS => Lambda で HPA の minReplicas を増やしている

https://tech.gunosy.io/entry/istio-operrator-and-terraform

• istioctl ではなく、 Istio Operator でマニフェストとして管理
• istio-proxy のlifecycleの変更
  • preStop, postStart の設定

https://tech.gunosy.io/entry/opsworks_to_eks

• Autoscaling によってピーク時以外は Node 数を減らすことでコストを大幅に削減できる
• EKS への切り替えを DNS の切り替えによって段階的に行ったが、クライアントの DNS キャッシュによって古い環境へリクエストが流れていた

DNSはttlだけではなくクライアントのキャッシュなども影響があるので、 なるべくDNSでのルーティングは早めに終わらせ、ALBのWeighted Routingで検証することをオススメします

https://tech.gunosy.io/entry/amazon-athena-with-partition-projection

https://tech.gunosy.io/entry/aws-node-termination-handler-new-feature

https://github.com/aws/aws-node-termination-handler

https://tech.gunosy.io/entry/high_traffic_server_on_eks

• application container のログは fluentd をサイドカーとして動かして収集している
• appのコンテナより先に死なないようにpreStopでapiの死活を監視し、appコンテナが死んでからfluentのコンテナが落ちるようにしている

割と普通なことしかしていないが、それでもこれだけのリクエストが捌けるらしい

https://tech.gunosy.io/entry/introducing-firelens

https://tech.gunosy.io/entry/use-job-in-eks

• JobとJobにより生成されたPodが実行完了後もクラスター内に残り続け、不要なオブジェクトとしてControlPlaneのリソースを圧迫し、クラスターが不安定になった
• 事件発生の数日前に、従来より高頻度に定期実行されるデータ収集用のバッチ処理をデプロイしたことにより、自動削除が追いつかなくなった事が、本事象の顕在化の引き金
• Datadogで取得可能なTerminatedContaierをモニタリング

https://github.com/lwolf/kube-cleanup-operator

https://kubernetes.io/docs/concepts/workloads/controllers/ttlafterfinished/

TTL-after-finished Controller

https://developers.cyberagent.co.jp/blog/archives/29925/

https://developers.cyberagent.co.jp/blog/archives/27782/

https://engineer.retty.me/entry/2021/12/22/113445

https://engineer.retty.me/entry/2021/12/19/120000

https://engineer.retty.me/entry/2021/12/01/110000_1

https://blog.cybozu.io/entry/2021/11/26/075846

https://blog.cybozu.io/entry/2021/08/19/082049

PagerDuty Incident Responseには、オンコールに全員参加するのはアンチパターンだと紹介されています。 kintone.comでもオンコールは全員ではなく、限られたメンバーのみを呼び出すようにしました

https://blog.cybozu.io/entry/2021/07/19/170000

https://blog.cybozu.io/entry/2021/04/01/120312

https://blog.cybozu.io/entry/2020/11/13/082033

https://blog.cybozu.io/entry/2021/07/28/080000

• ロールバック
• Feature Flag

ロールバックもするが、大きな変更では Feature Flag をよく使う

開発環境でしばらく寝かせるということはせず、開発環境の適用後に自動テストが通過すれば、本番環境に同じコンテナイメージを適用します。
開発環境では、本番同等のリクエストを再現するのは難しいことが経験的にわかっていました。
そのため入念な試験だけでなく、問題が発生したら即座に切り戻せる仕組みに注力
各環境でコンテナイメージを統一することで管理が容易になり、Gitのソースコードがそのまま今の本番環境を表します

ロールバックだと特定の機能だけリバートするのが難しい、 Feature Flag ならそれが出来る

Feature Flag の管理はとてもシンプルで、環境変数でやっているらしい。

# V1Strategyを利用する
kubectl set env deployment/my-component MYCOMPONENT_USEV2STRATEGY=false

# V2Strategyを利用する
kubectl set env deployment/my-component MYCOMPONENT_USEV2STRATEGY=true

開発と本番で同じイメージを使うのは個人的にとても良い。

https://blog.cybozu.io/entry/2015/11/20/080000

https://zenn.dev/snagasawa/articles/8c7bba139bb17d

https://www.graat.co.jp/blogs/ck1099bcoeud60830rf0ej0ix

Monorepo 用のツールではあるが、 JavaScript や TypeScript などを想定しているようで、
自分が考えている Terraform や Lambda の Monorepo とは違いそう。

https://nx.dev/

https://github.com/lerna/lerna

https://dev.classmethod.jp/articles/amazon-route-53-alias-records/

https://cloud.google.com/blog/ja/products/application-development/google-cloud-cli-declarative-export-preview

https://zenn.dev/skanehira/articles/2020-09-19-vim-plugin-for-github

YouTubeのvideoIDが不正ですhttps://youtu.be/uIrbjKJpypA?t=138

https://speakerdeck.com/masayaaoyama/kubernetes-controller-improvements

https://deeeet.com/posts/practices-for-better-terraform-module/

https://deeeet.com/writing/2018/12/13/how-kubernetes-change-our-way-of-automation/

https://www.fraction.jp/log/archives/2022/03/28/kustomize-replacements