Developers.ioの記事を読んでやってみる「AWS CloudTrailのログをAmazon Elasticsearch Serviceへ転送して可視化してみた」

対象

• AWS CloudTrailのログをAmazon Elasticsearch Serviceへ転送して可視化してみた

やってみる

前提

• パラメータ変更しない画面のSSは撮っていないです

VPC作成

• Elasticsearchと、Elasticsearchにアクセスするためのbastionを作る
• 細切れの時間で作るためにterraformで土台は作って再現可能にしておく
• VPC関連のリソース
  • VPC
  • Subnet(public/private)
  • Internet Gateway
  • Route Table(main)

Security Group作成

• これもterraformで作っておく
  • Lambda
  • Elasticsearch
  • bastion(EC2)

CloudTrailとS3作成

• これもterraformで作る
  • S3
  • CloudTrail

Elasticsearch作成

• terraformで作れそうだったけど、時間短縮のためAWSコンソールで作ってimport！
  • Elasticsearch
• terraform importの書式

$ terraform import aws_elasticsearch_domain.[resource id] [domain name]

• 上記tfファイルだと

$ terraform import aws_elasticsearch_domain.cloudtrail cloudtrail

• terraform importした後にterraform planして、足りない定義を書いていく(楽)

CloudWatch LogsからElasticsearchへログを転送

• AWSコンソールから設定

Lambda修正

• AWSコンソールから設定

Kibana設定

• kibanaはPrivate SubnetにあるのでVPN経由で接続しないと見れない

VPN

• AWSにSoftEther VPNServerで簡単にVPN接続しようを見ながらVPN設定をする

Kibanaでログを見る

• 接続！
• Index Pattern設定
• ログの確認。いろいろみえてるな・・・シークレットキーとかも。

ログの可視化

• KibanaのCloudTrail向けダッシュボードの設定をimportする
• ダッシュボードキタコレ！

感想

• 一つ一つに発見があって、もっと掘り下げないと完全に理解したとは言えないなと思いました・・