投稿者: 中の人

投稿日:

S3に溜めたCloudTrailログを出力してみる

１．目的

証跡ログとしてS3に出力したCloudTrailログ（gzで圧縮）の中身を確認したく，AWSコンソールからだと，いちいちファイルを選択して開く必要があります。いい方法は無いかと，ネット検索しましたら，athenaを利用すると良いようです。しかし，こちらの方法では，料金がかかるので，pythonで出力するプログラムを作成してみました。

２．システム構成図

　　　　　　　　　　　　　図A システム構成図

３．S3バケットの構造

保存先のs3バケット名は，以下の名前。
target_bucket = 'trail-test'
パスは以下のようになります。（東京リージョンのログの場合）。
target_path = 'AWSLogs/アカウントid/CloudTrail/ap-northeast-1/'
この下に yyyy/mm/dd/ファイル名.json.gzのように保存されています。

４．pythonプログラム

#!/usr/bin/env python3.8
import boto3
import gzip
import io
import sys
import os
import traceback
import json

target_bucket = 'trail-test'
target_path = 'AWSLogs/123456789012/CloudTrail/ap-northeast-1/2024/07/22'

def main():
  try:
    s3 = boto3.resource('s3')
    s3client = boto3.client('s3')
    my_bucket = s3.Bucket(target_bucket)
    f = open("22.json","w+")
    decoder = json.JSONDecoder()
    for object in my_bucket.objects.all():
      if target_path in object.key:
        obj = s3client.get_object(
          Bucket=target_bucket,
          Key=object.key)['Body'].read()
        file = gzip.open(io.BytesIO(obj), 'rt')
        for row in file.readlines():
          str_t = decoder.raw_decode(row)
          str_s = json.dumps(str_t,indent=2,ensure_ascii=False)
          str_s = str_s[1:-1]
          f.write(str_s)
    f.close()

  except json.decoder.JSONDecodeError as ex:
    err_message = ex.__class__.__name__
    t = traceback.format_exception_only(type(ex), ex)
  except Exception as ex:
    err_message = ex.__class__.__name__
    t = traceback.format_exception_only(type(ex), ex)
    print(t,err_message)
    sys.exit(1)

if __name__ == '__main__':
  main()
説明

target_path = 'AWSLogs/123456789012/CloudTrail/ap-northeast-1/2024/07/22'
ログの量が大量なので日付を指定して取得するようにしました。
月単位であれば、　2024/07　で大丈夫ですが，時間がかかると思います。

f = open("22.json","w+")        ログを出力するファイル名
for object in my_bucket.objects.all(): 
　　　バケット配下のすべてのファイルを取得

if target_path in object.key:
　取得したファイルパス(object.key)が出力したい対象のパス(target_path)を含んでいたら取得対象のファイルとする。それ以外は，取得しない（何もしない）。

obj = s3client.get_object(
         Bucket=target_bucket,
         Key=object.key)['Body'].read()
オブジェクト（ファイル）を取得

file = gzip.open(io.BytesIO(obj), 'rt')
取得したファイル（json.gz)を開く

５．見直し後のpythonプログラム

このままでは、ログを取得するのに時間がかかるので、処理を見直しました。

保存先のs3バケット名は，以下の名前。
target_bucket = 'trail-test'
target_path = 'AWSLogs/アカウントid/CloudTrail/ap-northeast-1/'
この下に yyyy/mm/dd/ファイル名.json.gzのように保存されています。
見直した箇所

for object in my_bucket.objects.all():　すべて取得から
objects.filter(prefix=target_path)で、上記パスの下のオブジェクトを取得
for object in my_bucket.objects.filter(Prefix=target_path):
#!/usr/bin/env python3.8
import boto3
import gzip
import io
import sys
import os
import traceback
import json

target_bucket = 'trail-test'
target_path = 'AWSLogs/123456789012/CloudTrail/ap-northeast-1/2024/07/22'

def main():
  try:
    s3 = boto3.resource('s3')
    s3client = boto3.client('s3')
    my_bucket = s3.Bucket(target_bucket)
    f = open("22.json","w+")
    decoder = json.JSONDecoder()
    for object in my_bucket.objects.filter(Prefix=target_path):
      obj = s3client.get_object(
        Bucket=target_bucket,
        Key=object.key)['Body'].read()
      file = gzip.open(io.BytesIO(obj), 'rt')
      for row in file.readlines():
        str_t = decoder.raw_decode(row)
        str_s = json.dumps(str_t,indent=2,ensure_ascii=False)
        str_s = str_s[1:-1]
        f.write(str_s)
    f.close()

  except json.decoder.JSONDecodeError as ex:
    err_message = ex.__class__.__name__
    t = traceback.format_exception_only(type(ex), ex)
  except Exception as ex:
    err_message = ex.__class__.__name__
    t = traceback.format_exception_only(type(ex), ex)
    print(t,err_message)
    sys.exit(1)

if __name__ == '__main__':
  main()
出力したファイル(22.json)の中身（一部分）早くなりました。
{
    "Records": [
      {
        "eventVersion": "1.09",
        "userIdentity": {
          "type": "AWSService",
          "invokedBy": "cloudtrail.amazonaws.com"
        },
        "eventTime": "2024-07-22T00:01:06Z",
        "eventSource": "s3.amazonaws.com",
        "eventName": "PutObject",
        "awsRegion": "ap-northeast-1",
        "sourceIPAddress": "cloudtrail.amazonaws.com",
        "userAgent": "cloudtrail.amazonaws.com",
        "requestParameters": {
          "bucketName": "cloudtrail-log-123456789012",
          "x-amz-acl": "bucket-owner-full-control",
eventNameと eventTime　eventSourceのみを抽出
grep -e eventName -e eventTime -e eventSource 22.json
        "eventTime": "2024-07-22T00:01:06Z",
        "eventSource": "s3.amazonaws.com",
        "eventName": "PutObject",
        "eventTime": "2024-07-22T00:01:05Z",
        "eventSource": "dynamodb.amazonaws.com",
        "eventName": "DescribeStream",
        "eventTime": "2024-07-22T00:01:23Z",
        "eventSource": "s3.amazonaws.com",
        "eventName": "PutObject",
　　　　　"eventTime": "2024-07-22T00:00:26Z",
        "eventSource": "sts.amazonaws.com",
        "eventName": "AssumeRole",
        "eventTime": "2024-07-22T00:00:41Z",
        "eventSource": "sts.amazonaws.com",
        "eventName": "AssumeRole",
        "eventTime": "2024-07-22T00:01:01Z",
        "eventSource": "s3.amazonaws.com",
        "eventName": "GetBucketAcl",
投稿日:

AWS CLI filterとqueryを同時に指定する方法を理解する

AWS CLIコマンドは色々な情報を取得できたり、設定できたります。--filterオプションと--queryオプションを同時に指定することで、特定した情報を取得できます。
EXCELの行と列を指定して、取り出したい項目を特定する事と同様の結果を得れます。
　　　　　　　　　　図A AWSシステム構成図

1. aws ec2 describe-instances コマンドにfiltersとqueryオプションを利用しよう

aws ec2 describe-instancesコマンドを実行すると、リージョンにあるすべてのインスタンス情報が出力されます。特定のインスタンスに絞りたい場合にfiltersオプションを使用し，かつ，特定の項目のみ出力したい場合は、queryオプションも同時に指定します。
https://docs.aws.amazon.com/cli/latest/reference/ec2/describe-instances.html
にあるように、queryで出力したい項目を，きちんと書かないと機能しません。
The following describe-instances examples use the --query parameter to display only the instance and subnet IDs for all instances, in JSON format.
Exsample8　インスタンスタンスIDと，サブネットIdのみを出力
    --query 'Reservations[*].Instances[*]{Instance:InstanceId,Subnet:SubnetId}'
Exsample10 インスタンスId，アベイラビリティゾーン，Name Tagの値
--query 'Reservations[*].Instances[*].{Instance:InstanceId,AZ:Placement.AvailabilityZone,Name:Tags[?Key==`Name`]|[0].Value}'
コマンド例　コマンド実行結果のjson形式を jqで成形します。

例1　インスタンスタイプ(t3a.micro)を抽出し，そのフィールドを出力
aws ec2 describe-instances \
 --filters Name=instance-type,Values=t3a.micro \
 --query 'Reservations[*].Instances[*].{Type:InstanceType}' | jq .

例2　インスタンスタイプ(t3a.micro)のみ抽出し，インスタンスタイプ，Name Tagを出力
aws ec2 describe-instances \
 --filters Name=instance-type,Values=t3a.micro \
 --query 'Reservations[*].Instances[*].{Type:InstanceType,Name:Tags[?Key==`Name`].Value}' | jq .

例3　インスタンスタイプ(t3a.micro 又は t3.micro)を抽出し，インスタンスタイプ，Name Tagを出力
aws ec2 describe-instances \
 --filters Name=instance-type,Values=t3a.micro,t3.micro \
 --query 'Reservations[*].Instances[*].{Type:InstanceType,Name:Tags[?Key==`Name`].Value}' | jq .


例4　インスタンスの状態(running 又は stopped)を抽出し，インスタンスタイプ，Name Tag，状態(State)を出力
aws ec2 describe-instances \
 --filters Name=instance-state-name,Values=running,stopped \
--query 'Reservations[*].Instances[*].{Type:InstanceType,Name:Tags[?Key==`Name`].Value,State:State.Name}' | jq .

例5　インスタンスの状態(running 又は stopped)を抽出し，インスタンスタイプ，プラットフォームOS，Name Tag，状態(State)を出力
aws ec2 describe-instances \
 --filters Name=instance-state-name,Values=running,stopped \
 --query 'Reservations[*].Instances[*].{Type:InstanceType,OS:PlatformDetails,Name:Tags[?Key==`Name`].Value,State:State.Name}' | jq .
例6　インスタンスタイプ(t3.micro)で，かつ，インスタンスがstopedを抽出し，インスタンスタイプ，Name Tag，状態(State)を出力
aws ec2 describe-instances \
 --filters Name=instance-type,Values=t3.micro \
 Name=instance-state-name,Values=stopped \
 --query 'Reservations[*].Instances[*].{Type:InstanceType,Name:Tags[?Key==`Name`
].Value,State:State.Name}' | jq .

例7　インスタンスタイプ(t3.micro)で，かつ，インスタンスがstopedを抽出し，インスタンスタイプ，プラットフォームOS，Name Tag，状態(State)を出力
aws ec2 describe-instances \
 --filters Name=instance-type,Values=t3.micro \
 Name=instance-state-name,Values=stopped \
 --query 'Reservations[*].Instances[*].{Type:InstanceType,OS:PlatformDetails,Name:Tags[?Key==`Name`].Value,State:State.Name}' | jq .

例1　インスタンスタイプ(t3a.micro)のみ抽出し，インスタンスタイプのフィールドのみ出力の実行結果　一部のみ掲載
[
  [
    {
      "Type": "t3a.micro"
    }
  ],
  [
    {
      "Type": "t3a.micro"
    }
  ]

例2　インスタンスタイプ(t3a.micro)のみ抽出し，インスタンスタイプ，Name Tagを出力の実行結果　一部のみ掲載
[
    [
        {
            "Type": "t3a.micro",
            "Name": [
                "Ama-linux2-kami"
            ]
        }
    ],
    [
        {
            "Type": "t3a.micro",
            "Name": [
                "Ama_linux2_Redmine_MySQL"
            ]
        }
    ]
例3　インスタンスタイプ(t3a.micro 又は t3.micro)を抽出し，インスタンスタイプ，Name Tagを出力の実行結果　一部のみ掲載
[
    {
      "Type": "t3.micro",
      "Name": [
        "kamishita-docker-python"
      ]
    }
  ],
  [
    {
      "Type": "t3a.micro",
      "Name": [
        "Ama_linux2_Redmine_MySQL"
      ]
    }
  ]
例4　インスタンスの状態(running 又は stopped)を抽出し，インスタンスタイプ，Name Tag，状態(State)を出力の実行結果　一部のみ掲載
  [
    {
      "Type": "t3a.micro",
      "Name": [
        "Ama_linux2_Redmine_MySQL"
      ],
      "State": "running"
    }
  ],
  [
    {
      "Type": "t3a.micro",
      "Name": [
        "kamishita_linux2023_private"
      ],
      "State": "stopped"
    }
  ]

例5　インスタンスの状態(running 又は stopped)を抽出し，インスタンスタイプ，プラットフォームOS，Name Tag，状態(State)を出力の実行結果　一部のみ掲載
    {
      "Type": "t3a.micro",
      "OS": "Linux/UNIX",
      "Name": [
        "Ama_linux2_Redmine_MySQL"
      ],
      "State": "running"
    }
  ],
  [
    {
      "Type": "t3a.micro",
      "OS": "Linux/UNIX",
      "Name": [
        "debug-docker-kami"
      ],
      "State": "stopped"
    }
  ]
例6　インスタンスタイプ(t3.micro)で，かつ，インスタンスがstopedを抽出し，インスタンスタイプ，Name Tag，状態(State)を出力の実行結果
[
  [
    {
      "Type": "t3.micro",
      "Name": [
        "kamishita-docker-python"
      ],
      "State": "stopped"
    }
  ],
  [
    {
      "Type": "t3.micro",
      "Name": [
        "kamishita_Public_AMA2023"
      ],
      "State": "stopped"
    }
  ]
]

例7　インスタンスタイプ(t3.micro)で，かつ，インスタンスがstopedを抽出し，インスタンスタイプ，プラットフォームOS，Name Tag，状態(State)を出力の実行結果
[
  [
    {
      "Type": "t3.micro",
      "OS": "Linux/UNIX",
      "Name": [
        "kamishita-docker-python"
      ],
      "State": "stopped"
    }
  ],
  [
    {
      "Type": "t3.micro",
      "OS": "Linux/UNIX",
      "Name": [
        "kamishita_Public_AMA2023"
      ],
      "State": "stopped"
    }
  ]
]
投稿日:

AWS CLI filterを理解する

AWS CLIコマンドは色々な情報を取得できたり、設定できたります。--filterオプションを指定することで、限定した情報を取得できます。

1. AWS CLIコマンドのバージョンアップをしよう

AWS CLIコマンドをバージョンアップしましょう。以下のコマンドで可能です
curl https://awscli.amazonaws.com/awscli-exe-linux-x86_64.zip -o "awscliv2.zip"
unzip -q awscliv2.zip
sudo ./aws/install --update　
aws --version
aws-cli/2.17.17 Python/3.11.8 Linux/5.10.218-208.862.amzn2.x86_64 exe/x86_64.amzn.2
#2024/07/25現在バージョンは、2.17.17のようです。日々更新されます。
インストール（update)すると
/usr/local/aws-cli/v2/にインストールされます。
(myapp) [v2]$pwd
/usr/local/aws-cli/v2
(myapp) [v2]$ls -al
total 0
drwxr-xr-x 11 root root 148 Jul 25 08:48 .
drwxr-xr-x  3 root root  16 Mar  2  2022 ..
drwxr-xr-x  4 root root  29 Jul 15 09:47 2.17.11
drwxr-xr-x  4 root root  29 Jul 16 08:40 2.17.12
drwxr-xr-x  4 root root  29 Jul 17 09:07 2.17.13
drwxr-xr-x  4 root root  29 Jul 19 09:04 2.17.14
drwxr-xr-x  4 root root  29 Jul 25 09:04 2.17.17
lrwxrwxrwx  1 root root  29 Jul 25 08:48 current -> /usr/local/aws-cli/v2/2.17.17
current 以外はいらないのでバージョンアップ後は、消去しまょう。
cd /usr/local/aws-cli/v2
sudo rm -rf 2.17.1[1-4]*
(myapp) [v2]$ls -al
total 0
drwxr-xr-x 3 root root 36 Jul 25 15:00 .
drwxr-xr-x 3 root root 16 Mar  2  2022 ..
drwxr-xr-x 4 root root 29 Jul 25 08:48 2.17.17
lrwxrwxrwx 1 root root 29 Jul 25 08:48 current -> /usr/local/aws-cli/v2/2.17.17
　　　　　　　　　　　　　　図A　AWS構成図

2. aws ec2 describe-instances コマンドにfiltersオプションを利用しよう

aws ec2 describe-instancesコマンドを実行すると、リージョンにあるすべてのインスタンス情報が出力されます。特定のインスタンスに絞りたい場合にfiltersオプションを使用します。
https://docs.aws.amazon.com/cli/latest/reference/ec2/describe-instances.html
にあるように、filtersのformatをきちんと書かないと機能しません。
例　インスタンスタイプを指定
instance-type - The type of instance (for example, t2.micro ).
例　インスタンスの状態を指定
instance-state-name - The state of the instance (pending | running | shutting-down | terminated | stopping | stopped ).
コマンド実行例(コマンド実行結果のjson形式を jqで成形しています。
例1　インスタンスタイプ(t3a.micro)のみを出力
aws ec2 describe-instances \
 --filters Name=instance-type,Values=t3a.micro　| jq .

例2　インスタンスタイプ(t3a.micro 又は t3.micro)を出力
aws ec2 describe-instances \
 --filters Name=instance-type,Values=t3a.micro,t3.micro | jq .

例3　インスタンスの状態(running 又は stopped)を出力
aws ec2 describe-instances \
 --filters Name=instance-state-name,Values=running,stopped | jq .
コマンド実行結果
例1　インスタンスタイプ(t3a.micro)のみを出力
一部分のみ掲載
{
  "Reservations": [
    {
      "Groups": [],
      "Instances": [
        {
          "AmiLaunchIndex": 0,
          "ImageId": "ami-08a8688fb7eacb171",
          "InstanceId": "i-05675b6cc326f4f74",
          "InstanceType": "t3a.micro",
          "KeyName": "xxxxxxxx",
          "LaunchTime": "2024-04-02T05:17:12+00:00",
          "Monitoring": {
            "State": "disabled"
          },
          "Placement": {
            "AvailabilityZone": "ap-northeast-1a",
            "GroupName": "",
            "Tenancy": "default"
          },
          "PrivateDnsName": "ip-10-128-1-247.ap-northeast-1.compute.internal",
          "PrivateIpAddress": "10.128.1.247"
"Tags": [$
            {$
              "Key": "Name",$
              "Value": "kami_linux2023_private"$
            }$
          ]


例2　インスタンスタイプ(t3a.micro 又は t3.micro)を出力
一部分のみ掲載
{
    "Reservations": [
        {
            "Groups": [],
            "Instances": [
                {
                    "AmiLaunchIndex": 0,
                    "ImageId": "ami-08a8688fb7eacb171",
                    "InstanceId": "i-05675b6cc326f4f74",
                    "InstanceType": "t3a.micro",
                    "KeyName": "xxxxxxxx",
                    "LaunchTime": "2024-04-02T05:17:12+00:00",
                    "Monitoring": {
                        "State": "disabled"
            {
      "Groups": [],
      "Instances": [
        {
          "AmiLaunchIndex": 0,
          "ImageId": "ami-0310b105770df9334",
          "InstanceId": "i-018e4c7f659184e7f",
          "InstanceType": "t3.micro",
          "KeyName": "xxxxxxx",
          "LaunchTime": "2023-09-03T03:38:58+00:00",
          "Monitoring": {
            "State": "disabled"
          },

例3　インスタンスの状態(running 又は stopped)を出力
一部分のみ掲載
{
  "Reservations": [
    {
      "Groups": [],
      "Instances": [
        {
          "AmiLaunchIndex": 0,
          "ImageId": "ami-0d7ed3ddb85b521a6",
          "InstanceId": "i-0e94a2aa06d28736e",
          "InstanceType": "t2.micro",
          "ProductCodes": [],
          "PublicDnsName": "",
          "State": {
            "Code": 80,
            "Name": "stopped"
          }
    {
      "Groups": [],
      "Instances": [
        {
          "AmiLaunchIndex": 0,
          "ImageId": "ami-00293610a82b21a10",
          "InstanceId": "i-02198703d20356dba",
          "InstanceType": "t3a.micro",
          "KeyName": "xxxxxxxx",
          "LaunchTime": "2024-07-24T23:24:21+00:00",
          "Monitoring": {
            "State": "disabled"
          },
          "Placement": {
            "AvailabilityZone": "ap-northeast-1a",
            "GroupName": "",
            "Tenancy": "default"
          "State": {
            "Code": 16,
            "Name": "running"
          },
コマンド実行例
例4　インスタンスタイプ(t3.micro) かつ　stoppedのインスタンスを出力
aws ec2 describe-instances \
 --filters Name=instance-type,Values=t3.micro \
 Name=instance-state-name,Values=stopped | jq .

コマンド実行結果
例4　インスタンスタイプ(t3.micro) かつ　stoppedのインスタンスを出力
一部分のみ掲載
{
  "Reservations": [
    {
      "Groups": [],
      "Instances": [
        {
          "AmiLaunchIndex": 0,
          "ImageId": "ami-004a6f4a292bb996e",
          "InstanceId": "i-0e2c92ce760e2e474",
          "InstanceType": "t3.micro",
          "KeyName": "xxxxxxxx",
          "LaunchTime": "2024-07-29T02:39:09+00:00",
          "Monitoring": {
            "State": "disabled"
          },
          "Placement": {
            "AvailabilityZone": "ap-northeast-1a",
            "GroupName": "",
            "Tenancy": "default"
          },
          "PrivateIpAddress": "10.128.1.151",
          "ProductCodes": [],
          "PublicDnsName": "",
          "State": {
            "Code": 80,
            "Name": "stopped"
          }
投稿日:

ECS(Fargate)にログインする　その２

ECS(Fargate)を作成(Deploy)して、そのコンテナの設定内容(どのRDSを利用しているのか?database.yml)を確認したい！。下記のようなシステム構成で、EC2から、fargateにログインして、直接ファイルの中身を確認できます。
　　　　　　　　　　　　　　図A システム構成
Fargateのコンテナにログイン！。Dockerにログインする以下のコマンド
%docker container exec -it コンテナ名 bash
ecskツールをインストールすることで可能になります。
参考　URL
https://github.com/yukiarrr/ecsk/blob/main/README.ja.md

１．ecskツールをEC2(Amazon linux2)にインストールする

wget https://github.com/yukiarrr/ecsk/releases/download/v0.9.1/ecsk_Linux_x86_64.tar.gz
tar zxvf ecsk_Linux_x86_64.tar.gz
chmod +x ./ecsk
sudo mv ./ecsk /usr/local/bin/ecsk

2. ecskコマンドを実行

ecsk exec -i -- /bin/bash　コマンド実行（インタラクティブモードです）
コマンドを実行すると、クラスター名の入力を催促されます。
クラスター名(redmine-cluster3)を入力すると、タスク名の入力を催促されます。
タスク名(redmine3-tast-defnition)(redmine3でもOK)を入力すると、コンテナ名の入力を催促されます。
コンテナ名(redmine)を入力。Fargateにログイン完了！！
Fargateのコンテナ(redmine)にログインして
cd config
more database.yml
で、データベース定義の中身を確認できました。

3. 前提条件

前々回ECS(Fargate)にログインするの　2,3,4の設定が必要です。
投稿日:

aws backupをAWS CLIコマンドで実行する

aws backupをec2(Amazon Linux2)AWS CLIコマンドで実行する
　　　　　　　　　　　　　　図A システム構成図

1. バックアップボールトの作成

aws コンソールでバックアップボールトを作成する。kmsキーの設定もお忘れなく
　　　　　　　　　　　　　　図Bバックアップボールドの作成

2. 実行ロールの作成

実行に必要なロールを作成します。
https://docs.aws.amazon.com/ja_jp/aws-backup/latest/devguide/iam-service-roles.html
上記URLに記載があるように、次のポリシー２つをアタッチしたロールを作成
・AWSBackupServiceRolePolicyForBackup
・AWSBackupServiceRolePolicyForRestores

3. AWS CLIコマンドの作成

実行するコマンドスクリプトを作成します。
aws backup start-backup-job --backup-vault-name バックアップボールド名 \
--resource-arn arn:aws:ec2:ap-northeast-1:123456789012:instance/インスタンスid
 \
--iam-role-arn arn:aws:iam::123456789012:role/作成したロール名  \
--region ap-northeast-1
作成したスクリプトを実行させます。今回は，単独のEC2をバックアップします。
IsParent  複合ジョブ
This is a boolean value indicating this is a parent (composite) backup job.
$./aws_backup
{
    "BackupJobId": "9905344f-40b9-4a35-941e-40bae97adf99",
    "CreationDate": "2024-01-12T13:44:12.548000+09:00",
    "IsParent": false
}
バックアップボールドの設定や，権限の設定が間違っている場合は，実行すると，以下のようなメッセージが出ます。
$./aws_backup

An error occurred (AccessDeniedException) when calling the StartBackupJob operation: Insufficient privileges to perform this action.
正常に実行したジョブの状態を出力します。
$aws backup describe-backup-job --backup-job-id 9905344f-40b9-4a35-941e-40bae97adf99
{
    "AccountId": "123456789012",
    "BackupJobId": "9905344f-40b9-4a35-941e-40bae97adf99",
    "BackupVaultName": "backp_xxxx",
    "BackupVaultArn": "arn:aws:backup:ap-northeast-1:123456789012:backup-vault:backp_xxxx",
    "RecoveryPointArn": "arn:aws:ec2:ap-northeast-1::image/ami-xxxxxxxxxxxxxxxxx",
    "ResourceArn": "arn:aws:ec2:ap-northeast-1:123456789012:instance/i-xxxxxxxxxxxxxxxxx",
    "CreationDate": "2024-01-12T13:44:12.548000+09:00",
    "CompletionDate": "2024-01-12T13:48:18.497000+09:00",
    "State": "COMPLETED",
    "PercentDone": "100.0",
    "BackupSizeInBytes": 32212254720,
    "IamRoleArn": "arn:aws:iam::123456789012:role/backup-xxxx-role",
    "ResourceType": "EC2",
    "BytesTransferred": 0,
    "StartBy": "2024-01-12T21:44:12.548000+09:00",
    "IsParent": false,
    "ResourceName": "Ama_linux2_xxxxxx",
    "InitiationDate": "2024-01-12T13:44:12.835000+09:00",
    "MessageCategory": "SUCCESS"
}

4. awsコンソールでバックアップの確認

awsコンソールで実行したジョブを確認します。
aws backupコンソール画面のジョブをクリックします。
　　　　　　　　　　　　　　図C バックアップジョブの確認

5. awsコンソールでバックアップボールトの確認

　　　　　　　　　　　　図D バックアップボールトが作成されている
投稿日:

ECS(Fargate)にログインする

　　　　　　　　　　　　　　　図A システム構成図
%docker container exec -it コンテナ名 bash
のようなことが、ECS Execの機能を利用してFargateでも可能です。

1. ECS Execの仕組み

ECS ExecはSystems Manager Session Managerの機能を利用して実現しています。 ECS Execは追加費用なしで利用が可能です

2. 必要なツール

(1)AWS CLI

%curl https://awscli.amazonaws.com/awscli-exe-linux-x86_64.zip -o "awscliv2.zip"
%unzip awscliv2.zip
%sudo ./aws/insstall 又は
%sudo ./aws/insstall --update　　# updateの場合

(2)Session Manager plugin for the AWS CLI

%curl "https://s3.amazonaws.com/session-manager-downloads/plugin/latest/linux_64bit/session-manager-plugin.rpm" -o "session-manager-plugin.rpm"
%sudo yum install -y session-manager-plugin.rpm
  以下のコマンドを実行
  session-manager-plugin
  The Session Manager plugin was installed successfully. Use the AWS CLI to start a session.　と出力されれば、OK
##amazon Linux2の場合です。他のディストリビューションは未調査です。

3. 必要な権限

(1)ECSのタスクロールに以下の権限を追加(ecsTaskExecutionRole)にカスタムポリシーとして追加

{  
 "Version": "2012-10-17",  
 "Statement": [  
     {  
     "Effect": "Allow",  
     "Action": [  
          "ssmmessages:CreateControlChannel",  
          "ssmmessages:CreateDataChannel",  
          "ssmmessages:OpenControlChannel",  
          "ssmmessages:OpenDataChannel"  
     ],  
    "Resource": "*"  
    }  
 ]  
}

(2) fargateにログインするEC2に権限を追加

{  
  "Version": "2012-10-17",  
  "Statement": [  
      {  
          "Effect": "Allow",  
          "Action": [  
              "ecs:ExecuteCommand",  
              "ssm:StartSession",  
              "ecs:DescribeTasks"  
          ],  
          "Resource": "*"  
      }  
  ]  
}

4. タスクとサービスに対する ECS Execの有効確認

以下のコマンドでタスクをサービスに対するECS Execが有効化どうか確認
%aws ecs describe-services \
--cluster クラスター名 \
--services サービス名 | grep enableExecuteCommand
"enableExecuteCommand": true であれば OK

trueでない場合は、trueにする以下のコマンドを実行
%aws ecs update-service \
--cluster クラスター名 \
--service サービス名 \
--enable-execute-command 

変更した場合は、fargateを再起動する必要があります。
　　　　　　　　　　　　　　　図 B タスクの再起動

5. fargateにログインする為にタスク名とコンテナ名の取得します

%aws ecs list-tasks --cluster クラスター名 --query "taskArns[]" --output text
arn:aws:ecs:ap-northeast-1:123456789012:task/xxxxx-cluster/xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx

%aws ecs describe-tasks --cluster クラスター名 --tasks  上記コマンドで出力されたタスク名  --query "tasks[].containers[].name" --output text

6. Fargateにログインします

%aws ecs execute-command --cluster クラスター名 \
    --task タスク名 \
    --container コンテナ名 \
    --interactive \
    --command "/bin/bash" \
　　　　　　　　　　　　　　図C fargateにログイン
fargateにログインできました。コマンド一発とはならないですが、目的は達成！
docker container exec -it コンテナ名 bash　と同じことができました。
何故、fargateにログインしたかったか？
コンテナ(今回はRedmine)のデータベース環境database.yml、mail送信環境のconfigration.ymlの中身を確認したかったからです。
投稿日:

ＥＣ２インスタンスの停止保護(無効化/有効化)をAWS CLIとプログラム(Python)で実行してみる

EC2インスタンスの停止保護無効化、有効化をAWS CLIとpythonで実行してみる
　　　　　　　　　　　　　　図A AWS　構成図

１．AWS CLIで実行してみる（無効化）

    aws ec2 modify-instance-attribute \
    --instance-id i-xxxxxxxxxxyyyyyyy \
    --no-disable-api-stop
    　　　　　　　　　　　　　図Bインスタンスの停止保護(AWSコンソール)

    2．AWS CLIで実行してみる（有効化）

    aws ec2 modify-instance-attribute \
    --instance-id i-xxxxxxxxxxyyyyyyy \
    --disable-api-stop
    　　　　　　　　　　　　　　図C インスタンスの停止保護(AWSコンソール)

    3．Pythonで実行してみる（無効化）

    #!/usr/bin/python3.8
import sys
import boto3
import botocore
import os
import traceback
def get_abc():
        try:
                client = boto3.client('ec2')
                response = client.modify_instance_attribute(
                InstanceId='i-xxxxxxxxxxxyyyyyy',
                DisableApiStop={
                        'Value': False,
                },
                )
                return(response)
        except Exception as ex:
                err_message = ex.__class__.__name__
                t = traceback.format_exception_only(type(ex), ex)
                print(t,err_message)
                sys.exit(1)

if __name__ == '__main__':
        response = get_abc()
        print('status=',response['ResponseMetadata']['HTTPStatusCode'])
        print('date',response['ResponseMetadata']['HTTPHeaders']['date'])
        print('server=',response['ResponseMetadata']['HTTPHeaders']['server'])

    4．注意事項

    boto3を最新にupdateしないと、エラーになることがあります。
pip3 install -U boto3 
2023/12/07時点では　boto3-1.33.8　のようです

    5．実行結果

    status= 200
date Thu, 07 Dec 2023 04:56:22 GMT
server= AmazonEC2
    response(実行結果)はdictで返却されます。HTTPStatusCode=200が返却されれば
成功です。HTTPStatusCode,date,serverを出力しています。

    6. おまけ

    停止保護有効化したインスタンスを停止させようとすると、エラーになります。
    "botocore.exceptions.ClientError: An error occurred (OperationNotPermitted) when calling the StopInstances operation: The instance 'i-xxxxxxxxxyyyyy' may not be stopped. Modify its 'disableApiStop' instance attribute and try again.\n"] ClientError
    投稿日:

    AWS ECSサービスを構築しよう(その２)

    ECSサービス構築の二回目です。前回は，ECRに登録するdockerイメージをコンテナから作成するところまででした。今回は，ECRリポジトリーに登録，ECSサービスの構築手順です。
    　　　　　　　　　　　　図A　利用するAWSリソースと構成図

    1. ECRにリポジトリ作成

    作成したコンテナイメージを、コンテナレジストリのフルマネージドサービスである Amazon Elastic Container Registry (Amazon ECR) にアップロード(Push)します。
作成したコンテナイメージを、コンテナレジストリで一元管理することで、様々なコンテナ実行環境で利用しやすくなるメリットがあります。AWS コンソールにログインして，ECRリポジトリを作成します。
引用url ECRとは
    　　　　　　　　　　　　　　　図B　リポジトリ作成
    このuriをコピーして，メモしておきます。後で、イメージのtag付けに必要になります。

    1.2. EC2クライアントからECRにログインする

    EC2クライアントから，ECRにpushする為に，ECRにログインする必要があります。ログイン用のスクリプトを作成します(login.sh)。そのスクリプトを利用してECRにログインします。
参照した　URL　AWS ECRにdockerイメージを登録する
    aws ecr get-login --no-include-email --region ap-northeast-1 > login.sh　←一行です
[ec2-user@ip-10-128-1-19 ECR]$ bash ./login.sh
WARNING! Using --password via the CLI is insecure. Use --password-stdin.
WARNING! Your password will be stored unencrypted in /home/ec2-user/.docker/config.json.
Configure a credential helper to remove this warning. See
https://docs.docker.com/engine/reference/commandline/login/#credentials-store

Login Succeeded ←　これが出ればログイン成功

    前回作成したイメージから，ECR登録用のイメージtagを作成します。先ほど，コピーしておいた，uriが必要になります。
(123456789012はアカウントID)
    docker tag redminesql:latest \
123456789012.dkr.ecr.ap-northeast-1.amazonaws.com/redmine6:latest

    ECRにイメージをpushします
(123456789012はアカウントID)
    docker push 123456789012.dkr.ecr.ap-northeast-1.amazonaws.com/redmine6:latest　← 一行です

    これで，ECRのリポジトリにdockerイメージの登録が完了しました。
図AのECR Registoryです。

    2. ECSサービスの構築

    ECSサービスの構築は，ECSクラスターの作成，タスクの定義，サービスの作成という手順で行います。

    2.1 ECSクラスターの作成

    ECS クラスターは、コンテナを動かすための論理的なグループです。ECS を操作するために、まずは ECS クラスターを作成します。AWSコンソールから，クラスターの作成を行います。
ecs→クラスターの作成をクリックします。設定内容は，クラスター名，実行するVPC，サブネットです。
引用url ECSクラスターの作成
    　　　　　　　　　　　　図C　ECSクラスターの作成1
    　　　　　　　　　　　　　　図D　ECSクラスターの作成2

    2.2. タスク定義

    タスク定義とは、アプリケーションを動かすために、どのようにコンテナを動かすか、コンテナの動作を定義したものです。 例えば、コンテナイメージの種類、アプリケーションが利用するポート、コンテナが利用するデータボリュームなどを指定できます。
コンテナを動かす際のブループリントとして機能します。タスク定義をawsコンソールから行います。設定内容は，タスク定義名，ECRのuri，コンテナのlistenポート番号，動作させるサーバ（今回はFargate）です。
引用 URL タスク定義
    　　　　　　　　　　　　　　図E　タスク定義1
    　　　　　　　　　　　　　　図F　タスク定義2
    　　　　　　　　　　　　　　図G　タスク定義3
    　　　　　　　　　　　　　　図H　タスク定義4

    2.3. サービスの作成

    サービスとは、ECS 上でコンテナを動かすときに利用する概念の一つです。
サービスを使用すると、 Amazon ECS クラスターで、指定した数のコンテナ群(タスク)を維持できます。作成するサービスの定義をします。設定内容は，タスク定義の選択，サービス名，実行するVPC，サブネット，セキュリティグループ，ALBです。
引用url サービスとは
    　　　　　　　　　　　　　　図I　サービス作成1
    　　　　　　　　　　　　　　図J　サービス作成2
    　　　　　　　　　　　　　　図K　サービス作成3
    　　　　　　　　　　　　　　図L　サービス作成4
    　　　　　　　　　　　　　　図M　サービス作成5
    　　　　　　　　　　　　　　　　　図N　サービス作成6

    3.サービスの実行

    サービスの作成に成功したら，サービスを実行します。作成したサービスを選択する。ネットワーキングをクリック。オープンアドレス(ALBのアドレス）をクリックです。
    　　　　　　　　　　　　　　図O　サービスの実行1
    　　　　　　　　　　　　　　図P　サービスの実行2
    　　　　　　　　　　　　　　図Q　サービスの実行3
    　　　　　　　　　　　　　　図R　サービスの実行4
    ALB経由で，Fargateコンテナのredmineログイン画面が出れば作成完了です。
    投稿日:

    AWS　ECSサービスを構築しよう(その１)

    Redmine4.2と，依存関係でDBが必要なので，mariaDB(10.11.2)(MySQL系)2つのdockerコンテナを作成します。Redmineコンテナ起動後にwebhookというpluginをインストール，更にDBをRDS(mySQL)に変更後，作成したコンテナからイメージを作成し，ECRに登録します。そのイメージからECSサービスをデプロイします。今回は，ECRに登録するイメージを作成するまでの手順です。

    1. 利用するAWSのリソースと作成するシステム構成図

    　　　　　　　　　　　　　図A　システム構成図

    2. Docker環境構築

    EC2(図AのDockerコンテナ)にdocker，docker-composeをインストールして，dockerが動作する環境を構築します。
    #Dockerのインストール
sudo yum install -y docker
sudo systemctl start docker
sudo usermod -a -G docker ec2-user
#自動起動を有効にする
sudo systemctl enable docker
#docker-composeのインストール
sudo curl -L https://github.com/docker/compose/releases/download/1.28.5/docker-compose-`uname -s`-`uname -m` -o /usr/local/bin/docker-compose 　←一行です
sudo chmod +x /usr/local/bin/docker-compose

#Docker Composeが使用できるか確認
/usr/local/bin/docker-compose --version
docker-compose version 1.28.5, build c4eb3a1f

コマンド　docker ps とすると以下のメッセージ出力
#Got permission denied while trying to connect to the Docker daemon socket at unix:///var/run/docker.sock: Get "http://%2Fvar%2Frun%2Fdocker.sock/v1.24/containe
rs/json": dial unix /var/run/docker.sock: connect: permission denied
###対策 dockerグループにec2-userを追加
sudo usermod -g docker ec2-user

    3. docker-compose.ymlファイルを作成して、docker コンテナを作成

    作成するコンテナの設計図ですね。今回は,redmineとそのDBのコンテナを作成して，webhookというPluginを入れ、更にDBをRDS(Mysql)に変更します。
    version: '3.8'
services:
  redmine:
    image: redmine:4.2
    container_name: redmine
    ports:
      - 80:3000
    environment:
      REDMINE_DB_MYSQL: redmine-db
      REDMINE_DB_PASSWORD: xxxxxx
    depends_on:
      - redmine-db
    restart: always

  redmine-db:
    image: mariadb
    container_name: redmine-db
    ports:
      - 3306:3306
    environment:
      MYSQL_ROOT_PASSWORD: xxxxxx
      MYSQL_DATABASE: redmine
    volumes:
      - ./data/db:/var/lib/mysql
    command: mysqld --character-set-server=utf8 --collation-server=utf8_unicode_ci
    restart: always

    4. Docker コンテナの作成と起動

    docker-compose.ymlファイルのあるディレクトリで以下のコマンドを実行します。完了したら，docker ps -a コマンドで動作しているかどうか確認します。
    sudo su
cd /usr/local/src/redmine
/usr/local/bin/docker-compose  up -d
$ docker ps -a
CONTAINER ID   IMAGE         COMMAND                  CREATED         STATUS         PORTS                                       NAMES
9e7f0be2bc5b   redmine:4.2   "/docker-entrypoint.…"   7 seconds ago   Up 5 seconds   0.0.0.0:80->3000/tcp, :::80->3000/tcp       redmine
3cd27d886b4f   mariadb       "docker-entrypoint.s…"   8 seconds ago   Up 6 seconds   0.0.0.0:3306->3306/tcp, :::3306->3306/tcp   redmine-db


    docker コンテナが作成されて起動されているのがわかります。Webでアクセスして確認しましょう。アドレスは、EC2のグローバルアドレスです。http://xx.xx.xx.xx/ログイン出来ればOKです。
    　　　　　　　　　　　　　　　図B redmineログイン画面

    5. webhook pluginをコンテナにインストール

    作成したコンテナ(図AのDockerコンテナ)にwebhookというpluginをインストールします。
    #Docker コンテナの中に入ります
docker container exec -it redmine bash
# pluginsディレクトリに移ります
root@f3baf480c406:/usr/src/redmine# cd plugins/
root@f3baf480c406:/usr/src/redmine/plugins# git clone https://github.com/suer/redmine_webhook.git ← 一行
root@f3baf480c406:/usr/src/redmine/plugins#　 cd redmine_webhook
root@f3baf480c406:/usr/src/redmine/plugins/redmine_webhook# bundle install
rake redmine:plugins:migrate RAILS_ENV=production
#docker コンテナから抜けます
root@f3baf480c406:/usr/src/redmine/plugins/redmine_webhook# exit

redmine コンテナを再起動します。
docker stop redmine
docker start redmine
    ブラウザでアクセスして、管理タブをクリックプラグインが表示されればOKです。
    　　　　　　　　　　　　図C webhook pluginインストール後

    6. RDSと接続

    privateサブネットに作成したRDS(Mysql)に接続させるように変更していきます。
    #database接続定義(database.yml)の作成

production:
  adapter: "mysql2"
  host: "databasexxx.xxxxxx.ap-northeast-1.rds.amazonaws.com"
  port: "3306"
  username: "Admin"
  password: "xxxxxx"
  database: "redmine_db"

database.ymlをdockerコンテナ内にコピー
sudo docker cp database.yml redmine:/usr/src/redmine/config/

#redmine  migrate実行
#docker コンテナ内部に入ります
docker container exec -it redmine bash
/usr/src/redmin/# bundle exec rake generate_secret_token
/usr/src/redmine# bundle exec rake db:migrate RAILS_ENV=production

    これで，ECSサービスとして起動可能なredmineコンテナが作成できました。
このコンテナを利用してECRに登録するimageを作成します。

    7. ECR登録用のイメージ作成

    作成したDockerコンテナからECRに登録するイメージを作成します。
    #コンテナからイメージの作成
$ docker commit redmine redminesql

#イメージの確認
$ docker images
REPOSITORY        TAG       IMAGE ID       CREATED         SIZE
redminesql        latest    304ab9ccde49   8 seconds ago   554MB
fortune-whale     latest    0df1bdab20e2   2 days ago      280MB
redmine           4.2       d4ea63462562   2 days ago      531MB
mariadb           latest    4a632f970181   2 weeks ago     401MB
docker/whalesay   latest    6b362a9f73eb   7 years ago     247MB

    これで登録するdockerのイメージが作成できました。次回は、ECRにログインしてimageの登録，ECSのデプロイ，ECSタスクの実行する手順です。
    投稿日:

    AWS CLIで情報を出力しよう 色々編(Linux版その4)

    1. AWS CLIコマンドのヴァージョンアップをしよう

    $curl https://awscli.amazonaws.com/awscli-exe-linux-x86_64.zip -o "awscliv2.zip"
    $unzip awscliv2.zip
    $sudo ./aws/insstall --update
    $aws --version
    aws-cli/2.9.10 Python/3.9.11 Linux/5.10.157-139.675.amzn2.x86_64 exe/x86_64.amzn.2 prompt/off

    2022/12/27 時点で最新バージョンです 詳しくは、以下を参照　AWS CLI　最新バージョンをインストールまたは更新する
    https://docs.aws.amazon.com/ja_jp/cli/latest/userguide/getting-started-install.html

    2. 前回の復習 InternetGW情報を出力しよう

    InternetGWの情報を必要な項目のみ出力してみよう

    $aws ec2 describe-internet-gateways \
    --query "InternetGateways[].[{VPC_id:Attachments[0].VpcId,Name:Tags[0].Value}]" --out table

    　　　　　　　　　　　　　図 A InternetGWの情報

    ３. AWSが保持しているグルーバルアドレスCIDRを表示しよう

    ３.1 AWSが保持している東京リージョンのグローバルCIDRの表示

    AWSが保持しているグルーバルアドレスのCIDRが公開されています。(json形式）その内容から東京リージョンのIPレンジのみを出力します。

    $curl https://ip-ranges.amazonaws.com/ip-ranges.json |　\
    jq -r '.prefixes[] | select(.region=="ap-northeast-1") | .ip_prefix'

    curl コマンドでjsonファイルを取ってきます。 jp　コマンドでリストになっているprefix[]からreginがap-northeast-1(東京)のもので、ip_prefix項目のみ出力させます

    jq　コマンドは以下でインストールしてみてください

    $sudo yum install jq

    　　　　　　　　　　　　図B　東京リージョンのIPアドレスレンジ

    ３.２AWSが保持している東京リージョンでEC2のグルーバルアドレスCIDRを表示

    東京リージョンでEC2のIPレンジのみを出力します。

    $curl https://ip-ranges.amazonaws.com/ip-ranges.json | \
    jq -r '.prefixes[] | select(.service=="EC2" and .region=="ap-northeast-1") | .ip
    _prefix'

    curlコマンドでjsonファイルを取ってきます。jpコマンドでリストになっているprefix[]からreginがap-northeast-1(東京)かつ serviceがEC2のip_prefixのみを出力させます

    　　　　　　　　　　　図C　東京リージョンEC2のIPアドレスレンジ

    ４. AWS Health イベントで使用されるサービス名の一覧を出力

    HealthイベントをEventBridge経由で監視するイベントルールの対象を特定のサービスとする場合に、対象のサービス名は、”A2I”、”SSM”と選択可能である、これがなんのサービスかわかりたい

    $aws health describe-event-types

    　　　　　　　　　　　　　図D　Health サービス名一覧

    Health イベントで使用されるサービス名の一覧は、aws health describe-event-types　コマンドで出力できます。json形式で出力されます。沢山出力されるのである程度絞り込みを行います。

    $aws health describe-event-types | \
    jq -r '.eventTypes[] | select(.service=="SSM" or .service=="A2I") | .code'

    　　　図E　Health　A2IとSSMに絞り込み出力

    Health イベントで使用されるサービス名の一覧は、aws health describe-event-types　コマンドで出力できます。これでは、沢山出力されるので、対象を絞ります。 jqコマンドのselectを利用して SSMとA2Iに絞ります。そして、codeの部分のみを出力します。A2IはAmazon Augmented AI(AmazonA2I)のことだそうです。「A2I aws」で検索するとヒットします。

    ５. AWS WindowsのAMI一覧を出力しよう

    Windows-serverのAMIはどのような物があるか、質問が良くあります。AWS CLIコマンドを使って出力できます。(Windows-server2019の例です）

    $aws ec2 describe-images \
    --owners amazon \
    --filters "Name=name,Values=Windows_Server-2019-*" \
    --query "sort_by(Images,&Name)[].[Name,ImageId]" \
    --out table

    　　　　　　　　　　　図F　　windows-server-2019 AMI情報

    imageは、aws ec2 describe-imageコマンドで出力します。filterオプションで windows_Server-2019-*のみを対象にします。更に、queryで　ImagesNameとImageIdをsortして出力します。

    ６. routeテーブルを見て、publicサブネットかどうか判断しよう

    publicサブネットかどうかは、routeテーブルを見ないとわかりません。ルートテーブルの(0.0.0.0/0)があるかどうかで判断できます。

    $aws ec2 describe-route-tables \
    --query "RouteTables[].{Sub:Associations[].SubnetId,Id:RouteTableId,rou:join('<->',Routes[].DestinationCidrBlock),INgw:Routes[].GatewayId}"\
    --out text

    　　　　　　　　　　　　図G　ルートテーブルと0.0.0.0/の関係

    routeテーブルを出力します。queryで出力項目を絞り込みます。Associations[].SubnetIdとRouteTableId,join(‘<->’)で文字列を加え、Routes[].DestinationCidrBlock,Routes[].GatewayIdを出力します。<->0.0.0.0/0があるサブネットがpublicサブネットです。

    Linux版その１　EC2の情報出力　https://opt-p.co.jp/blog/aws/post-1633/

    Linux版その２　RDSの情報出力　https://opt-p.co.jp/blog/aws/post-1718/

    Linux版その３　VPCの情報出力　https://opt-p.co.jp/blog/aws/post-2080/