AWS CLI filterとqueryを同時に指定する方法を理解する

          図A AWSシステム構成図
コマンド例 コマンド実行結果のjson形式を jqで成形します。

例1 インスタンスタイプ(t3a.micro)を抽出し,そのフィールドを出力
aws ec2 describe-instances \
--filters Name=instance-type,Values=t3a.micro \
--query 'Reservations[*].Instances[*].{Type:InstanceType}' | jq .


例2 インスタンスタイプ(t3a.micro)のみ抽出し,インスタンスタイプ,Name Tagを出力
aws ec2 describe-instances \
--filters Name=instance-type,Values=t3a.micro \
--query 'Reservations[*].Instances[*].{Type:InstanceType,Name:Tags[?Key==`Name`].Value}' | jq .


例3 インスタンスタイプ(t3a.micro 又は t3.micro)を抽出し,インスタンスタイプ,Name Tagを出力
aws ec2 describe-instances \
--filters Name=instance-type,Values=t3a.micro,t3.micro \
--query 'Reservations[*].Instances[*].{Type:InstanceType,Name:Tags[?Key==`Name`].Value}' | jq .



例4 インスタンスの状態(running 又は stopped)を抽出し,インスタンスタイプ,Name Tag,状態(State)を出力
aws ec2 describe-instances \
--filters Name=instance-state-name,Values=running,stopped \
--query 'Reservations[*].Instances[*].{Type:InstanceType,Name:Tags[?Key==`Name`].Value,State:State.Name}' | jq .


例5 インスタンスの状態(running 又は stopped)を抽出し,インスタンスタイプ,プラットフォームOS,Name Tag,状態(State)を出力
aws ec2 describe-instances \
--filters Name=instance-state-name,Values=running,stopped \
--query 'Reservations[*].Instances[*].{Type:InstanceType,OS:PlatformDetails,Name:Tags[?Key==`Name`].Value,State:State.Name}' | jq .
例6 インスタンスタイプ(t3.micro)で,かつ,インスタンスがstopedを抽出し,インスタンスタイプ,Name Tag,状態(State)を出力
aws ec2 describe-instances \
--filters Name=instance-type,Values=t3.micro \
Name=instance-state-name,Values=stopped \
--query 'Reservations[*].Instances[*].{Type:InstanceType,Name:Tags[?Key==`Name`
].Value,State:State.Name}' | jq .


例7 インスタンスタイプ(t3.micro)で,かつ,インスタンスがstopedを抽出し,インスタンスタイプ,プラットフォームOS,Name Tag,状態(State)を出力
aws ec2 describe-instances \
--filters Name=instance-type,Values=t3.micro \
Name=instance-state-name,Values=stopped \
--query 'Reservations[*].Instances[*].{Type:InstanceType,OS:PlatformDetails,Name:Tags[?Key==`Name`].Value,State:State.Name}' | jq .


例1 インスタンスタイプ(t3a.micro)のみ抽出し,インスタンスタイプのフィールドのみ出力の実行結果 一部のみ掲載
[
[
{
"Type": "t3a.micro"
}
],
[
{
"Type": "t3a.micro"
}
]

例2 インスタンスタイプ(t3a.micro)のみ抽出し,インスタンスタイプ,Name Tagを出力の実行結果 一部のみ掲載
[
[
{
"Type": "t3a.micro",
"Name": [
"Ama-linux2-kami"
]
}
],
[
{
"Type": "t3a.micro",
"Name": [
"Ama_linux2_Redmine_MySQL"
]
}
]
例3 インスタンスタイプ(t3a.micro 又は t3.micro)を抽出し,インスタンスタイプ,Name Tagを出力の実行結果 一部のみ掲載
[
{
"Type": "t3.micro",
"Name": [
"kamishita-docker-python"
]
}
],
[
{
"Type": "t3a.micro",
"Name": [
"Ama_linux2_Redmine_MySQL"
]
}
]
例4 インスタンスの状態(running 又は stopped)を抽出し,インスタンスタイプ,Name Tag,状態(State)を出力の実行結果 一部のみ掲載
[
{
"Type": "t3a.micro",
"Name": [
"Ama_linux2_Redmine_MySQL"
],
"State": "running"
}
],
[
{
"Type": "t3a.micro",
"Name": [
"kamishita_linux2023_private"
],
"State": "stopped"
}
]

例5 インスタンスの状態(running 又は stopped)を抽出し,インスタンスタイプ,プラットフォームOS,Name Tag,状態(State)を出力の実行結果 一部のみ掲載
{
"Type": "t3a.micro",
"OS": "Linux/UNIX",
"Name": [
"Ama_linux2_Redmine_MySQL"
],
"State": "running"
}
],
[
{
"Type": "t3a.micro",
"OS": "Linux/UNIX",
"Name": [
"debug-docker-kami"
],
"State": "stopped"
}
]
例6 インスタンスタイプ(t3.micro)で,かつ,インスタンスがstopedを抽出し,インスタンスタイプ,Name Tag,状態(State)を出力の実行結果
[
[
{
"Type": "t3.micro",
"Name": [
"kamishita-docker-python"
],
"State": "stopped"
}
],
[
{
"Type": "t3.micro",
"Name": [
"kamishita_Public_AMA2023"
],
"State": "stopped"
}
]
]

例7 インスタンスタイプ(t3.micro)で,かつ,インスタンスがstopedを抽出し,インスタンスタイプ,プラットフォームOS,Name Tag,状態(State)を出力の実行結果
[
[
{
"Type": "t3.micro",
"OS": "Linux/UNIX",
"Name": [
"kamishita-docker-python"
],
"State": "stopped"
}
],
[
{
"Type": "t3.micro",
"OS": "Linux/UNIX",
"Name": [
"kamishita_Public_AMA2023"
],
"State": "stopped"
}
]
]

ECS(Fargate)にログインする その2

              図A システム構成

aws backupをAWS CLIコマンドで実行する

              図A システム構成図
              図Bバックアップボールドの作成
上記URLに記載があるように、次のポリシー2つをアタッチしたロールを作成
・AWSBackupServiceRolePolicyForBackup
・AWSBackupServiceRolePolicyForRestores
aws backup start-backup-job --backup-vault-name バックアップボールド名 \
--resource-arn arn:aws:ec2:ap-northeast-1:123456789012:instance/インスタンスid
 \
--iam-role-arn arn:aws:iam::123456789012:role/作成したロール名  \
--region ap-northeast-1
$./aws_backup
{
    "BackupJobId": "9905344f-40b9-4a35-941e-40bae97adf99",
    "CreationDate": "2024-01-12T13:44:12.548000+09:00",
    "IsParent": false
}
$./aws_backup

An error occurred (AccessDeniedException) when calling the StartBackupJob operation: Insufficient privileges to perform this action.
$aws backup describe-backup-job --backup-job-id 9905344f-40b9-4a35-941e-40bae97adf99
{
    "AccountId": "123456789012",
    "BackupJobId": "9905344f-40b9-4a35-941e-40bae97adf99",
    "BackupVaultName": "backp_xxxx",
    "BackupVaultArn": "arn:aws:backup:ap-northeast-1:123456789012:backup-vault:backp_xxxx",
    "RecoveryPointArn": "arn:aws:ec2:ap-northeast-1::image/ami-xxxxxxxxxxxxxxxxx",
    "ResourceArn": "arn:aws:ec2:ap-northeast-1:123456789012:instance/i-xxxxxxxxxxxxxxxxx",
    "CreationDate": "2024-01-12T13:44:12.548000+09:00",
    "CompletionDate": "2024-01-12T13:48:18.497000+09:00",
    "State": "COMPLETED",
    "PercentDone": "100.0",
    "BackupSizeInBytes": 32212254720,
    "IamRoleArn": "arn:aws:iam::123456789012:role/backup-xxxx-role",
    "ResourceType": "EC2",
    "BytesTransferred": 0,
    "StartBy": "2024-01-12T21:44:12.548000+09:00",
    "IsParent": false,
    "ResourceName": "Ama_linux2_xxxxxx",
    "InitiationDate": "2024-01-12T13:44:12.835000+09:00",
    "MessageCategory": "SUCCESS"
}
              図C バックアップジョブの確認
            図D バックアップボールトが作成されている

ECS(Fargate)にログインする

               図A システム構成図
%docker container exec -it コンテナ名 bash
のようなことが、ECS Execの機能を利用してFargateでも可能です。
ECS ExecはSystems Manager Session Managerの機能を利用して実現しています。 ECS Execは追加費用なしで利用が可能です

(1)AWS CLI

%curl https://awscli.amazonaws.com/awscli-exe-linux-x86_64.zip -o "awscliv2.zip"
%unzip awscliv2.zip
%sudo ./aws/insstall 又は
%sudo ./aws/insstall --update  # updateの場合

(2)Session Manager plugin for the AWS CLI

%curl "https://s3.amazonaws.com/session-manager-downloads/plugin/latest/linux_64bit/session-manager-plugin.rpm" -o "session-manager-plugin.rpm"
%sudo yum install -y session-manager-plugin.rpm
  以下のコマンドを実行
  session-manager-plugin
  The Session Manager plugin was installed successfully. Use the AWS CLI to start a session. と出力されれば、OK
##amazon Linux2の場合です。他のディストリビューションは未調査です。

(1)ECSのタスクロールに以下の権限を追加(ecsTaskExecutionRole)にカスタムポリシーとして追加

{  
 "Version": "2012-10-17",  
 "Statement": [  
     {  
     "Effect": "Allow",  
     "Action": [  
          "ssmmessages:CreateControlChannel",  
          "ssmmessages:CreateDataChannel",  
          "ssmmessages:OpenControlChannel",  
          "ssmmessages:OpenDataChannel"  
     ],  
    "Resource": "*"  
    }  
 ]  
}  

(2) fargateにログインするEC2に権限を追加

{  
  "Version": "2012-10-17",  
  "Statement": [  
      {  
          "Effect": "Allow",  
          "Action": [  
              "ecs:ExecuteCommand",  
              "ssm:StartSession",  
              "ecs:DescribeTasks"  
          ],  
          "Resource": "*"  
      }  
  ]  
} 
以下のコマンドでタスクをサービスに対するECS Execが有効化どうか確認
%aws ecs describe-services \
--cluster クラスター名 \
--services サービス名 | grep enableExecuteCommand
"enableExecuteCommand": true であれば OK

trueでない場合は、trueにする以下のコマンドを実行
%aws ecs update-service \
--cluster クラスター名 \
--service サービス名 \
--enable-execute-command 

変更した場合は、fargateを再起動する必要があります。
               図 B タスクの再起動
%aws ecs list-tasks --cluster クラスター名 --query "taskArns[]" --output text
arn:aws:ecs:ap-northeast-1:123456789012:task/xxxxx-cluster/xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx

%aws ecs describe-tasks --cluster クラスター名 --tasks  上記コマンドで出力されたタスク名  --query "tasks[].containers[].name" --output text
%aws ecs execute-command --cluster クラスター名 \
    --task タスク名 \
    --container コンテナ名 \
    --interactive \
    --command "/bin/bash" \
              図C fargateにログイン
fargateにログインできました。コマンド一発とはならないですが、目的は達成!
docker container exec -it コンテナ名 bash と同じことができました。
何故、fargateにログインしたかったか?
コンテナ(今回はRedmine)のデータベース環境database.yml、mail送信環境のconfigration.ymlの中身を確認したかったからです。

EC2インスタンスの停止保護(無効化/有効化)をAWS CLIとプログラム(Python)で実行してみる

EC2インスタンスの停止保護無効化、有効化をAWS CLIとpythonで実行してみる
              図A AWS 構成図
    aws ec2 modify-instance-attribute \
        --instance-id i-xxxxxxxxxxyyyyyyy \
        --no-disable-api-stop
                 図Bインスタンスの停止保護(AWSコンソール)
    aws ec2 modify-instance-attribute \
        --instance-id i-xxxxxxxxxxyyyyyyy \
        --disable-api-stop
                  図C インスタンスの停止保護(AWSコンソール)
    #!/usr/bin/python3.8
    import sys
    import boto3
    import botocore
    import os
    import traceback
    def get_abc():
            try:
                    client = boto3.client('ec2')
                    response = client.modify_instance_attribute(
                    InstanceId='i-xxxxxxxxxxxyyyyyy',
                    DisableApiStop={
                            'Value': False,
                    },
                    )
                    return(response)
            except Exception as ex:
                    err_message = ex.__class__.__name__
                    t = traceback.format_exception_only(type(ex), ex)
                    print(t,err_message)
                    sys.exit(1)
    
    if __name__ == '__main__':
            response = get_abc()
            print('status=',response['ResponseMetadata']['HTTPStatusCode'])
            print('date',response['ResponseMetadata']['HTTPHeaders']['date'])
            print('server=',response['ResponseMetadata']['HTTPHeaders']['server'])
    boto3を最新にupdateしないと、エラーになることがあります。
    pip3 install -U boto3 
    2023/12/07時点では boto3-1.33.8 のようです
    status= 200
    date Thu, 07 Dec 2023 04:56:22 GMT
    server= AmazonEC2
    response(実行結果)はdictで返却されます。HTTPStatusCode=200が返却されれば
    成功です。HTTPStatusCode,date,serverを出力しています。
    停止保護有効化したインスタンスを停止させようとすると、エラーになります。
    "botocore.exceptions.ClientError: An error occurred (OperationNotPermitted) when calling the StopInstances operation: The instance 'i-xxxxxxxxxyyyyy' may not be stopped. Modify its 'disableApiStop' instance attribute and try again.\n"] ClientError

    AWS ECSサービスを構築しよう(その2)

    ECSサービス構築の二回目です。前回は,ECRに登録するdockerイメージをコンテナから作成するところまででした。今回は,ECRリポジトリーに登録,ECSサービスの構築手順です。
                図A 利用するAWSリソースと構成図

    1. ECRにリポジトリ作成

    作成したコンテナイメージを、コンテナレジストリのフルマネージドサービスである Amazon Elastic Container Registry (Amazon ECR) にアップロード(Push)します。
    作成したコンテナイメージを、コンテナレジストリで一元管理することで、様々なコンテナ実行環境で利用しやすくなるメリットがあります。AWS コンソールにログインして,ECRリポジトリを作成します。
    引用url ECRとは
                   図B リポジトリ作成
    このuriをコピーして,メモしておきます。後で、イメージのtag付けに必要になります。

    1.2. EC2クライアントからECRにログインする

    EC2クライアントから,ECRにpushする為に,ECRにログインする必要があります。ログイン用のスクリプトを作成します(login.sh)。そのスクリプトを利用してECRにログインします。
    参照した URL AWS ECRにdockerイメージを登録する
    aws ecr get-login --no-include-email --region ap-northeast-1 > login.sh ←一行です
    [ec2-user@ip-10-128-1-19 ECR]$ bash ./login.sh
    WARNING! Using --password via the CLI is insecure. Use --password-stdin.
    WARNING! Your password will be stored unencrypted in /home/ec2-user/.docker/config.json.
    Configure a credential helper to remove this warning. See
    https://docs.docker.com/engine/reference/commandline/login/#credentials-store
    
    Login Succeeded ← これが出ればログイン成功
    
    前回作成したイメージから,ECR登録用のイメージtagを作成します。先ほど,コピーしておいた,uriが必要になります。
    (123456789012はアカウントID)
    docker tag redminesql:latest \
    123456789012.dkr.ecr.ap-northeast-1.amazonaws.com/redmine6:latest
    
    ECRにイメージをpushします
    (123456789012はアカウントID)
    docker push 123456789012.dkr.ecr.ap-northeast-1.amazonaws.com/redmine6:latest ← 一行です
    
    これで,ECRのリポジトリにdockerイメージの登録が完了しました。
    図AのECR Registoryです。

    2. ECSサービスの構築

    ECSサービスの構築は,ECSクラスターの作成,タスクの定義,サービスの作成という手順で行います。

    2.1 ECSクラスターの作成

    ECS クラスターは、コンテナを動かすための論理的なグループです。ECS を操作するために、まずは ECS クラスターを作成します。AWSコンソールから,クラスターの作成を行います。
    ecs→クラスターの作成をクリックします。設定内容は,クラスター名,実行するVPC,サブネットです。
    引用url ECSクラスターの作成
                図C ECSクラスターの作成1
                  図D ECSクラスターの作成2

    2.2. タスク定義

    タスク定義とは、アプリケーションを動かすために、どのようにコンテナを動かすか、コンテナの動作を定義したものです。 例えば、コンテナイメージの種類、アプリケーションが利用するポート、コンテナが利用するデータボリュームなどを指定できます。
    コンテナを動かす際のブループリントとして機能します。タスク定義をawsコンソールから行います。設定内容は,タスク定義名,ECRのuri,コンテナのlistenポート番号,動作させるサーバ(今回はFargate)です。
    引用 URL タスク定義
                  図E タスク定義1
                  図F タスク定義2
                  図G タスク定義3
                  図H タスク定義4

    2.3. サービスの作成

    サービスとは、ECS 上でコンテナを動かすときに利用する概念の一つです。
    サービスを使用すると、 Amazon ECS クラスターで、指定した数のコンテナ群(タスク)を維持できます。作成するサービスの定義をします。設定内容は,タスク定義の選択,サービス名,実行するVPC,サブネット,セキュリティグループ,ALBです。
    引用url サービスとは
                  図I サービス作成1
                  図J サービス作成2
                  図K サービス作成3
                  図L サービス作成4
                  図M サービス作成5
                     図N サービス作成6

    3.サービスの実行

    サービスの作成に成功したら,サービスを実行します。作成したサービスを選択する。ネットワーキングをクリック。オープンアドレス(ALBのアドレス)をクリックです。
                  図O サービスの実行1
                  図P サービスの実行2
                  図Q サービスの実行3
                  図R サービスの実行4
    ALB経由で,Fargateコンテナのredmineログイン画面が出れば作成完了です。

    AWS ECSサービスを構築しよう(その1)

    Redmine4.2と,依存関係でDBが必要なので,mariaDB(10.11.2)(MySQL系)2つのdockerコンテナを作成します。Redmineコンテナ起動後にwebhookというpluginをインストール,更にDBをRDS(mySQL)に変更後,作成したコンテナからイメージを作成し,ECRに登録します。そのイメージからECSサービスをデプロイします。今回は,ECRに登録するイメージを作成するまでの手順です。

    1. 利用するAWSのリソースと作成するシステム構成図

                 図A システム構成図

    2. Docker環境構築

    EC2(図AのDockerコンテナ)にdocker,docker-composeをインストールして,dockerが動作する環境を構築します。
    #Dockerのインストール
    sudo yum install -y docker
    sudo systemctl start docker
    sudo usermod -a -G docker ec2-user
    #自動起動を有効にする
    sudo systemctl enable docker
    #docker-composeのインストール
    sudo curl -L https://github.com/docker/compose/releases/download/1.28.5/docker-compose-`uname -s`-`uname -m` -o /usr/local/bin/docker-compose  ←一行です
    sudo chmod +x /usr/local/bin/docker-compose
    
    #Docker Composeが使用できるか確認
    /usr/local/bin/docker-compose --version
    docker-compose version 1.28.5, build c4eb3a1f
    
    コマンド docker ps とすると以下のメッセージ出力
    #Got permission denied while trying to connect to the Docker daemon socket at unix:///var/run/docker.sock: Get "http://%2Fvar%2Frun%2Fdocker.sock/v1.24/containe
    rs/json": dial unix /var/run/docker.sock: connect: permission denied
    ###対策 dockerグループにec2-userを追加
    sudo usermod -g docker ec2-user
    

    3. docker-compose.ymlファイルを作成して、docker コンテナを作成

    作成するコンテナの設計図ですね。今回は,redmineとそのDBのコンテナを作成して,webhookというPluginを入れ、更にDBをRDS(Mysql)に変更します。
    version: '3.8'
    services:
      redmine:
        image: redmine:4.2
        container_name: redmine
        ports:
          - 80:3000
        environment:
          REDMINE_DB_MYSQL: redmine-db
          REDMINE_DB_PASSWORD: xxxxxx
        depends_on:
          - redmine-db
        restart: always
    
      redmine-db:
        image: mariadb
        container_name: redmine-db
        ports:
          - 3306:3306
        environment:
          MYSQL_ROOT_PASSWORD: xxxxxx
          MYSQL_DATABASE: redmine
        volumes:
          - ./data/db:/var/lib/mysql
        command: mysqld --character-set-server=utf8 --collation-server=utf8_unicode_ci
        restart: always

    4. Docker コンテナの作成と起動

    docker-compose.ymlファイルのあるディレクトリで以下のコマンドを実行します。完了したら,docker ps -a コマンドで動作しているかどうか確認します。
    sudo su
    cd /usr/local/src/redmine
    /usr/local/bin/docker-compose  up -d
    $ docker ps -a
    CONTAINER ID   IMAGE         COMMAND                  CREATED         STATUS         PORTS                                       NAMES
    9e7f0be2bc5b   redmine:4.2   "/docker-entrypoint.…"   7 seconds ago   Up 5 seconds   0.0.0.0:80->3000/tcp, :::80->3000/tcp       redmine
    3cd27d886b4f   mariadb       "docker-entrypoint.s…"   8 seconds ago   Up 6 seconds   0.0.0.0:3306->3306/tcp, :::3306->3306/tcp   redmine-db
    
    
    docker コンテナが作成されて起動されているのがわかります。Webでアクセスして確認しましょう。アドレスは、EC2のグローバルアドレスです。http://xx.xx.xx.xx/ログイン出来ればOKです。
                   図B redmineログイン画面

    5. webhook pluginをコンテナにインストール

    作成したコンテナ(図AのDockerコンテナ)にwebhookというpluginをインストールします。
    #Docker コンテナの中に入ります
    docker container exec -it redmine bash
    # pluginsディレクトリに移ります
    root@f3baf480c406:/usr/src/redmine# cd plugins/
    root@f3baf480c406:/usr/src/redmine/plugins# git clone https://github.com/suer/redmine_webhook.git ← 一行
    root@f3baf480c406:/usr/src/redmine/plugins#  cd redmine_webhook
    root@f3baf480c406:/usr/src/redmine/plugins/redmine_webhook# bundle install
    rake redmine:plugins:migrate RAILS_ENV=production
    #docker コンテナから抜けます
    root@f3baf480c406:/usr/src/redmine/plugins/redmine_webhook# exit
    
    redmine コンテナを再起動します。
    docker stop redmine
    docker start redmine
    ブラウザでアクセスして、管理タブをクリックプラグインが表示されればOKです。
                図C webhook pluginインストール後

    6. RDSと接続

    privateサブネットに作成したRDS(Mysql)に接続させるように変更していきます。
    #database接続定義(database.yml)の作成
    
    production:
      adapter: "mysql2"
      host: "databasexxx.xxxxxx.ap-northeast-1.rds.amazonaws.com"
      port: "3306"
      username: "Admin"
      password: "xxxxxx"
      database: "redmine_db"
    
    database.ymlをdockerコンテナ内にコピー
    sudo docker cp database.yml redmine:/usr/src/redmine/config/
    
    #redmine  migrate実行
    #docker コンテナ内部に入ります
    docker container exec -it redmine bash
    /usr/src/redmin/# bundle exec rake generate_secret_token
    /usr/src/redmine# bundle exec rake db:migrate RAILS_ENV=production
    
    これで,ECSサービスとして起動可能なredmineコンテナが作成できました。
    このコンテナを利用してECRに登録するimageを作成します。

    7. ECR登録用のイメージ作成

    作成したDockerコンテナからECRに登録するイメージを作成します。
    #コンテナからイメージの作成
    $ docker commit redmine redminesql
    
    #イメージの確認
    $ docker images
    REPOSITORY        TAG       IMAGE ID       CREATED         SIZE
    redminesql        latest    304ab9ccde49   8 seconds ago   554MB
    fortune-whale     latest    0df1bdab20e2   2 days ago      280MB
    redmine           4.2       d4ea63462562   2 days ago      531MB
    mariadb           latest    4a632f970181   2 weeks ago     401MB
    docker/whalesay   latest    6b362a9f73eb   7 years ago     247MB
    
    これで登録するdockerのイメージが作成できました。次回は、ECRにログインしてimageの登録,ECSのデプロイ,ECSタスクの実行する手順です。

    AWS CLIで情報を出力しよう 色々編(Linux版その4)

    1. AWS CLIコマンドのヴァージョンアップをしよう

    $curl https://awscli.amazonaws.com/awscli-exe-linux-x86_64.zip -o "awscliv2.zip"
    $unzip awscliv2.zip
    $sudo ./aws/insstall --update
    $aws --version
    aws-cli/2.9.10 Python/3.9.11 Linux/5.10.157-139.675.amzn2.x86_64 exe/x86_64.amzn.2 prompt/off

    2022/12/27 時点で最新バージョンです 詳しくは、以下を参照 AWS CLI 最新バージョンをインストールまたは更新する
    https://docs.aws.amazon.com/ja_jp/cli/latest/userguide/getting-started-install.html

    2. 前回の復習 InternetGW情報を出力しよう

    InternetGWの情報を必要な項目のみ出力してみよう

    $aws ec2 describe-internet-gateways \
    --query "InternetGateways[].[{VPC_id:Attachments[0].VpcId,Name:Tags[0].Value}]" --out table

                 図 A InternetGWの情報

    3. AWSが保持しているグルーバルアドレスCIDRを表示しよう

    3.1 AWSが保持している東京リージョンのグローバルCIDRの表示

    AWSが保持しているグルーバルアドレスのCIDRが公開されています。(json形式)その内容から東京リージョンのIPレンジのみを出力します。

    $curl https://ip-ranges.amazonaws.com/ip-ranges.json | \
    jq -r '.prefixes[] | select(.region=="ap-northeast-1") | .ip_prefix'

    curl コマンドでjsonファイルを取ってきます。 jp コマンドでリストになっているprefix[]からreginがap-northeast-1(東京)のもので、ip_prefix項目のみ出力させます

    jq コマンドは以下でインストールしてみてください

    $sudo yum install jq

                図B 東京リージョンのIPアドレスレンジ

    3.2AWSが保持している東京リージョンでEC2のグルーバルアドレスCIDRを表示

    東京リージョンでEC2のIPレンジのみを出力します。

    $curl https://ip-ranges.amazonaws.com/ip-ranges.json | \
    jq -r '.prefixes[] | select(.service=="EC2" and .region=="ap-northeast-1") | .ip
    _prefix'

    curlコマンドでjsonファイルを取ってきます。jpコマンドでリストになっているprefix[]からreginがap-northeast-1(東京)かつ serviceがEC2のip_prefixのみを出力させます

               図C 東京リージョンEC2のIPアドレスレンジ

    4. AWS Health イベントで使用されるサービス名の一覧を出力

    HealthイベントをEventBridge経由で監視するイベントルールの対象を特定のサービスとする場合に、対象のサービス名は、”A2I”、”SSM”と選択可能である、これがなんのサービスかわかりたい

    $aws health describe-event-types

                 図D Health サービス名一覧

    Health イベントで使用されるサービス名の一覧は、aws health describe-event-types コマンドで出力できます。json形式で出力されます。沢山出力されるのである程度絞り込みを行います。

    $aws health describe-event-types | \
    jq -r '.eventTypes[] | select(.service=="SSM" or .service=="A2I") | .code'

       図E Health A2IとSSMに絞り込み出力

    Health イベントで使用されるサービス名の一覧は、aws health describe-event-types コマンドで出力できます。これでは、沢山出力されるので、対象を絞ります。 jqコマンドのselectを利用して SSMとA2Iに絞ります。そして、codeの部分のみを出力します。A2IはAmazon Augmented AI(AmazonA2I)のことだそうです。「A2I aws」で検索するとヒットします。

    5. AWS WindowsのAMI一覧を出力しよう

    Windows-serverのAMIはどのような物があるか、質問が良くあります。AWS CLIコマンドを使って出力できます。(Windows-server2019の例です)

    $aws ec2 describe-images \
    --owners amazon \
    --filters "Name=name,Values=Windows_Server-2019-*" \
    --query "sort_by(Images,&Name)[].[Name,ImageId]" \
    --out table

               図F  windows-server-2019 AMI情報

    imageは、aws ec2 describe-imageコマンドで出力します。filterオプションで windows_Server-2019-*のみを対象にします。更に、queryで ImagesNameとImageIdをsortして出力します。

    6. routeテーブルを見て、publicサブネットかどうか判断しよう

    publicサブネットかどうかは、routeテーブルを見ないとわかりません。ルートテーブルの(0.0.0.0/0)があるかどうかで判断できます。

    $aws ec2 describe-route-tables \
    --query "RouteTables[].{Sub:Associations[].SubnetId,Id:RouteTableId,rou:join('<->',Routes[].DestinationCidrBlock),INgw:Routes[].GatewayId}"\
    --out text

                図G ルートテーブルと0.0.0.0/の関係

    routeテーブルを出力します。queryで出力項目を絞り込みます。Associations[].SubnetIdとRouteTableId,join(‘<->’)で文字列を加え、Routes[].DestinationCidrBlock,Routes[].GatewayIdを出力します。<->0.0.0.0/0があるサブネットがpublicサブネットです。

    Linux版その1 EC2の情報出力 https://opt-p.co.jp/blog/aws/post-1633/

    Linux版その2 RDSの情報出力 https://opt-p.co.jp/blog/aws/post-1718/

    Linux版その3 VPCの情報出力 https://opt-p.co.jp/blog/aws/post-2080/

    AWS CLIで情報を出力しようVPC編(Linux版-その3)

    VPCにはどの様な情報があるのだろうか?。一番気になるのは,CIDR,サブネット,どのようにしたら見れるのだろうか?

                 図A VPCの一覧を図で書いてみる

    1.利用中のリージョンのVPC情報を出力しよう

    利用中のVPC一覧を出力する場合は、以下のコマンドを実行します。

    aws aws ec2 describe-vpcs

                  図B VPC一覧出力

    json形式で出力されます。

    2.必要な情報のみ出力するようにしましょう

    オプションのqueryを使用することで絞り込みができます。
    以下の例は、CIDRとVPC名に絞った例です。トップレベルがVpcs,で(画像B 階層と項目)
    CidrBlockとtags[0]をdict{}に配置させます。

    aws ec2 describe-vpcs \
    --query "Vpcs[].[{CIDR:CidrBlock,Name:Tags[0].Value}]" \
    --out table

    オプションのqueryを使用することで絞り込みができます。
    –query オプションの順番を変えても出力順序は変わりません。CIDRが先に出力されます

    aws ec2 describe-vpcs \
    --query "Vpcs[].[{Name:Tags[0].Value,CIDR:CidrBlock}]" \
    --out table

               図C 項目を絞って出力

    VPCのCIDRとVPC名を出力できました。

    3.必要な情報(追加)出力するようにしましょう

    オプションのqueryを使用することで絞り込みができます。
    以下の例は、CIDRとVPCIdにVPCの名前を追加した例です。トップレベルがSubnets,で
    (画像D 階層と項目)CidrBlockとVpcIdをdict{}に配置させます。

    aws ec2 describe-vpcs \
    --query "Vpcs[].[{CIDR:CidrBlock,Name:Tags[0].Value,VpcId:VpcId}]" \
    --out table

                図D CIDRとVPC名とVPCID

    VPCのCIDRとVPC名とVPCIDを出力できました。

    4.サブネット情報を出力してみましょう

    VPCの情報出力では、サブネットの情報は出力されないので、サブネット情報
    を出力するコマンドでサブネット情報を出力しましょう。

    aws ec2 describe-subnets

                 図E サブネット情報

    サブネットの情報がjson形式で出力されます。

    5.必要な情報のみ出力するようにしましょう

    オプションのqueryを使用することで絞り込みができます。
    以下の例は、CIDRとVPCIdに絞った例です。トップレベルがSubnets,で(画像E サブネット情報)
    VPCid,CidrBlock,Nameを出力させます。

    aws ec2 describe-subnets --query "Subnets[].[VpcId,CidrBlock,Tags[0].Value]" \
    --out table

                  図F サブネットのCIDRとVPCID

    サブネットのCIDRとVPCIDが出力されます。

    6.VPCとサブネットの情報を出力しよう

    VPCの情報出力では、サブネットの情報は出力されないので、サブネット情報
    を出力するコマンドとVPC-Idをfilterに指定してサブネット情報を出力しましょう。

    aws ec2 describe-subnets \
    --filters "Name=vpc-id,Values=vpc-0e628XXXXXXXXYYYY" \
    --query "Subnets[].{CIDR:CidrBlock,VpcId:VpcId,Name:Tags[?Key=='Name'].Value}" \
    --out table

             図G サブネットとVPCID

    VPCIDをフィルターして、このVPCにどんなサブネットがあるのかがわかります。

    7.VPC CIDRとサブネット CIDRを出力しよう

    サブネットの情報(CIDR)とVPCのCIDRを出力したい。これにはちょっと工夫が必要です。
    コマンド一発というわけにはいかないのです。他に方法があるかもしれません。

    aws ec2 describe-subnets --query "sort_by(Subnets[].{VpcId:VpcId,SubnetCIDR:Cidr
    Block,AZ:AvailabilityZone},&VpcId)" \
    --out table > subnet.txt
    aws ec2 describe-vpcs \
    --query "Vpcs[].[{CIDR:CidrBlock,VpcId:VpcId}]" \
    --out text > vpc.txt
    ./replace.py

    more replace.py
    #!/usr/bin/env python3
    import textfile
    list_from_vpcs = []
    with open('vpc.txt') as f:
    	reader = csv.reader(f, delimiter='\t')
    	list_from_vpcs = [rows for rows in reader]
    for vpc in list_from_vpcs:
    	textfile.replace('subnet.txt',vpc[1],vpc[0])
    textfile.replace('subnet.txt','VpcId','VpcCIDR')
                図H サブネットCIDRとVPCCIDR

    先ず,サブネットの情報をサブネットのCIDRでソートしてsubnet.txtに出力させます。次に,vpc.txtにvpc情報を出力させます。そして、subnet.txtのファイルの中身を、vpc.txtのvpcIDと一致する項目をCIDRに置き換えています。また、表示名をVpcIdからVpcCIDRに変更しています。これで、サブネットとVPCの関係がわかります。

    8.InternetGWの情報を出力しよう

    InternetGWの情報を必要な項目のみ出力してみましょう

    aws ec2 describe-internet-gateways \
    --query "InternetGateways[].[{VPC_id:Attachments[0].VpcId,Name:Tags[0].Value}]" --out table

    オプションのqueryを使用することで絞り込みができます。
    上記の例は、InternetGatewaysがトップレベル次にVpcIdとTagsのValue情報を出力させています


                図J InternetGateway情報

    次回はInternetGWとVPC,サブネットCIDRを一緒に出力させる方法を書きます


    Linux版その1 EC2の情報出力 https://opt-p.co.jp/blog/aws/post-1633/

    Linux版その2 RDSの情報出力 https://opt-p.co.jp/blog/aws/post-1718/

    Linux版その4 色々な情報出力 https://opt-p.co.jp/blog/aws/post-2421/

    AWS CLIで情報を出力しようRDS編(Linux版-その2)

     RDSってどんな製品(エンジン)が利用できるのだろうか。一覧とかだして、確認
    することができたらいいな。AWSコンソールから操作すると、もし、何かミスをし
    て、他のシステムに影響があったら困るし、課金されても困る。どんなエンジンが
    あるかどうかさえ分かれば、いいのに。こんな時には、AWS CLIを使いましょう。

    1.現在利用中のRDSの情報を出力しよう!

    利用中のRDS一覧を出力する場合は、以下のコマンドを実行します。

    aws rds describe-db-instances

    画像A RDSの情報
                    画像A RDSの情報

    json形式で沢山出力されます。

    2.現在利用中のRDSで出力する情報を絞り込んでみよう!

    オプションのqueryを使用することで絞り込みができます。
    以下の例は、ClassとId,Engine,Endpointのアドレスに絞った例です。
    トップレベルがDBInstanceで(画像C 階層と項目)DBInstanceIdentifer,
    DBInstanceClass,Engineをdict{}に配置し、{EndPoint.Address}を分けて配置
    させます。DBinstanceIdentiferと同列に書くと縦長に配置されて出力されます。

    aws rds describe-db-instances \
    --query "DBInstances[].[{ID:DBInstanceIdentifier,Class:DBInstanceClass,\
    Engine:Engine},{Endpoint:Endpoint.Address}]" \
    --out table

    画像B 項目を絞って出力
                   画像B 項目を絞って出力
                  画像C 項目と階層

    3.利用可能なRDSのEngineとVersion情報を出力しよう!

    利用中のリージョンで、利用可能なRDS一覧を見たい場合に以下のコマンドを実行します。

    aws rds describe-db-engine-versions

    画像D 出力結果
                    画像D 出力結果

    json形式でどばーっと出力されます

    4 出力する情報を絞り込んでみよう!

    オプションのqueryを使用することで絞り込みができます。
    以下の例はDBParameterGroupFamilyとEngineversionのみに絞ったものです。
    DBParameterGroupFamilyが、このDBパラメータグループファミリー互換性のある名前で
    EngineVersion が、このエンジンのバージョンです。

    aws rds describe-db-engine-versions \
    --query "DBEngineVersions[*].[{FamiryName:DBParameterGroupFamily,Vesion:EngineVersion}]" \
    --out table

    画像E FamiryNameとVersion出力
                画像E FamiryNameとVersion出力

    queryオプションの設定は以下のようになります 結果は、Json形式で出力されます。
    これを踏まえて絞り込む内容を記述します。
    トップレベルが、DBEngineVersions[*]. (画像F 階層と項目)
    DBEngineVersions[*] .[{FamiryName:DBParameterGroupFamily,Vesion:EngineVersion}]
    下の階層(画像C 階層と項目)DBParameterGroupFamily項目)の値と、EngineVersion項目の値を
    {key1:value,key2:value}のdict形式でフォーマットして、項目名を出力するようにする

    画像F 階層と項目
                   画像F 階層と項目

    5 RDSのエンジンを指定してそのエンジン情報のみ出力しよう!

    5.1 エンジンにaurora-mysqlを指定

    aurora-mysqlのみ出力したい場合は、engineにaurora-mysqlを指定します。
    更にFamiryNameとVesionのみを出力するようにします。

    aws rds describe-db-engine-versions --engine aurora-mysql \
    --query "DBEngineVersions[*].[{FamiryName:DBParameterGroupFamily,Vesion:EngineVersion}]"\
    --out table

    画像G RDS aurora-mysql
                  画像G RDS aurora-mysql

    5.2 エンジンにoracle-eeを指定

    oracleの場合は、oracle-eeとoracle-seが利用可能です。–engineオプション にoracle-ee
    まで指定する必要があります。

    aws ds describe-db-engine-versions --engine oracle-ee \
    --query "DBEngineVersions[*].[{FamiryName:DBParameterGroupFamily,Vesion:EngineVersion}]"\
    --out table

    画像H oracle-ee
                    画像H oracle-ee

    6 VersionUp可能なエンジンを表示しよう!

    6.1 MariaDB 10.2.37からバージョンアップ可能なRDS一覧

    RDSを利用していると、現在利用しているエンジンのバージョンアップを要求される
    ことがあります。どのバージョンにアップしたら良いのか(可能なのか)が
    AWS CLIコマンドで確認できます。以下の例はmariadb 10.2.37からバージョンアップ
    可能なエンジンの一覧を出力するものです。

    echo 'mariadb 10.2.37 up'
    aws rds describe-db-engine-versions \
    --engine mariadb --engine-version 10.2.37 \
    --query "DBEngineVersions[].ValidUpgradeTarget[].[{Des:Description,Auto:AutoUp
    grade,Major:IsMajorVersionUpgrade,UpVersion:EngineVersion}]" \
    --out table

    画像J marriadb 10.2.37からバージョンアップ可能なRDS
         画像J marriadb 10.2.37からバージョンアップ可能なRDS

    queryオプションの指定はトップレベルが(画像K 階層と項目)DBEngineVersions 一つ下の
    レベルがValidUpgradeTargetそこを全て見るのでDBEngineVersions[*].ValidUpgradeTarget[*]
    その下の項目(画像L 指定項目)、Description,AutoUpgrade,IsMajorverVersion,EngineVersion
    をDict形式で指定する

    画像K 階層と項目
                     画像K 階層と項目
    画像L 指定項目
                     画像L 指定項目

    6.2 Oracle-ee 12.1.0.2.v2からバージョンアップ可能なRDS

    以下の例はoracle-ee 12.1.0.2.v2からバージョンアップ可能なエンジンの一覧を出力するものです。

    echo 'oracle-ee 12.1.0.2.v2 up'
    aws rds describe-db-engine-versions \
    --engine oracle-ee --engine-version 12.1.0.2.v2 \
    --query "DBEngineVersions[].ValidUpgradeTarget[].[{Version:EngineVersion,Auto:
    AutoUpgrade,Major:IsMajorVersionUpgrade}]" \
    --out table

    画像M oracle12.0.1.2V2からバージョンアップ可能なRDS一覧
    画像M oracle12.0.1.2.V2からバージョンアップ可能なRDS一覧 (画像を一部加工してます)

    7.感想

    RDSの情報でニーズがありそうな項目を出力するコマンドを実行してみました。
    今利用のバージョンからバージョンアップ可能な物は何があるかは、良く問い合わせがあります。
    何かのお役に立てば何よりです。

    Linux版その1 EC2の情報出力 https://opt-p.co.jp/blog/aws/post-1633/

    Linux版その3 VPCの情報出力 https://opt-p.co.jp/blog/aws/post-2080/

    Linux版その4 色々な情報出力 https://opt-p.co.jp/blog/aws/post-2421/