aws backupをAWS CLIコマンドで実行する

              図A システム構成図
              図Bバックアップボールドの作成
上記URLに記載があるように、次のポリシー2つをアタッチしたロールを作成
・AWSBackupServiceRolePolicyForBackup
・AWSBackupServiceRolePolicyForRestores
aws backup start-backup-job --backup-vault-name バックアップボールド名 \
--resource-arn arn:aws:ec2:ap-northeast-1:123456789012:instance/インスタンスid
 \
--iam-role-arn arn:aws:iam::123456789012:role/作成したロール名  \
--region ap-northeast-1
$./aws_backup
{
    "BackupJobId": "9905344f-40b9-4a35-941e-40bae97adf99",
    "CreationDate": "2024-01-12T13:44:12.548000+09:00",
    "IsParent": false
}
$./aws_backup

An error occurred (AccessDeniedException) when calling the StartBackupJob operation: Insufficient privileges to perform this action.
$aws backup describe-backup-job --backup-job-id 9905344f-40b9-4a35-941e-40bae97adf99
{
    "AccountId": "123456789012",
    "BackupJobId": "9905344f-40b9-4a35-941e-40bae97adf99",
    "BackupVaultName": "backp_xxxx",
    "BackupVaultArn": "arn:aws:backup:ap-northeast-1:123456789012:backup-vault:backp_xxxx",
    "RecoveryPointArn": "arn:aws:ec2:ap-northeast-1::image/ami-xxxxxxxxxxxxxxxxx",
    "ResourceArn": "arn:aws:ec2:ap-northeast-1:123456789012:instance/i-xxxxxxxxxxxxxxxxx",
    "CreationDate": "2024-01-12T13:44:12.548000+09:00",
    "CompletionDate": "2024-01-12T13:48:18.497000+09:00",
    "State": "COMPLETED",
    "PercentDone": "100.0",
    "BackupSizeInBytes": 32212254720,
    "IamRoleArn": "arn:aws:iam::123456789012:role/backup-xxxx-role",
    "ResourceType": "EC2",
    "BytesTransferred": 0,
    "StartBy": "2024-01-12T21:44:12.548000+09:00",
    "IsParent": false,
    "ResourceName": "Ama_linux2_xxxxxx",
    "InitiationDate": "2024-01-12T13:44:12.835000+09:00",
    "MessageCategory": "SUCCESS"
}
              図C バックアップジョブの確認
            図D バックアップボールトが作成されている

EC2インスタンスの停止保護(無効化/有効化)をAWS CLIとプログラム(Python)で実行してみる

EC2インスタンスの停止保護無効化、有効化をAWS CLIとpythonで実行してみる
              図A AWS 構成図
    aws ec2 modify-instance-attribute \
        --instance-id i-xxxxxxxxxxyyyyyyy \
        --no-disable-api-stop
                 図Bインスタンスの停止保護(AWSコンソール)
    aws ec2 modify-instance-attribute \
        --instance-id i-xxxxxxxxxxyyyyyyy \
        --disable-api-stop
                  図C インスタンスの停止保護(AWSコンソール)
    #!/usr/bin/python3.8
    import sys
    import boto3
    import botocore
    import os
    import traceback
    def get_abc():
            try:
                    client = boto3.client('ec2')
                    response = client.modify_instance_attribute(
                    InstanceId='i-xxxxxxxxxxxyyyyyy',
                    DisableApiStop={
                            'Value': False,
                    },
                    )
                    return(response)
            except Exception as ex:
                    err_message = ex.__class__.__name__
                    t = traceback.format_exception_only(type(ex), ex)
                    print(t,err_message)
                    sys.exit(1)
    
    if __name__ == '__main__':
            response = get_abc()
            print('status=',response['ResponseMetadata']['HTTPStatusCode'])
            print('date',response['ResponseMetadata']['HTTPHeaders']['date'])
            print('server=',response['ResponseMetadata']['HTTPHeaders']['server'])
    boto3を最新にupdateしないと、エラーになることがあります。
    pip3 install -U boto3 
    2023/12/07時点では boto3-1.33.8 のようです
    status= 200
    date Thu, 07 Dec 2023 04:56:22 GMT
    server= AmazonEC2
    response(実行結果)はdictで返却されます。HTTPStatusCode=200が返却されれば
    成功です。HTTPStatusCode,date,serverを出力しています。
    停止保護有効化したインスタンスを停止させようとすると、エラーになります。
    "botocore.exceptions.ClientError: An error occurred (OperationNotPermitted) when calling the StopInstances operation: The instance 'i-xxxxxxxxxyyyyy' may not be stopped. Modify its 'disableApiStop' instance attribute and try again.\n"] ClientError

    AWS ECSサービスを構築しよう(その2)

    ECSサービス構築の二回目です。前回は,ECRに登録するdockerイメージをコンテナから作成するところまででした。今回は,ECRリポジトリーに登録,ECSサービスの構築手順です。
                図A 利用するAWSリソースと構成図

    1. ECRにリポジトリ作成

    作成したコンテナイメージを、コンテナレジストリのフルマネージドサービスである Amazon Elastic Container Registry (Amazon ECR) にアップロード(Push)します。
    作成したコンテナイメージを、コンテナレジストリで一元管理することで、様々なコンテナ実行環境で利用しやすくなるメリットがあります。AWS コンソールにログインして,ECRリポジトリを作成します。
    引用url ECRとは
                   図B リポジトリ作成
    このuriをコピーして,メモしておきます。後で、イメージのtag付けに必要になります。

    1.2. EC2クライアントからECRにログインする

    EC2クライアントから,ECRにpushする為に,ECRにログインする必要があります。ログイン用のスクリプトを作成します(login.sh)。そのスクリプトを利用してECRにログインします。
    参照した URL AWS ECRにdockerイメージを登録する
    aws ecr get-login --no-include-email --region ap-northeast-1 > login.sh ←一行です
    [ec2-user@ip-10-128-1-19 ECR]$ bash ./login.sh
    WARNING! Using --password via the CLI is insecure. Use --password-stdin.
    WARNING! Your password will be stored unencrypted in /home/ec2-user/.docker/config.json.
    Configure a credential helper to remove this warning. See
    https://docs.docker.com/engine/reference/commandline/login/#credentials-store
    
    Login Succeeded ← これが出ればログイン成功
    
    前回作成したイメージから,ECR登録用のイメージtagを作成します。先ほど,コピーしておいた,uriが必要になります。
    (123456789012はアカウントID)
    docker tag redminesql:latest \
    123456789012.dkr.ecr.ap-northeast-1.amazonaws.com/redmine6:latest
    
    ECRにイメージをpushします
    (123456789012はアカウントID)
    docker push 123456789012.dkr.ecr.ap-northeast-1.amazonaws.com/redmine6:latest ← 一行です
    
    これで,ECRのリポジトリにdockerイメージの登録が完了しました。
    図AのECR Registoryです。

    2. ECSサービスの構築

    ECSサービスの構築は,ECSクラスターの作成,タスクの定義,サービスの作成という手順で行います。

    2.1 ECSクラスターの作成

    ECS クラスターは、コンテナを動かすための論理的なグループです。ECS を操作するために、まずは ECS クラスターを作成します。AWSコンソールから,クラスターの作成を行います。
    ecs→クラスターの作成をクリックします。設定内容は,クラスター名,実行するVPC,サブネットです。
    引用url ECSクラスターの作成
                図C ECSクラスターの作成1
                  図D ECSクラスターの作成2

    2.2. タスク定義

    タスク定義とは、アプリケーションを動かすために、どのようにコンテナを動かすか、コンテナの動作を定義したものです。 例えば、コンテナイメージの種類、アプリケーションが利用するポート、コンテナが利用するデータボリュームなどを指定できます。
    コンテナを動かす際のブループリントとして機能します。タスク定義をawsコンソールから行います。設定内容は,タスク定義名,ECRのuri,コンテナのlistenポート番号,動作させるサーバ(今回はFargate)です。
    引用 URL タスク定義
                  図E タスク定義1
                  図F タスク定義2
                  図G タスク定義3
                  図H タスク定義4

    2.3. サービスの作成

    サービスとは、ECS 上でコンテナを動かすときに利用する概念の一つです。
    サービスを使用すると、 Amazon ECS クラスターで、指定した数のコンテナ群(タスク)を維持できます。作成するサービスの定義をします。設定内容は,タスク定義の選択,サービス名,実行するVPC,サブネット,セキュリティグループ,ALBです。
    引用url サービスとは
                  図I サービス作成1
                  図J サービス作成2
                  図K サービス作成3
                  図L サービス作成4
                  図M サービス作成5
                     図N サービス作成6

    3.サービスの実行

    サービスの作成に成功したら,サービスを実行します。作成したサービスを選択する。ネットワーキングをクリック。オープンアドレス(ALBのアドレス)をクリックです。
                  図O サービスの実行1
                  図P サービスの実行2
                  図Q サービスの実行3
                  図R サービスの実行4
    ALB経由で,Fargateコンテナのredmineログイン画面が出れば作成完了です。

    AWS ECSサービスを構築しよう(その1)

    Redmine4.2と,依存関係でDBが必要なので,mariaDB(10.11.2)(MySQL系)2つのdockerコンテナを作成します。Redmineコンテナ起動後にwebhookというpluginをインストール,更にDBをRDS(mySQL)に変更後,作成したコンテナからイメージを作成し,ECRに登録します。そのイメージからECSサービスをデプロイします。今回は,ECRに登録するイメージを作成するまでの手順です。

    1. 利用するAWSのリソースと作成するシステム構成図

                 図A システム構成図

    2. Docker環境構築

    EC2(図AのDockerコンテナ)にdocker,docker-composeをインストールして,dockerが動作する環境を構築します。
    #Dockerのインストール
    sudo yum install -y docker
    sudo systemctl start docker
    sudo usermod -a -G docker ec2-user
    #自動起動を有効にする
    sudo systemctl enable docker
    #docker-composeのインストール
    sudo curl -L https://github.com/docker/compose/releases/download/1.28.5/docker-compose-`uname -s`-`uname -m` -o /usr/local/bin/docker-compose  ←一行です
    sudo chmod +x /usr/local/bin/docker-compose
    
    #Docker Composeが使用できるか確認
    /usr/local/bin/docker-compose --version
    docker-compose version 1.28.5, build c4eb3a1f
    
    コマンド docker ps とすると以下のメッセージ出力
    #Got permission denied while trying to connect to the Docker daemon socket at unix:///var/run/docker.sock: Get "http://%2Fvar%2Frun%2Fdocker.sock/v1.24/containe
    rs/json": dial unix /var/run/docker.sock: connect: permission denied
    ###対策 dockerグループにec2-userを追加
    sudo usermod -g docker ec2-user
    

    3. docker-compose.ymlファイルを作成して、docker コンテナを作成

    作成するコンテナの設計図ですね。今回は,redmineとそのDBのコンテナを作成して,webhookというPluginを入れ、更にDBをRDS(Mysql)に変更します。
    version: '3.8'
    services:
      redmine:
        image: redmine:4.2
        container_name: redmine
        ports:
          - 80:3000
        environment:
          REDMINE_DB_MYSQL: redmine-db
          REDMINE_DB_PASSWORD: xxxxxx
        depends_on:
          - redmine-db
        restart: always
    
      redmine-db:
        image: mariadb
        container_name: redmine-db
        ports:
          - 3306:3306
        environment:
          MYSQL_ROOT_PASSWORD: xxxxxx
          MYSQL_DATABASE: redmine
        volumes:
          - ./data/db:/var/lib/mysql
        command: mysqld --character-set-server=utf8 --collation-server=utf8_unicode_ci
        restart: always

    4. Docker コンテナの作成と起動

    docker-compose.ymlファイルのあるディレクトリで以下のコマンドを実行します。完了したら,docker ps -a コマンドで動作しているかどうか確認します。
    sudo su
    cd /usr/local/src/redmine
    /usr/local/bin/docker-compose  up -d
    $ docker ps -a
    CONTAINER ID   IMAGE         COMMAND                  CREATED         STATUS         PORTS                                       NAMES
    9e7f0be2bc5b   redmine:4.2   "/docker-entrypoint.…"   7 seconds ago   Up 5 seconds   0.0.0.0:80->3000/tcp, :::80->3000/tcp       redmine
    3cd27d886b4f   mariadb       "docker-entrypoint.s…"   8 seconds ago   Up 6 seconds   0.0.0.0:3306->3306/tcp, :::3306->3306/tcp   redmine-db
    
    
    docker コンテナが作成されて起動されているのがわかります。Webでアクセスして確認しましょう。アドレスは、EC2のグローバルアドレスです。http://xx.xx.xx.xx/ログイン出来ればOKです。
                   図B redmineログイン画面

    5. webhook pluginをコンテナにインストール

    作成したコンテナ(図AのDockerコンテナ)にwebhookというpluginをインストールします。
    #Docker コンテナの中に入ります
    docker container exec -it redmine bash
    # pluginsディレクトリに移ります
    root@f3baf480c406:/usr/src/redmine# cd plugins/
    root@f3baf480c406:/usr/src/redmine/plugins# git clone https://github.com/suer/redmine_webhook.git ← 一行
    root@f3baf480c406:/usr/src/redmine/plugins#  cd redmine_webhook
    root@f3baf480c406:/usr/src/redmine/plugins/redmine_webhook# bundle install
    rake redmine:plugins:migrate RAILS_ENV=production
    #docker コンテナから抜けます
    root@f3baf480c406:/usr/src/redmine/plugins/redmine_webhook# exit
    
    redmine コンテナを再起動します。
    docker stop redmine
    docker start redmine
    ブラウザでアクセスして、管理タブをクリックプラグインが表示されればOKです。
                図C webhook pluginインストール後

    6. RDSと接続

    privateサブネットに作成したRDS(Mysql)に接続させるように変更していきます。
    #database接続定義(database.yml)の作成
    
    production:
      adapter: "mysql2"
      host: "databasexxx.xxxxxx.ap-northeast-1.rds.amazonaws.com"
      port: "3306"
      username: "Admin"
      password: "xxxxxx"
      database: "redmine_db"
    
    database.ymlをdockerコンテナ内にコピー
    sudo docker cp database.yml redmine:/usr/src/redmine/config/
    
    #redmine  migrate実行
    #docker コンテナ内部に入ります
    docker container exec -it redmine bash
    /usr/src/redmin/# bundle exec rake generate_secret_token
    /usr/src/redmine# bundle exec rake db:migrate RAILS_ENV=production
    
    これで,ECSサービスとして起動可能なredmineコンテナが作成できました。
    このコンテナを利用してECRに登録するimageを作成します。

    7. ECR登録用のイメージ作成

    作成したDockerコンテナからECRに登録するイメージを作成します。
    #コンテナからイメージの作成
    $ docker commit redmine redminesql
    
    #イメージの確認
    $ docker images
    REPOSITORY        TAG       IMAGE ID       CREATED         SIZE
    redminesql        latest    304ab9ccde49   8 seconds ago   554MB
    fortune-whale     latest    0df1bdab20e2   2 days ago      280MB
    redmine           4.2       d4ea63462562   2 days ago      531MB
    mariadb           latest    4a632f970181   2 weeks ago     401MB
    docker/whalesay   latest    6b362a9f73eb   7 years ago     247MB
    
    これで登録するdockerのイメージが作成できました。次回は、ECRにログインしてimageの登録,ECSのデプロイ,ECSタスクの実行する手順です。

    AWS CLIで情報を出力しよう 色々編(Linux版その4)

    1. AWS CLIコマンドのヴァージョンアップをしよう

    $curl https://awscli.amazonaws.com/awscli-exe-linux-x86_64.zip -o "awscliv2.zip"
    $unzip awscliv2.zip
    $sudo ./aws/insstall --update
    $aws --version
    aws-cli/2.9.10 Python/3.9.11 Linux/5.10.157-139.675.amzn2.x86_64 exe/x86_64.amzn.2 prompt/off

    2022/12/27 時点で最新バージョンです 詳しくは、以下を参照 AWS CLI 最新バージョンをインストールまたは更新する
    https://docs.aws.amazon.com/ja_jp/cli/latest/userguide/getting-started-install.html

    2. 前回の復習 InternetGW情報を出力しよう

    InternetGWの情報を必要な項目のみ出力してみよう

    $aws ec2 describe-internet-gateways \
    --query "InternetGateways[].[{VPC_id:Attachments[0].VpcId,Name:Tags[0].Value}]" --out table

                 図 A InternetGWの情報

    3. AWSが保持しているグルーバルアドレスCIDRを表示しよう

    3.1 AWSが保持している東京リージョンのグローバルCIDRの表示

    AWSが保持しているグルーバルアドレスのCIDRが公開されています。(json形式)その内容から東京リージョンのIPレンジのみを出力します。

    $curl https://ip-ranges.amazonaws.com/ip-ranges.json | \
    jq -r '.prefixes[] | select(.region=="ap-northeast-1") | .ip_prefix'

    curl コマンドでjsonファイルを取ってきます。 jp コマンドでリストになっているprefix[]からreginがap-northeast-1(東京)のもので、ip_prefix項目のみ出力させます

    jq コマンドは以下でインストールしてみてください

    $sudo yum install jq

                図B 東京リージョンのIPアドレスレンジ

    3.2AWSが保持している東京リージョンでEC2のグルーバルアドレスCIDRを表示

    東京リージョンでEC2のIPレンジのみを出力します。

    $curl https://ip-ranges.amazonaws.com/ip-ranges.json | \
    jq -r '.prefixes[] | select(.service=="EC2" and .region=="ap-northeast-1") | .ip
    _prefix'

    curlコマンドでjsonファイルを取ってきます。jpコマンドでリストになっているprefix[]からreginがap-northeast-1(東京)かつ serviceがEC2のip_prefixのみを出力させます

               図C 東京リージョンEC2のIPアドレスレンジ

    4. AWS Health イベントで使用されるサービス名の一覧を出力

    HealthイベントをEventBridge経由で監視するイベントルールの対象を特定のサービスとする場合に、対象のサービス名は、”A2I”、”SSM”と選択可能である、これがなんのサービスかわかりたい

    $aws health describe-event-types

                 図D Health サービス名一覧

    Health イベントで使用されるサービス名の一覧は、aws health describe-event-types コマンドで出力できます。json形式で出力されます。沢山出力されるのである程度絞り込みを行います。

    $aws health describe-event-types | \
    jq -r '.eventTypes[] | select(.service=="SSM" or .service=="A2I") | .code'

       図E Health A2IとSSMに絞り込み出力

    Health イベントで使用されるサービス名の一覧は、aws health describe-event-types コマンドで出力できます。これでは、沢山出力されるので、対象を絞ります。 jqコマンドのselectを利用して SSMとA2Iに絞ります。そして、codeの部分のみを出力します。A2IはAmazon Augmented AI(AmazonA2I)のことだそうです。「A2I aws」で検索するとヒットします。

    5. AWS WindowsのAMI一覧を出力しよう

    Windows-serverのAMIはどのような物があるか、質問が良くあります。AWS CLIコマンドを使って出力できます。(Windows-server2019の例です)

    $aws ec2 describe-images \
    --owners amazon \
    --filters "Name=name,Values=Windows_Server-2019-*" \
    --query "sort_by(Images,&Name)[].[Name,ImageId]" \
    --out table

               図F  windows-server-2019 AMI情報

    imageは、aws ec2 describe-imageコマンドで出力します。filterオプションで windows_Server-2019-*のみを対象にします。更に、queryで ImagesNameとImageIdをsortして出力します。

    6. routeテーブルを見て、publicサブネットかどうか判断しよう

    publicサブネットかどうかは、routeテーブルを見ないとわかりません。ルートテーブルの(0.0.0.0/0)があるかどうかで判断できます。

    $aws ec2 describe-route-tables \
    --query "RouteTables[].{Sub:Associations[].SubnetId,Id:RouteTableId,rou:join('<->',Routes[].DestinationCidrBlock),INgw:Routes[].GatewayId}"\
    --out text

                図G ルートテーブルと0.0.0.0/の関係

    routeテーブルを出力します。queryで出力項目を絞り込みます。Associations[].SubnetIdとRouteTableId,join(‘<->’)で文字列を加え、Routes[].DestinationCidrBlock,Routes[].GatewayIdを出力します。<->0.0.0.0/0があるサブネットがpublicサブネットです。

    Linux版その1 EC2の情報出力 https://opt-p.co.jp/blog/aws/post-1633/

    Linux版その2 RDSの情報出力 https://opt-p.co.jp/blog/aws/post-1718/

    Linux版その3 VPCの情報出力 https://opt-p.co.jp/blog/aws/post-2080/