Amazon ECS로 Swift 웹 어플리케이션 실행하기

원문: Running Swift Web Applications with Amazon ECS

Swift는 안전, 성능 및 소프트웨어 디자인 패턴에 대해 현대적으로 접근해 만들어진 범용 프로그래밍 언어입니다. Swift의 목표는 시스템 프로그래밍에서 데스크탑과 모바일 어플리케이션 프로그래밍, 클라우드 서비스까지 확장하는 최고의 언어가 되는 것입니다. 개발자로서 동일한 스택으로 어플리케이션을 구성할 수 있다는 가능성과 Swift의 장점을 클라이언트 및 서버단에서 활용할 수 있다는 사실에 흥분했습니다. 코드는 더욱 간결해지고 iOS 환경과 더 밀접하게 통합됩니다.

이 글에서 Swift를 이용해 웹 어플리케이션을 만들고 우분투 리눅스 이미지와 Amazon ECR을 사용해 Amazon ECS에 배포 하는 방법에 대해 설명합니다.

컨테이너 배포 개요

Swift는 우분투에서 사용할 수 있는 버전의 컴파일러를 제공합니다. 컴파일러 외에도 웹 서버, 컨테이너 전략 및 트레픽 최고치를 자동으로 확대하는 자동 클러스터 관리가 필요합니다.

다음은 서비스를 클라우드에 배포 할 때 내려야 할 결정들입니다:

  • HTTP server Swift를 지원하는 HTTP 서버를 선택하세요. Vapor가 가장 쉽습니다. Vapor는 iOS, MACOS 및 우분투에서 동작하는 Swift 3.0의 type-safe한 웹 프레임워크입니다. Swift 어플리케이션을 배포하는 것은 매우 간단하고 쉽습니다. Vapor는 새 Vapor 어플리케이션을 만들고, Xcode 프로젝트를 생성 및 빌드하는 것 뿐만 아니라 어플리케이션을 Heroku 또는 Docker에 배포 하는 것을 도와주는 CLI를 가지고 있습니다. 다른 Swift 웹 서버도 좋지만 이 글에서는 제가 시작하기에 쉽다고 생각한 Vapor를 사용하겠습니다.

Tip: Vapor 슬렉 그룹에 들어오세요, 매우 도움이 됩니다. 질문이 있다면 원하는 답변을 받을 수 있습니다.

  • Container model Docker는 배포된 어플리케이션을 소프트웨어 컨테이너 안에서 빌드, 실행, 테스트, 배포 할 수 있게 해주는 오픈 소스 기술입니다. Docker를 사용하면 개발을 위해 표준화된 단위로 소프트웨어를 패키징 할 수 있습니다. 여기에는 소프트웨어 실행에 필요한 모든 것이 포함됩니다: 코드, 런타임, 소프트웨어 툴, 시스템 라이브러리 등 Docker는 빠르고 안전하고 일관되게, 환경에 구애받지 않고 어플리케이션을 배포 할 수 있게 해줍니다.
    이 글에서는 Docker를 사용하지만 Heroku를 선호하는 경우 Vapor도 Heroku와 호환됩니다.
  • 이미지 저장소 Docker를 컨테이너 배포 단위로 선택한 후에는 규모에 맞춰 배포를 자동화 하기 위해 Docker 이미지를 저장소에 저장해야 합니다. Amazon ECR은 완벽하게 관리되는 Docker 레지스트리며 AWS IAM 정책을 사용해 저장소를 안전하게 보호할 수 있습니다.
  • 클러스터 관리 솔루션 Amazon ECS는 확장성이 뛰어나고 Docker 컨테이너를 지원하는 성능이 좋은 컨테이너 관리 서비스며 Amazon EC2 인스턴스의 관리 클러스터에서 어플리케이션을 쉽게 실행할 수 있게 해줍니다. ECS가 있으면 자체 클러스터 관리 인프라를 실치하고 운영하고 확장 할 필요가 없습니다.

ECS를 사용하면 자체 클러스터 인프라를 설치, 운영 확장 할 필요가 없기 때문에 컨테이너를 어플리케이션의 한 부분(분산 또는 기타)으로 채택하는것이 쉽습니다. ECS에서 Docker를 사용하면 장기간 실행되는 어플리케이션, 서비스 및 배치 프로세스를 유연하게 스케줄링 할 수 있습니다. ECS는 어플리케이션 가용성을 유지 관리하며 컨테이너를 확장 할 수 있게 해줍니다.

1

HTTP 서버(Vapor)에서 실행되는 Swift 웹 어플리케이션이 있고, 이 서버는 컨테이너(Docker)에 배포 되었으며, 이미지는 수평으로 확장할 수 있도록 자동 클러스터 관리(ECS)가 있는 보안 저장소 (ECR)에 저장되어 있습니다다.

AWS 계정 준비하기

  1. AWS 계정을 가지고 있지 않다면 http://aws.amazon.com에 접속해 화면의 명령을 따라 계정을 생성하세요.
  2. 네비게이션 바에 있는 지역 선택자를 사용해 Swift 웹 어플리케이션을 배포하고 싶은 AWS 지역을 선택하세요.
  3. 원하는 지역에서 보안 키를 만드세요.

둘러보기

다음은 Swift로 작성된 웹 어플리케이션을 설정하고 ECS에 배포하는데 필요한 단계들입니다:

  1. AWS CloudFormation template 인스턴스를 다운로드하고 실행하세요. CloudFormation template은 Swift, Vapor, Docker 및 AWS CLI를 설치합니다.
  2. SSH로 인스턴스에 접속하세요.
  3. vapor 예제 코드를 다운받으세요.
  4. 로컬에서 Vapor 웹 어플리케이션을 테스트하세요.
  5. 새로운 API를 포함해서 Vapor 예제 코드를 향상시키세요.
  6. 코드를 저장소에 푸쉬하세요.
  7. 코드를 도커 이미지로 만드세요.
  8. 이미지를 Amazon ECR에 푸쉬하세요.
  9. Swift 웹 어플리케이션을 Amazon ECS에 배포하세요.

세부 단계

  1. CloudFormation template을 다운로드하고 EC2 인스턴스를 작동시키세요. CloudFormation은 Swift와 Vapor, Docker 및 git을 설치하고 설정합니다. 인스턴스를 시작하려면 여기서 CloudFormation을 실행하세요.
  2. SSH로 인스턴스에 접속하세요:
    ssh –i ec2-user@<bastion host ip>
  3. vapor 예제 코드를 다운받으세요. 이 코드는 웹 어플리케이션에 사용중인 예제를 배포하는데 도움이됩니다:
    git clone https://github.com/awslabs/ecs-swift-sample-app.git
  4. Vapor 어플리케이션을 로컬에서 테스트하세요:
    1. Vapor 프로젝트 빌드:
      cd ~/ecs-swift-sample-app/example \
      vapor build
    2. Vapor 프로젝트 실행:
      vapor run serve --port=8080
    3. 서버 실행 확인(새 터미널 창에서):
      ssh -i ubuntu@ curl localhost:8080
  5. Vapor 코드를 향상시키세요:
    1. 샘플 어플리케이션에 새 route를 추가하는 가이드를 따라 하세요: https://Vapor.readme.io/docs/hello-world
    2. 웹 어플리케이션을 로컬에서 테스트하세요:
      bash vapor run serve --port=8080 curl http://localhost/hello.
  6. 변경사항을 커밋하고 깃허브 저장소에 푸쉬하세요:
    git add –all
    git commit –m
    git push
  7. 코드를 이용해 새 도커 이미지를 빌드하세요:
    docker build -t swift-on-ecs \
    --build-arg SWIFT_VERSION=DEVELOPMENT-SNAPSHOT-2016-06-06-a \
    --build-arg REPO_CLONE_URL=https://github.com/awslabs/ecs-swift-sample-app.git/ \
    ~/ ecs-swift-sample-app/example
  8. ECR에 업로드: ECR 저장소를 만들고 Amazon ECR 시작하기에 있는 단계를 따라 이미지를 푸쉬하세요.
  9. ECS 클러스터를 생성하고 Amazon ECS 시작하기에 있는 단계를 따라 작업을 실행하세요:
    1. 작업을 생성할 때 ECR 이미지에 전체 레지스트리/저장소:태그 이름을 사용해야 합니다. 예를 들면, aws_account_id.dkr.ecr.us-east-1.amazonaws.com/my-web-app:latest.
    2. 포트 포워딩을 8080으로 설정해야 합니다.
  10. 이제 컨테이너로 가서 public IP 주소를 확인하고 결과를 보기 위해 접속해 봅시다.
    1. 실행 중인 작업을 열고 URL을 확인합니다:
      2
    2. 브라우저에서 URL에 접속합니다:
      3

당신의 첫 번째 Swift 웹 어플리케이션이 지금 실행되고 있습니다.

이제, 서비스를 확장하기 위해 ECS with Auto Scaling를 사용할 수 있고 서비스를 모니터링 하기 위해 CloudWatch metrics 와 CloudWatch events를 사용할 수 있습니다.

결론

Swift의 장점을 활용하고 싶다면, Amazon ECS와 Amazon ECR을 활용해 Vapor를 웹 컨테이너로 사용하고 Swift 웹 어플리케이션을 대규모로 배포할 수 있으며 클러스터 관리를 Amazon ECS에 위임할 수 있습니다.

이 글을 넘어서 Swift를 가지고 할 수 있는 많은 흥미로운 것들이 있습니다. Swift를 더 배우시려면 추가적인 Swift 라이브러리들을 보시고 Swift 문서를 읽어보세요.

질문이나 제안이 있으시면 코멘트로 남겨주세요.

당신이 AWS 계정을 만들고 가장 먼저 해야 할 일 들과 하지 말아야 할 일 들

이 글은 tmknom님이 Qiita에 올려주신 ‘AWS 계정을 만들고 나서 바로 해야 할 일들 정리(AWSアカウントを取得したら速攻でやっておくべき初期設定まとめ)‘에서 영감을 받아 작성되었습니다. 처음 AWS 계정을 만들고 나서 무엇을 해야 할 것인가도 중요하지만 하지 말아야 할 것을 아는 것도 중요하기 때문에 해야 할 것들과 하지말아야 할 것들에 대해서 정리해 보았습니다.


AWS 계정(루트 사용자) 보호

루트 사용자란?

AWS에 가입할때 맨 처음 만드는 e-mail어드레스와 패스워드로 인증하는 계정을 루트 사용자 라고 합니다. 이 루트 사용자는 그야말로 모든 권한을 지니고 있으며 권한에 대한 제약이 불가능하기 때문에 각별히 신경써서 다루어야 합니다. AWS의 모범사례에 의하면 AWS 루트 사용자를 만든 이후 가장 먼저 해야 할 일은 IAM 계정을 만들고 권한을 부여할 수 있는 IAM 관리자 계정을 만들고 이후 루트 사용자 대신 그 계정을 사용하는 것 입니다. 루트 사용자는 원칙적으로는 평상시엔 사용하지 않는 것이 좋습니다. 혹시 이 글을 읽으시는 분 중에 아직 루트 사용자를 이용하여 작업을 하시는 분이 계시다면 지금 즉시 관리자 권한을 지닌 IAM유저를 만들고 루트 사용자의 사용을 중지하시기 바랍니다.

AWS 계정에 대한 액세스 키를 만들지 말 것

AWS는 패스워드 인증 이외에 CLI나 SDK 사용을 위한 액세스 키 인증을 제공합니다. 하지만 루트 사용자에 대해서 액세스 키를 만들지는 마세요. 이미 있다면 삭제하시고 다른 IAM유저의 액세스 키를 사용해서 작업하시기 바랍니다.

루트 사용자 암호 변경

루트 사용자의 경우 강력한 암호를 사용하시기 바랍니다. 루트 사용자의 암호 변경 방법은 아래 링크에서 확인하실 수 있습니다.

루트 사용자에 대해 MFA 활성화

보안을 강화하기 위해 패스워드만 사용한 인증보다는 MFA(Multi-Factor Authentication)을 사용한 인증을 설정해 두세요. AWS에서는 Google Authenticator와 같은 개방형 TOPT 표준을 지원하는 애플리케이션을 MFA에 사용할 수 있습니다. 루트 사용자의 인증에 MFA를 설정하는 방법은 아래 링크를 참고하시기 바랍니다.

관리자용 IAM 그룹과 사용자의 작성

관리자용 IAM그룹을 만들고 IAM 사용자를 작성하여 관리자 그룹에 배치시킵니다. 구체적인 방법은 아래 링크를 참고하세요.

IAM유저 중에서도 관리자 권한과 같은 중요한 권한을 지닌 유저에 대해서는 MFA사용을 강제하는것이 좋습니다. 루트 사용자가 아닌 IAM유저에 대해서는 하드웨어 MFA나 가상 MFA이외에 휴대폰 문자 메세지(SMS)에 의한 MFA 사용도 가능합니다.

암호 정책 구성

관리자용 계정으로 로그인 한 후에 암호 정책을 설정하여 IAM 사용자의 암호에 대하여 복잡성 요건과 의무적인 교체주기를 지정할 수 있습니다.

보안 상태(Security Status)의 확인

여기까지 진행하셨다면 AWS를 안전하게 사용하기 위한 최소한의 조치가 완료되었습니다. IAM 서비스 페이지(https://console.aws.amazon.com/iam/home)로 이동하면 Security Status가 다음과 같이 모두 녹색이 되어 있는것을 확인합니다.

Security Status

청구정보 관련 설정

IAM에 대한 설정이 끝났다면 다음은 청구정보에 대한 설정을 진행해 봅시다.

IAM유저의 청구서 정보에 대한 액세스 허가

기본설정에서는 루트 사용자 이외에 유저가 청구정보에 접극하는것이 허가되어 있지 않습니다. 루트 사용자를 가급적 사용하지 않기 위해 IAM유저가 청구서 정보에 접근할 수 있도록 허가해 봅시다.

IAM유저에 대해 결제 정보 액세스를 허용했다면 이후 작업은 관리자 권한을 지닌 IAM유저를 사용해서 진행 할 수 있습니다.

청구정보와 비용 관리에 대한 설정

이메일로 청구서 받기

아래 링크의 지시에 따라 간단한 설정으로 이메일로 청구서를 받아볼 수 있습니다.

또한 프리티어 한고를 초과할 경우 메일이나 휴대폰 문자(SMS)를 통해 알려주는 결제 경보를 생성할 수도 있습니다.

그 밖의 설정들

이메일 설정

AWS로부터의 이메일을 설정합니다. 마케팅 메일을 받을지는 알아서들…

AWS Email Preferences

CloudTrail 유효화

AWS API호출에 대한 이력을 추적할 수 있는 CloudTrail이라는 서비스가 있습니다. 추적 내용은 S3 버킷에 저장됩니다.

git-secrets

git-secrets는 AWS가 만들어 공개하고 있는 툴로서 시크릿 액세스키와 같은 비밀 정보가 git에 커밋 되는 것을 막아줍니다.

GitHub에는 이렇게 잘못 올라온 비밀정보를 노리는 봇들이 수없이 동작하고 있어 실수로 정보가 공개되게 되면 악용되게 될 소지가 큽니다.

Lambda + CloudWatch Events + KMS를 사용하여 AWS 메니지먼트 콘솔에 대한 무단 액세스를 빠르게 감지하기

제목 그대로 입니다. 사실 내용이 초급자가 진행하기엔 만만치 않지만 도움이 되시는 분 도 있을것 같아 링크를 올려봅니다. 원문은 일본어 기사인데 조만간 번역해서 소개해 보기로 하고 일단은 구글번역 링크를 적어봅니다.

끝으로

이것으로 일단 가장 기본적인 설정이 끝났습니다.

추가적으로는 아래 IAM 모범 사례의 내용을 살펴보고 적용시킴으로서 더욱 강력한 보안을 확보 할 수 있습니다. 몇가지는 이 글과 겹치는 부분도 있지만 상세한 내용을 읽고 확인해 두는것도 좋을듯 합니다.

AWSKRUG 신년 콘퍼런스 – re:Invent 특집 (1월 21일)

아마존 웹 서비스를 사용자들이 운영하는 커뮤니티인 “AWS한국사용자모임(AWSKRUG)”에서는 작년 11월 미국 라스베가스에서 열린 AWS re:Invent 2016 행사에 직접 참여하셨던 개발자 분들을 목소리를 통해 클라우드 컴퓨팅의 미래에 대해 알아 보실 수 있는 공유 행사를 개최합니다. 개발자들이 흥미로워할 만한 신규 클라우드 서비스에 대한 심도 있는 세션을 준비했으니 관심 있는 분들의 많은 참여 바랍니다.

  • 일시: 2017년 1월 21일(토) 오후 1시-6시
  • 장소: 세종대학교 학생회관 (지하철 7호선어린이 대공원역 6번출구)
  • 참가 신청: http://onoffmix.com/event/84915

■ 주요 주제

  • 개발자를 위한 Amazon Lightsail Deep-Dive, 정창훈 (당근마켓 개발자)
  • Amazon Athena를 통한 데이터 분석하기, 김명보(VCNC 개발자)
  • Amazon Lex를 이용한 초간단 인공지능 챗봇 만들기, 이두희 (멋쟁이 사자처럼)
  • AWS Step Functions을 통한 서버리스 마이크로서비스 만들기, 김현민 (4CSoft 개발자)
  • Blox: Docker 클러스터링에 ECS만으로는 부족하셨다고요?, 유은총 (스포카 개발자)
  • 실시간 유동 인구 측정을 위한 서버리스 분석 플랫폼 구축 사례, 김승연(제로웹CTO)
  • AWS re:Invent 신규 서비스 총정리, 윤석찬 (AWS 테크에반젤리스트)

Webpack과 자바스크립트용 AWS SDK 를 사용해 어플리케이션을 만들고 번들하기 – 파트 2

※ 원문: https://aws.amazon.com/ko/blogs/developer/using-webpack-and-the-aws-sdk-for-javascript-to-create-and-bundle-an-application-part-2/

이전 글에서 webpack과 자바스크립트 AWS SDK를 사용해서 어플리케이션을 만들고 번들하는 방법에 대해서 소개했습니다.

이번 글에서는 필요한 AWS 서비스로만 번들 만들기, Node.js에서도 동작하는 번들 생성하기와 같은 다른 기능을 파헤쳐보겠습니다.

개별 서비스를 포함하기

webpack을 사용하는 것의 장점 중 하나는 webpack이 의존성을 분석하고 어플리케이션이 필요한 코드만을 포함할 수 있다는 것입니다. 이전 프로젝트에서 webpack이 2.38 MB짜리 번들을 생성했다는 것을 알아챘을 수도 있습니다. 왜냐 하면 webpack이 현재 s3.js에 있는 아래 구문을 기반으로 자바스크립트 AWS SDK 전체를 가져오기 때문입니다.

var AWS = require('aws-sdk');

require 구문을 아래와 같이 바꾸면 webpack이 Amazon S3 서비스만을 가져오게 할 수 있습니다:

var AWS = require('aws-sdk/clients/s3');

AWS.config를 사용해서 설정 가능한 모든 AWS SDK 옵션은 서비스를 초기화 할 때도 설정할 수 있습니다. 아래와 같은 구문으로 전역 설정을 하면 계속해서 모든 서비스에서 AWS 네임스페이스에 접근할 수 있습니다:

var AWS = require('aws-sdk/global');

다음은 이런 변화를 주면 s3.js파일이 어떻게 바뀌는지를 보여주는 예시입니다.

s3.js

// Amazon S3 서비스 클라이언트 가져오기
var S3 = require('aws-sdk/clients/s3');

// 보안 자격 증명과 지역 설정
var s3 = new S3({
    apiVersion: '2006-03-01',
    region: 'REGION', 
    credentials: {/* */}
  });

/**
 * 이 함수는 버킷에서 객체 목록을 검색합니다
 * 그 다음, 제공된 콜백을 전달받은 에러 혹은 데이터와 함께 실행합니다
 */
function listObjects(bucket, callback) {
  s3.listObjects({
    Bucket: bucket
  }, callback);
}

// 함수 핸들러를 내보냅니다
module.exports = listObjects;

이제 npm run build 명령어를 실행하면 아래와 같은 결과를 보여줍니다.

    Version: webpack 1.13.2
    Time: 720ms
      Asset    Size  Chunks             Chunk Names
    bundle.js  797 kB     0  [emitted]  main
      [0] multi main 28 bytes {0} [built]
      [1] ./browser.js 653 bytes {0} [built]
      [2] ./s3.js 803 bytes {0} [built]
       + 155 hidden modules

이제 생성된 번들 용량이 2.38 MB 에서 797 KB로 떨어졌습니다.

최종 용량을 더 줄이기 위해 webpack에서 생성된 코드를 축소하도록 설정할 수 있습니다!

Node.js 번들 생성하기

webpack을 사용해서 설정에서 target: ‘node’ 를 지정하면 Node.js에서 작동하는 번들을 생성할 수 있습니다. 디스크 용량이 제한되어 있는 환경에서 Node.js 어플리케이션을 실행할 때 유용할 수 있습니다.

node.js 파일을 생성해서, Node.js 번들을 빌드하도록 프로젝트를 업데이트 해 봅시다. 이 파일은 browser.js 파일과 거의 동일합니다. 그러나 S3 객체를 DOM 나열하는 대신 콘솔에 출력합니다.

node.js

// listObjects 함수를 가져옵니다
var listObjects = require('./s3');
var bucket = 'BUCKET';
// 지정된 버킷에서 listObjects 를 호출합니다
listObjects(bucket, function(err, data) {
  if (err) {
    console.log(err);
  } else {
    console.log('S3 Objects in ' + bucket + ':');
    // 반환된 각각 객체의 키값을 출력합니다
    data.Contents.forEach(function(metadata) {
      console.log('Key: ' + metadata.Key);
    });
  }
});

다음, node.js를 진입점으로 사용하도록 webpack.config.js 파일을 업데이트하고 webpack이 Node.js 번들을 생성해야 하는 것을 알 수 있도록 target: “node” 라는 필드를 추가합니다.

webpack.config.js

// 파일 경로를 분석하기 위해 path를 포함합니다
var path = require('path');
module.exports = {
  // 어플리케이션의 진입점을 지정합니다.
  entry: [
    path.join(__dirname, 'node.js')
  ],
  // 번들된 코드를 포함하는 출력 파일을 지정합니다
  output: {
    path: __dirname,
    filename: 'bundle.js'
  },
  // Node.js 번들을 생성해야 하는 것을 알려줍니다
  target: "node",
  module: {
    /**
      * webpack에게 'json'파일 읽는 방법을 말해줍니다
      * 왜냐하면 기본적으로 webpack은
      * 자바스크립트 파일을 다루는 방법만 알기 때문입니다.
      * webpack이 'json' 파일이 포함되어있는 'require()' 구문을 만나면
      * json-loader를 사용하게 됩니다
      */
    loaders: [
      {
        test: /.json$/, 
        loaders: ['json']
      }
    ]
  }
}

새로운 번들을 생성하기 위해 npm run build 명령어를 실행하세요. 커맨드라인에 node bundle.js 명령어를 실행해서 이 코드를 테스트할 수 있습니다. 이렇게하면 콘솔에 S3 객체 리스트가 출력됩니다!

시도해 보세요!

자바스크립트용 AWS SDK v2.6.1 에서 새로 webpack을 지원하는 것에 대한 의견을 듣고 싶습니다! 시도해 보시고 피드백을 코멘트나 Github에 남겨주세요!

KMS로 인증 정보를 암호화 하고 Lambda 실행시에 복호화 하기

원문: KMSで認証情報を暗号化しLambda実行時に復号化する

데이터베이스나 API서버와 같은 외부 시스템과 연결하는 경우 종종 인증 정보를 필요로 하게 됩니다.

이번에는 AWS Key Management Service(이하 KMS)의 공통 키 암호방식을 사용하여 암호화 된 인증 정보를 AWS Lambda 함수의 코드에 포함 된 함수 호출시 인증 정보를 해독하는 방법을 소개합니다.

decrypt-sensitive-data-with-kms-on-lambda-invocation

기본적인 아이디어는 다음 블로그에 쓰여져 있으며, 이 포스팅에서는 KMS를 사용한 암호화 작업만을 추려내었습니다.

http://ijin.github.io/blog/2015/08/06/github-to-lambda-to-slack/

KMS는 마스터 키를 사용한 암호화와 복호화 처리를 API로 분리해 내었기 때문에 이를 사용하여 인증 정보를 암호화 합니다.

KMS와 Lambda의 연계

다음의 순서로 동작을 확인합니다.

  1. AWS KMS 마스터 키 생성
  2. AWS CLI로 마스터 키를 사용하여 암호화와 복호화 처리를 확인
  3. AWS Lambda에서 암호화 된 데이터(ciphertext)를 복호화 하여 출력
  4. AWS Lambda 함수에 KMS:Decrypt 권한을 부여
  5. AWS Lambda 함수를 실행하고 복호화 되어 있는지를 확인

KMS 마스터 키 생성

우선 Lambda 함수에서 사용할 마스터 키를 만듭니다.

관리 콘솔에 로그인한 후 IAM에서 Encryption Keys를 선택하면 KMS관리 화면으로 이동할 수 있습니다. KMS라는 이름은 메뉴상에서는 존재하지 않으므로 주의하시기 바랍니다.

kms_management_console

KMS 키는 리전에 보관됩니다. Filter의 풀다운 메뉴에서 키를 생성하는 지역을 선택하고 “Create Key”를 클릭하여 마스터 키 생성화면으로 이동합니다.

Key Administrative Permissions 와 Key Permissions 에는 평소 사용하는 시스템 관리자를 선택합니다.

AWS CLI에서 암호화및 복호화 처리 확인

프로그램을 작성하기 전에 CLI에서 암호화 및 복호화 작업을 확인합니다.

마스터키의 일람을 확인합니다.

$ aws kms list-keys
{
    "Keys": [
        {
            "KeyArn": "arn:aws:kms:ap-northeast-1:123456789012:key/xxx-yyy-zzz",
            "KeyId": "xxx-yyy-zzz"
        }
    ],
    "Truncated": false
}

마스터키의 ARN을 환경변수에 설정합니다. 키를 지정하는 방법에는 KeyId 또는 별칭(Alias)을 사용하는 두가지 방법이 있습니다.

$ export KEYID=arn:aws:kms:ap-northeast-1:123456789012:key/xxx-yyy-zzz # KeyId
$ export KEYID=arn:aws:kms:ap-northeast-1:123456789012:alias/lambda # Alias

마스터키를 사용한 복호화

마스터키로 암호화를 하기위해서는 Encrypt API를 사용합니다.

$ aws kms encrypt --key-id $KEYID --plaintext 'hello, world!'
{
    "KeyId": "arn:aws:kms:ap-northeast-1:123456789012:key/xxx-yyy-zzz",
    "CiphertextBlob": "CiAUkK3nep3+LDfCjRPA5NDnd5NEXv5BWWjweqEySvaTLBKUAQEBAgB4FJCt53qd/iw3wo0TwOTQ53eTRF7+QVlo8HqhMkr2kywAAABrMGkGCSqGSIb3DQEHBqBcMFoCAQAwVQYJKoZIhvcNAQcBMB4GCWCGSAFlAwQBLjARBAxHrDshpbxSGRgMAXECARCAKHfUd1sJjxRX/7tq7twil6vaXjtPZsnr9AURI1gjR+RPL4WlQTvNDjE="
}

응답(response)의 Plaintext는 복호화한 데이터(즉 plaintext)를 base64로 엔코드한 것 입니다.

base64로 디코드하면 plaintext가 됩니다.

$ aws kms decrypt --ciphertext-blob fileb://encrypted --query Plaintext --output text | base64 --decode
hello, world!

Lambda 함수화

KMS로 암호화 한 후 base64로 엔코딩한 문자열을 람다 함수내에 적어넣어 Lambda함수 실행시에 복호화해 보겠습니다.

보통은 암호화한 유저데이터를 사용하여 무언가 처리를 하지만 이번에는 복호화한 문자열을 그대로 반환합니다.

Lambda함수는 파이썬으로 구현하였습니다.

import base64
import boto3

# base64 encoded ciphertext
ciphertext_blob_encoded = 'CiAUkK3nep3+LDfCjRPA5NDnd5NEXv5BWWjweqEySvaTLBKUAQEBAgB4FJCt53qd/iw3wo0TwOTQ53eTRF7+QVlo8HqhMkr2kywAAABrMGkGCSqGSIb3DQEHBqBcMFoCAQAwVQYJKoZIhvcNAQcBMB4GCWCGSAFlAwQBLjARBAxHrDshpbxSGRgMAXECARCAKHfUd1sJjxRX/7tq7twil6vaXjtPZsnr9AURI1gjR+RPL4WlQTvNDjE='

# ciphertext
ciphertext_blob = base64.b64decode(ciphertext_blob_encoded)

def lambda_handler(event, context):
    kms = boto3.client('kms')
    dec = kms.decrypt(CiphertextBlob = ciphertext_blob)
    return dec['Plaintext'] #plaintext

변수 ciphertext_blob_encoded 에는 ciphertext를 base64로 엔코드한 문자열을 설정했습니다. 위에서 CLI로 암호화한 문자열을 적어줍니다.

KMS 사용권한을 Lambda 함수에게 부여한다

Lambda함수에 설정한 역할(Role)에 마스터키를 사용한 복호화 권한을 추가합니다. 역할에 인라인 정책(Inline policy)을 추가합니다.

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Sid": "Stmt1448696327000",
            "Effect": "Allow",
            "Action": [
                "kms:Decrypt"
            ],
            "Resource": [
                "arn:aws:kms:ap-northeast-1:123456789012:key/xxx-yyy-zzz"
            ]
        }
    ]
}

Resource에는 KMS 마스터키의 arn을 설정합니다.

Lambda 함수를 실행한다

$ aws lambda invoke \
        --function-name kms_demo \
        --payload '' \
        response.txt
{
    "StatusCode": 200
}

$ cat response.txt
"hello, world!"

무사히 복호화 되었군요.

마무리

민감한 정보는 KMS로 암호화 함으로서 프로그램의 소스코드 내에 안심하고 적어넣을 수 있습니다. 소스코드와 KMS의 Decrypt API를 실행권한을 모두 획득하지 않는 이상 원래 정보를 손에 넣는것은 불가능합니다.

KMS는 어떻게 써야 하는지 잘 모르겠다고 하는 이야기가 가끔 들려오지만 사용법이 단순하면서도 보안성을 높이는데 있어서 대딘히 강력한 서비스 입니다. 이번 포스팅에서는 이러한 KMS의 유즈케이스를 소개해 보았습니다.

Webpack과 자바스크립트용 AWS SDK 를 사용해 어플리케이션을 만들고 번들하기 – 파트 1

원문 : Using webpack and the AWS SDK for JavaScript to Create and Bundle an Application – Part 1

우리는 자바스크립트용 AWS SDK 2.6.1 버전에서 webpack에 대한 지원을 추가했습니다. webpack과 SDK 같은 툴을 사용하면 모듈화된 코드를 작성할 수 있도록 자바스크립트 모듈을 번들할 수 있는 방법을 제공합니다.

이 글은 webpack과 자바스크립트용 AWS SDK를 사용해서 버킷에 있는 Amazon S3 객체 목록를 보여주는 간단한 어플리케이션을 만들고 번들하는 방법을 설명합니다.

왜 webpack을 사용해야 할까?

webpack과 같은 툴은 어플리케이션 코드를 분석하고 import와 require 구문을 찾아 어플리케이션이 필요로하는 모든 에셋들을 가지는 번들을 생성합니다.

webpack은 기본적으로 자바스크립트 파일을 다루지만 JSON이나 CSS, 이미지 파일같이 다른 종류도 다루도록 설정할 수 있습니다! 이렇게하면 웹페이지를 통해 에셋을 쉽게 전달하도록 어플리케이션의 에셋을 잘 패키징할 수 있습니다.

webpack을 사용하면 필요한 서비스로 이루어진 번들을 만들고 Node.js에서도 작동하는 번들을 만들수 있습니다.

선행 조건

이 글을 따라가기 위해서 node.js와 npm이 설치되어 있어야 합니다 (npm은 node.js와 함께 설치됩니다). 이 툴들이 설치되어 있다면 새로운 디렉토리를 만들고 npm install x 명령어를 사용해 이 프로젝트에 필요한 의존성 파일들을 다운로드 합니다. x에는 아래와 같은 단어가 들어갑니다.

  • aws-sdk: AWS SDK
  • webpack: webpack CLI 와 자바스크립트 모듈
  • json-loader: webpack에게 JSON파일 읽는 방법을 알려주는 플러그인

어플리케이션 세팅하기

프로젝트를 저장하는 디렉토리를 생성하는 것으로 시작합니다. 프로젝트 이름은 aws-webpack으로 짓겠습니다.

어플리케이션은 아래에 있는 세개의 파일을 가집니다:

  • s3.js는 버킷을 문자열로 받아들이는 함수와 콜백 함수를 내보내고 객체 목록을 콜백 함수에 반환합니다.
  • browser.js는 s3.js 모듈을 포함하고 listObjects 함수를 호출하며 결과를 보여줍니다.
  • index.html은 webpack이 생성한 자바스크립트 번들을 참조합니다.

아래와 같이 프로젝트의 루트 디렉토리에 이 파일들을 생성합니다:

s3.js
중요: 보안 자격증명 설정은 스스로 하셔야 합니다.

// AWS SDK를 포함합니다
var AWS = require('aws-sdk');

// 지역(region)과 자격증명(credentials)을 설정 하세요,
// 이것은 서비스 클라이언트로 직접 이동할 수 있습니다
AWS.config.update({region: 'REGION', credentials: {/* */}});

var s3 = new AWS.S3({apiVersion: '2006-03-01'});

/**
 * 이 함수는 버킷에서 객체 목록을 검색합니다
 * 그 다음, 제공된 콜백을 전달받은 에러 혹은 데이터와 함께 실행합니다
 */
function listObjects(bucket, callback) {
  s3.listObjects({
    Bucket: bucket
  }, callback);
}

// 함수 핸들러를 내보냅니다
module.exports = listObjects;

browser.js

// listObjects 함수를 포함합니다
var listObjects = require('./s3');
var bucket = 'BUCKET';
// 특정한 버킷에서 listObjects 를 호출합니다
listObjects(bucket, function(err, data) {
  if (err) {
    alert(err);
  } else {
    var listElement = document.getElementById('list');
    var content = 'S3 Objects in ' + bucket + ':n';
    // 반환된 객체의 키 값을 출력합니다
    content +=  data.Contents.map(function(metadata) {
      return 'Key: ' + metadata.Key;
    }).join('n');
    listElement.innerText = content;
  }
});

지금, Amazon S3에 요청을 담당하는 자바스크립트 파일이 하나, 웹페이지에 S3 객체 목록을 추가하는 자바스크립트 파일이 하나, 하나의 div 태그와 script 태그를 가지고 있는 HTML파일이 있습니다. 웹페이지에서 데이터를 출력주기 전 마지막 순서로 webpack을 사용해서 script 태그를 참조하는 bundle.js 파일을 생성합니다.

webpack 설정하기

일반 자바스크립트 파일을 사용해서 webpack의 설정 옵션을 지정합니다. 기본적으로 webpack은 프로젝트의 루트 디렉토리에 있는 webpack.config.js 을 찾습니다. webpack.config.js 파일을 만들어 봅시다.

webpack.config.js

// 파일 경로를 분석하기 위해 path를 포함합니다
var path = require('path');
module.exports = {
  // 어플리케이션의 진입점을 지정합니다.
  entry: [
    path.join(__dirname, 'browser.js')
  ],
  // 번들된 코드를 포함하는 출력 파일을 지정합니다
  output: {
    path: __dirname,
    filename: 'bundle.js'
  },
  module: {
    /**
      * webpack에게 'json'파일 읽는 방법을 말해줍니다
      * 왜냐하면 기본적으로 webpack은
      * 자바스크립트 파일을 다루는 방법만 알기 때문입니다.
      * webpack이 'json' 파일이 포함되어있는 'require()' 구문을 만나면
      * json-loader를 사용하게 됩니다
      */
    loaders: [
      {
        test: /.json$/, 
        loaders: ['json']
      }
    ]
  }
}

webpack.config.js에서 진입점을 browser.js로 지정했습니다. 진입점이란 포함된 모듈 탐색을 시작하는 파일입니다. 그리고 출력을 bundle.js로 정의했습니다. 이 번들은 어플리케이션을 실행하기 위해 필요한 모든 자바스크립트를 포함합니다. s3.js가 browser.js에 포함되어있기 때문에 webpack은 이미 s3.js를 포함하는 것을 알고있습니다. 따라서 s3.js를 진입점으로 지정할 필요가 없습니다. 또한, aws-sdk가 s3.js에 포함되어 있기 때문에 aws-sdk를 포함해야 하는 것도 알고있습니다.

webpack에게 포함된 JSON 파일을 다루는 방법을 말해주는 로더를 지정했음을 주목하세요, 이 경우에 이전에 설치한 json-loader를 사용합니다. 기본적으로 webpack은 자바스크립트 파일만 지원하지만 로더를 사용해서 다른 종류의 파일을 포함하는 지원 또한 추가할 수 있습니다. AWS SDK는 JSON 파일을 엄청나게 사용하기 때문에 이런 추가적인 설정이 없으면 webpack이 번들을 생성할 때 에러를 던집니다.

webpack 실행하기

어플리케이션을 빌드할 준비가 거의 다 됐습니다! package.json에서 scripts 객체에 “build”: “webpack” 를 추가하세요.

{
  "name": "aws-webpack",
  "version": "1.0.0",
  "description": "",
  "main": "index.js",
  "scripts": {
    "test": "echo "Error: no test specified" && exit 1",
    "build": "webpack"
  },
  "author": "",
  "license": "ISC",
  "dependencies": {
    "aws-sdk": "^2.6.1"
  },
  "devDependencies": {
    "json-loader": "^0.5.4",
    "webpack": "^1.13.2"
  }
}

이제 커맨드라인에서 npm run build 명령어를 실행하면 webpack이 프로젝트 파일의 루트 디렉토리에 bundle.js 파일을 생성합니다. webpack이 알려주는 결과가 아래와 같아야 합니다:

    Version: webpack 1.13.2
    Time: 1442ms
      Asset     Size  Chunks             Chunk Names
    bundle.js  2.38 MB     0  [emitted]  main
      [0] multi main 28 bytes {0} [built]
      [1] ./browser.js 653 bytes {0} [built]
      [2] ./s3.js 760 bytes {0} [built]
       + 343 hidden modules

이제 브라우저에서 index.html파일을 열 수 있고 예시에 있는 것과 같은 출력을 볼 수 있습니다.

시도해 보세요!

다음 글에서는 webpack과 자바스크립트용 AWS SDK를 사용하는 것의 다른 기능을 살펴보겠습니다.

자바스크립트용 AWS SDK v2.6.1 에서 새로 webpack을 지원하는 것에 대한 의견을 듣고 싶습니다! 시도해 보시고 피드백을 코멘트나 Github에 남겨주세요!