오늘 새벽에 spot instance가 다 죽었는데, 혹시 또 저와 같은…

오늘 새벽에 spot instance가 다 죽었는데, 혹시 또 저와 같은 증상을 겪으신분 계신가요?

pricing history를 보니까 bidding 가격이 낮아서 그런건 아니고,

spot instace status를 보니까 `instance-terminated-by-user` 이렇게 되어있고요…

도쿄 리전(ap-northeast-1a)을 사용중입니다.

18 thoughts on “오늘 새벽에 spot instance가 다 죽었는데, 혹시 또 저와 같은…

  1. instance-terminated-by-user 는 spot 조건을 제외한 이유(auto scaling policy, elb heathy check failure 등)에 의해 종료되는 경우에만 나타납니다. 말씀하신 것처럼 가격이 문제거나, 가용량에 문제일 경우에는 다른 종료 코드가 뜨게 되어 있습니다. 아마 해당 시간대에 다른 이슈가 있었던것 아닐까요?

  2. 일단 저의 경우엔 auto scaling과 elb 둘다 관련 없이 단독(?)으로 돌고있는 spot instance도 terminated 됐는데..

    어떻게 접근해서 원인분석을 해봐야할지 모르겠네요…

    경험이 있으신분들의 조언을 구합니다.

  3. spot은 남는 자원을 두고 경쟁을 하는 건데, 장애로 자원이 갑자기 증발 했다면.. 온디맨드 인스턴스에 우선 자원을 할당해야 하니, spot인스턴스가 대량으로 떨어져 나갈 것 같은데요. 실제 AWS 인프라에 문제가 생길 경우 spot 인스턴스의 가격이 급격하게 높아지는 경우가 있고, 이런 경우에도 spot 인스턴스를 유지하기 위해서 수십달러에 달하는 비 현실적인 가격을 책정하는 유저도 있습니다.

  4. 다들 그런 현상을 겪으셨군요;;; 저희도 서비스 몇개가 내려갔는데 김명보님 처럼 가격 변동 추이를 보면 몇달째 변함 없음인데도 내려간 인스턴스가 있네요.

  5. 뭐 어째든 인스턴스들은 이미 터미네이트 되었지만,

    왜 그런지 궁금해 case open을 했고

    첫번째 답변이 왔는데

    “However, I have checked and the pricing didn’t exceed your max price bid so shouldn’t have terminated in the first place.” 라는 식으로 답변이 왔고,

    추가로 내부에 case를 open 했고 답변이 오는데로 전달해준다고 하네요.

  6. 답변이 와서 여기에 공유 드립니다. 다만 모든 분들에 해당되는지는 잘 모르겠습니다.

    Spot에 latent issue가 발생했다고 표현하면서(the Spot service encountered a latent issue) 그 결과로 돌고있는 spot intance에 잘못된 terminated가 되었다고 하네요.

    해당 문제는 현재는 해결 된 상태라고 하네요…

  7. 갑자기 궁금한게 생겼는데요

    여태까지 스팟 인스턴스의 상태가

    instance-terminated-no-capacity

    인적이 있었나요?

    즉 남는 자원이 없어서 spot instance를 구동하지 못하는 상태?

답글 남기기

이메일은 공개되지 않습니다. 필수 입력창은 * 로 표시되어 있습니다.