Yong's Blog Yong's Blog

이번 장에서는 Kubernetes에서 testing 시 이용하는 Job에 대해 설명 드리겠습니다.Job은 특정 작업(배치 작업, 데이터 처리 등)을 수행하고 종료하는 일회성 작업을 위해 사용됩니다.** (vs. Pod) Pod은 일반적으로 웹 서버처럼 계속 동작하는 Application을 실행할 때, 사용됩니다.Kubernetes의 Job에 대해서 더 자세히 알아보겠습니다!1. Kubernetes JobKubernetes Job은 일회성(One-time) 작업을 실행하는 데 사용되는 Kubernetes 리소스이며, Job의 역할은 Pod을 실행하고, 해당 작업이 완료되면 종료되도록 설계되었다. 주로 배치 작업(Batch Processing) 또는 데이터 처리 작업에서 활용된다.📌 1. Job의 특징 •..

안녕하십니까 이번 장에는 Kubernetes의 기본 개념에 대해 살펴보는 시간이 되겠습니다.클라우드 환경에서 대규모 애플리케이션을 관리하는 일은 쉽지 않습니다. 서버가 다운되면 자동으로 복구해야 하고, 트래픽이 늘어나면 새로운 서버를 빠르게 추가해야 합니다. 이런 작업을 자동화해주는 것이 바로 Kubernetes(쿠버네티스)입니다.1. Kubernetes란?Kubernetes(쿠버네티스, 줄여서 k8s)는 Container 기반 Application을 자동으로 배포, 확장 운영할 수 있도록 도와주는 Opensource-platform이다. 이를  Container Orchestration Platform(컨테이너 오케스트레이션 플랫폼)이라고도 말하며 쉽게 말해, 여러 개의 서버에서 Container를 관..

안녕하세요 이번 장에서는 서버에서 .dockerfile로 docker image를 말아서 다른 서버 혹은 로컬로 옮기는 방법을 포스트하고자 합니다.이 내용은 다음과 같은 상황 혹은 아와 비슷한 상황에서 필요로 하실 것 같습니다.개발계에서 개발을 완료한 뒤에, 똑같은 환경을 운영계로 옮길 때.VPN이 필요로 하는 외부 서버에 image를 옮겨야 하는데, 개발 서버에는 VPN을 설치하기 까다로울 때.(개발 서버는 현재 재직하고 있는 사내망. VPN이 필요로하는 외부 서버는 다른 회사의 기업망)이 상황에서는 개발계에서 개발했던 환경을 그대로 가지고 가야하는데, docker images를 그대로 옮기면 작업을 수월하게 할 수 있습니다.그럼 그 방법에 대해 설명해보겠습니다.1.  개발계 서버에서 .dockerf..

API 및 서버 통신에 미숙한 나를 반성하며...docker container에서 모델을 host 0.0.0.0로 바인딩 했는데, 로컬에서 접속 에러가 뜬 경우에는 다음과 같이 확인하면 될 것 같습니다. 저는 아래의 그 어떤 방법으로도 해결할 수 없었지만, 이유는 docker container를 최초에 생성할 때, port를 안 뚫어서 생긴 일이었습니다... 이것부터 확인하는 것이 좋을 것 같아서 글을 적습니다!그리고... 사내 VPN을 신청했을 때, 서버와 사용할 port도 같이 신청하는데 이 port 번호도 몇번 대인지 check를 하셔야합니다!! docker로 앱을 띄울 때, 꿀팁은 다음과 같습니다.실제 모델 서빙 서버는 컨테이너 안의 30000번 포트에 떠있음호스트 서버(skcc)의 도커에 컨테이..

안녕하세요 이번에는 multi-node training 때문에 고생하고 있는데... 중간에 더 고생스러운 docker container에 연결하는 법을 설명 드리고자 합니다. 보통, container를 구성할때, -p 옵션으로 port를 뚫어주고, 그 port에 ssh로 붙는 내용은 예~전 장에서 다루었습니다. https://yongggg.tistory.com/21 를 참고해주세요! [yongggg's] docker container 외부 접속 docker container를 만드는 법(https://yongggg.tistory.com/19)을 배우셨다면, 이제 이 서버를 외부에서 이용하고 싶으실 겁니다. (22번 포트를 열었다는 가정하에 설명드리겠습니다.) 이후에 jupyter 연동 (https: yo..

안녕하십니까 이번 docker part에선 현재 상태의 container를 image로 저장하는 방법을 설명드리고자 합니다. 개인 서버가 아닌 공용으로 사용해야할 서버에서는 독립적인 환경을 위해, docker를 유용하게 사용합니다. 뿐만 아니라, 서비스할 condition을 동일하게 하여 testing하기 위해서도 이 docker를 많이 씁니다. 따라서, 여러가지 조건에 따라 많은 패키지들을 한 container에 설치할텐데요, 이제 저희가 입맛에 맞게 여러 패키지를 설치한 현재 container 자체를 image로 만드는 작업과 이 image를 저장하는 방법에 대해 소개하겠습니다. 1. 원하는 환경의 container 구성 먼저, 자신이 원하는 condition의 docker container를 구성한..

https://yongggg.tistory.com/32 글 에서는 서버에 nvidia-driver, cuda, cudnn까지 gpu를 사용할 수 있는 환경을 구축했습니다. 이번 글에서는 개발 환경을 사용하면서, 팀원들과의 가상환경이 충돌날 일이 없도록 Docker를 서버에 설치하고, Nvidia-docker로 GPU까지 이용할 수 있도록 할 것입니다. 지난 번에 작성한 docker 관련 글에는 이미 설치된 Docker에서 container를 구축하는 방법을 알려드렸습니다. 하지만!! 이번에는 dokcer 자체를 서버에 처음 어떻게 까는지에 대해 정리해볼까합니다. (서버를 밀었어요...ㅠ) 1) Docker 설치 (https://subicura.com/2017/01/19/docker-guide-for-be..

이전 글 (https://yongggg.tistory.com/19) 에서는 docker를 통해, 자신이 사용할 container를 할당하는 것을 익혔습니다. 이제 이 container는 독립적인 가상환경이라고 보아도 무방하며, 이 설정 후에는 Linux 및 Anaconda 환경을 구축하면 됩니다. 환경 구축에 대한 명령어는 다음과 같습니다. # Linux 환경 구축 sed -i 's/archive.ubuntu.com/ftp.daumkakao.com/g' /etc/apt/sources.list apt-get update apt-get dist-upgrade -y # 개인환경 구축(아래는 추천 명령어, anaconda 및 편집기) apt-get install -y wget vim git gcc build-e..