개요 이 글은 kubeflow를 쉽고 간편하게 설치해주는 Distribution인 Charmed Kubeflow를 안내하는 글이다. Charmed Kubeflow는 Canonical 에서 만든 프로젝트로 상용으로 사용해도 문제가 없다. 여기서 제공하는 Kubeflow 버전은 3가지(full, lite, edge)로 각 버전별로 기능의 수가 다르다 기존에 Kubeflow가 설치되어 있다면 따로 진행할 필요는 없다. 목표 Charmed Kubeflow 설치를 통해 kubeflow를 설치해본다. 여정 설치 요구사항은 아래와 같다 - be version 1.22 - have a (default) storage class configured - have dns configured for accessing the ..

개요 Kubeflow를 통해 ML Ops 생태계를 이해하고, 전 주기 파이프라인를 구성해본다. 목표 ML 모델을 관리하고 배포하는 과정을 이해한다. ML Serving 프레임워크인 Bento와 Kubernetes 배포를 도와주는 Yatai Stack을 이해한다. 여정 BentoML 및 Yatai Stack의 개념 Yatai Stack의 주요 컴포넌트 Bento : ML 모델을 API로 호출할 수 있도록 감싼 소스코드 집합(tar파일 O, 컨테이너 X) Yatai : 모델 및 Bento를 Object Storage에 저장하는 Registry 관리 대시보드 컴포넌트 Yatai Image Builder : Bento를 컨테이너 이미지로 빌드하는 컴포넌트 Yatai Deployment : Bento 컨테이너 이..

개요 Kubeflow를 통해 ML Ops 생태계를 이해하고, 전 주기 파이프라인를 구성해본다. 목표 kubeflow의 개요와 설치방법을 정리한다. 여정 Kustomize 설치 Kustomize는 kustomization 파일을 통해 쿠버네티스 오브젝트를 사용자가 원하는 대로 변경하는(customize) 독립형 도구이다. kubectl 1.14 버전 이상부터 내장되어 apply -f 명령으로 바로 사용할 수 있다. 현재 3.2.0 or 4.5.7버전이 사용가능하며, 4.5.7버전은 간편 설치용 싱글 커맨드를 사용할 수 없다. # Kustomize 설치 및 명령어 등록 wget https://raw.githubusercontent.com/kubernetes-sigs/kustomize/master/hack/i..

개요 Kubeflow를 통해 ML Ops 생태계를 이해하고, 전 주기 파이프라인를 구성해본다. 목표 CentOS 7 기준 GPU 관련 환경을 구성해본다. GPU를 이용한 기본적은 Pod Deploy를 진행해본다. 여정 워커노드에 Graphic Driver 설치 # driver init # 리눅스 버전 확인 sudo uname -a sudo hostnamectl cat /etc/redhat-release sudo yum update -y sudo yum group install -y "Development Tools" # "Development Tools" - 개발 툴 라이브러리 그룹 설치 sudo yum install -y kernel-devel # kernel-devel - 커널패키지 대해 빌드를 모듈..