개요 이 글은 kubeflow를 쉽고 간편하게 설치해주는 Distribution인 Charmed Kubeflow를 안내하는 글이다. Charmed Kubeflow는 Canonical 에서 만든 프로젝트로 상용으로 사용해도 문제가 없다. 여기서 제공하는 Kubeflow 버전은 3가지(full, lite, edge)로 각 버전별로 기능의 수가 다르다 기존에 Kubeflow가 설치되어 있다면 따로 진행할 필요는 없다. 목표 Charmed Kubeflow 설치를 통해 kubeflow를 설치해본다. 여정 설치 요구사항은 아래와 같다 - be version 1.22 - have a (default) storage class configured - have dns configured for accessing the ..

개요 Kubeflow를 통해 ML Ops 생태계를 이해하고, 전 주기 파이프라인를 구성해본다. 목표 kubeflow의 개요와 설치방법을 정리한다. 여정 Kustomize 설치 Kustomize는 kustomization 파일을 통해 쿠버네티스 오브젝트를 사용자가 원하는 대로 변경하는(customize) 독립형 도구이다. kubectl 1.14 버전 이상부터 내장되어 apply -f 명령으로 바로 사용할 수 있다. 현재 3.2.0 or 4.5.7버전이 사용가능하며, 4.5.7버전은 간편 설치용 싱글 커맨드를 사용할 수 없다. # Kustomize 설치 및 명령어 등록 wget https://raw.githubusercontent.com/kubernetes-sigs/kustomize/master/hack/i..

개요 Kubeflow를 통해 ML Ops 생태계를 이해하고, 전 주기 파이프라인를 구성해본다. 목표 CentOS 7 기준 GPU 관련 환경을 구성해본다. GPU를 이용한 기본적은 Pod Deploy를 진행해본다. 여정 워커노드에 Graphic Driver 설치 # driver init # 리눅스 버전 확인 sudo uname -a sudo hostnamectl cat /etc/redhat-release sudo yum update -y sudo yum group install -y "Development Tools" # "Development Tools" - 개발 툴 라이브러리 그룹 설치 sudo yum install -y kernel-devel # kernel-devel - 커널패키지 대해 빌드를 모듈..

개요 Kubeflow를 통해 ML Ops 생태계를 이해하고, 전 주기 파이프라인를 구성해본다. 목표 Kubeflow와 Service Mesh의 개념을 학습하고, 어떤 관계를 가지는지 알아보자. 여정 ML Ops와 Kubeflow ML Ops 프로덕션 환경에서 ML 모델을 안정적, 효율적으로 배포 및 유지 관리하는 방법론 ML 시스템 개발(Dev)과 ML 시스템 운영(Ops)의 합성어 Kubeflow 머신러닝 워크플로우를 구축하고 배포하기 위한 Orchestration 플랫폼 쿠버네티스를 사용하는 머신러닝 도구 모음(Toolkit) 크게 모델 실험 → 모델 생산 의 과정으로 이루어져 있다. Kubeflow 는 ML 관련 프레임워크, 도구, 서비스의 집합이다. 따라서, 이러한 환경을 연결하기 위해서는 Ser..