fastAPI를 이용해 딥러닝 모델 인퍼런스 API 서버 구축하기

이번 딥다이브 호스트가 어필하는 Point부터 짚고 넘어갈까요?

📢

이번 딥다이브는 딥러닝이 이용되는 서비스에서 가장 중요한 서빙 서버를 만드는 것이예요! 보통 딥러닝의 특성상 서빙에 쓰이는 모델은 수시로 바뀝니다. 게다가 여러팀에 필요한 모델이 각각입니다. 만약 중앙화된 서빙 서버 없이 각 팀마다 서빙 서버를 구현하게 된다면 리소스 낭비일뿐더러 api 관리하기가 매우 힘듭니다. 이런 문제를 해결하고자 여러 딥러닝 모델을 서빙해주는 서버가 필요합니다. 딥러닝 모델 서빙 기능, 모델 조회 기능, 모델 버전 조회 기능을 구현해보며 선택한 모델 인퍼런스 요청 시, 전처리-인퍼런스-후처리 후 결과 반환까지! 이번 딥다이브를 통해 직접 경험해보세요!

📌

이번 딥다이브 호스트는 조르바님입니다.

이번 호스트님을 소개합니다!

tensorflow 컨트리뷰터

현 스타트업에 재직중인 6년차 개발자

전 네이버 개발자

전 카카오 개발자

넘블러님은 프로젝트만 해요~어필은 넘블이 다 할게요!

📌

챌린지를 완수하면 이력서에 다음과 같은 내용을 추가할 수 있어요. 넘블에서 프로젝트를 하면 해당과 같은 내용으로 포트폴리오를 자동 완성시켜드립니다!

msa 구성으로 효율적인 딥러닝 서빙 서버를 구현

표준 서빙 프로토콜을 이용한 서빙 서버 구현

3주 뒤 어디까지 성장할 수 있을까요?

📌

챌린지를 수행하며 다음의 부분에서 성장할 수 있어요.

msa 구성해보는 경험을 해볼 수 있어요

고성능 인퍼런스 서버 다루는 경험을 해볼 수 있어요

전후 처리 서버를 따로 두면서 고성능 인퍼런스 서버에 대한 이해가 높아져요

깃헙 액션을 이용한 CI 자동화해볼 수 있어요

딥러닝 모델 인퍼런스 프로토콜에 대한 이해가 높아져요

구체적인 챌린지 내용을 알려드릴게요!

📌

다음의 구현조건을 더 구체화해 제공될 예정이에요!

챌린지 내용이 궁금하시다면~?

구현 기능

딥러닝 모델 서빙 기능
모델 조회 기능
모델 버전 조회 기능

구현 범위

모델과 모델 버전을 클라이언트가 선택해서 인퍼런스 가능
선택한 모델 인퍼런스 요청시 전처리-인퍼런스-후처리 후 결과 반환

구현 조건

클라이언트로부터 요청받는 백엔드 서버, 전처리 서버, 인퍼런스 서버, 후처리 서버로 나누어 msa로 구성

딥러닝 모델의 경우 전처리, 후처리가 필요한 computer vision, nlp, generative 모델 사용-

torchServe, tensorflow Serving Server, triton등 고성능 인퍼런스 서버로 인퍼런스 서버 구성
전,후처리 서버의 경우 별도의 인퍼런스 서버 혹은 fastapi로 구성
깃헙 액션을 이용한 CI
인퍼런스 속도 자체는 고려하지 않음. cpu 장비도 사용 가능
모델과 모델의 각 버전들이 모두 다른 모델일 필요는 없음(유저가 선택해서 요청 가능하면 됨)

더 자세한 가이드라인은 챌린지 시작일에 공개돼요!

아래와 같은 분들께 특.히 추천드려요!

📌

이번 챌린지는 딥러닝 모델이 어떻게 학습되고 서비스에 어떻게 쓰이는지 알고 있는 분들께 알맞는 프로젝트입니다! 빠른 시간 안에 집중해서 프로젝트를 통해 성장하고 싶은 당신! 넘블에서 가능합니다!

가이드라인 통해 제공할 내용이예요!

📌

가이드라인에는 다음과 같은 내용이 담겨요.

더 상세한 가이드라인 제공

운영방법은 다음과 같습니다!

📌

참여자들끼리 함께 하기에 특별한 넘블 챌린지예요!

자세한 내용이 궁금하면 토글 버튼을 눌러주세요!

참여자분들은 모두 디스코드에 초대돼요.

1) 원하는 넘블러님들에 한해 팀빌딩을 제공해드려요. 팀원들은 함께 스터디하고 서로의 결과물에 대해 피드백을 주는 동료에요. 단, 함께 결과물을 만드는 것은 아닙니다. 2) 참여자들끼리 주별 목표와 목표달성여부, daily scrum을 올리기에 서로를 보며 자극받고 동기부여돼요. 3) 참여자들끼리 같은 미션을 해결하기에 서로 질의응답하며 성장해요. * 물론 챌린지 호스트님도 성실히 질문에 답변해주실 거에요 4) 참여자들의 결과물은 참여자들끼리 모두 공유해요. 이 때 TOP 3는 피드백과 함께 공유되기에 많은 인사이트를 얻을 수 있어요. 5) 팀끼리 참여하는 것이다 보니, 팀 운영에 참여는 필수입니다! 챌린지 기간동안 의지 넘치게 참여해주시길 부탁드립니다! 도

성장에 도전할 준비가 되셨나요?

아래의 링크를 통해 성장에 한 걸음 가까워져 보세요!

평가방식이 궁금하시죠?

📌

챌린지 호스트가 심사기준에 맞게 상위 3명을 선별해요

심사기준은 다음과 같아요.

💰 환불 기준

📌

챌린지 오픈 전날까지는 결제하신 금액 100% 환불 가능합니다. 하지만 챌린지 오픈당일부터는 환불 불가합니다.

~ 딥다이브 시작 전날 자정(23:59) 전까지

환불 100% 가능

딥다이 시작날 이후

환불 불가

❓FAQ

챌린지 결과물을 빨리 만들었어요! 미리 제출해도 되나요?

🔹

물론입니다! 챌린지 종료 전까지만 결과물 제출해주시면 돼요! 단, 먼저 제출하셔도 가산점은 없습니다!

팀빌딩 기준은 어떻게 되나요?

🔹

넘블 인재풀, 연차, 팀장 선호 여부 등 여러 요건들을 고하여 팀빌딩을 제공해드립니다. 팀빌딩을 희망하시는 분들은 활발한 참여를 부탁드립니다!

제휴권은 무엇인가요?

🔹

제휴권은 저희 넘블과 제휴를 맺은 학교/기관의 학생들에 한해서 사용할 수 있는 할인혜택입니다. 현재는 한양대 컴퓨터소프트웨어학과 학생들과 한국외대 컴퓨터공학부 학생들께 할인혜택을 제공하고 있습니다. 제휴를 맺는 프로세스는 어렵지 않으니, 하단의 채널톡이나 numble.business@gmail.com을 통해 [제휴요청]이라고 보내주시면 담당자가 바로 연락드리겠습니다!

딥다이브 일정을 알려드릴게요!

📌

4월 26일(수) ~ 5월 16일(화) (총 3주)

4월 26일 (수) 오전 10시 : 챌린지 안내문자 전달

디스코드 가입 링크, 챌린지 가이드라인, OT 링크 등 전달

오후 7시 : 챌린지 OT

5월 16일(화) 오후 11시 59분 : 챌린지 결과물 제출 마감

5월 24일(수) 오후 7시 : 결과 발표

5월 28일(일) 오후 5시 : 상위 3명 온라인 피드백

온라인 피드백 일정은 넘블측에서 추후에 변경될 수도 있음을 알려드려요!

🔶보상 1.

상위 3명에 선정되신 분들께는 호스트의 피드백(온라인 피드백 및 서면 피드백 )을 제공해드려요! 본인의 결과물을 바탕으로 호스트에게 직접 피드백을 받을 수 있어요! 상위에 든 다른 참가자의 결과물도 함께 보며 내 것과 비교/분석하며 인사이트를 얻어가세요!

🔶보상 2.

상위 3명에 선정되신 분들, 딥다이브 결과물을 제출해주신 분들께는 이력서에 바로 어필할 수 있게끔 넘블에서 이번 딥다이브를 통해 성장한 역량을 어필할 수 있게 자동 완성해드려요! (딥다이브 참가내역에서 확인 가능합니다!)

🔶보상 3.

상위 3명에 선정되신 분들, 딥다이브 결과물을 제출해주신 분들께는 넘블 수료증이 발급돼요! 이미 많은 분들이 넘블의 결과물을 이력서와 포트폴리오에 활용하시고 있어요! 넘블이 인증한 실력자라는 타이틀을 얻어가세요! (인증서는 신청하신 분들에 한해서 제공됩니다! 신청방법은 ‘FAQ’에서 확인해주세요!)