[LLM/모델 선정] 모델 선정 시 고려 사항

회사에서 LLM 서비스를 진행하기 앞서 제일먼저 진행 할 것은 서비스할 테스크가 무엇인지, 어떤 모델로 구성을 할 것인지 일 것 같다.  보통은 서비스할 테스크는 정해져있고 어떤 모델로 진행해야 할지 찾아볼때 어디서 부터 시작해야할지 모를 것 같다. 

 

우선, LLM 모델은 일반적으로 크기가 크다. 기술 개발 속도가 빨라 로컬에서도 충분히 테스트 할 수 있게 압축된 형식으로 제공도 하지만 대부분은 테스트하기 어려운 상황일 수 있다. 

 

그러면 서비스를 위한 모델을 선정할때 고려사항은 뭐가 있을까?

---

첫번째, 모델 개발 조직이 지속적으로 서포트 가능한가?

회사 내에서 모델 개발 팀이 없다면 조직원 누군가 담당하게 될텐데

사실, 새로운 기술에 투입되고 익숙해지는데 사람마다 다르겠지만 경력 기준으로 최소 2~3개월은 걸릴 것이다. 

 

이때 TFT팀을 꾸려 단기 프로젝트로 가능성을 확인 하는 목적으로 진행해볼 것인지 아님 인력 충원을 할 것인지 고민을 해봐야 할 것같다. 회사에서 LLM 서비스를 장기적으로 본다면 인력 충원+TFT팀으로 진행하는게 베스트일 것 같다.

 

(정리) 서비스 장기적일때 인력 충원 + TFT팀 구축, 서비스까지 아니고 테스트면? 내부 테스트로 가능성만 체크

---

두번째, 출시된지 얼마 안된 모델? 출시된지 오래된 모델?

출시된지 시간이 지난 모델을 테스트하는 것을 추천한다. 출시된지 얼마 안된 모델은 한국어 지원도 많이 없고 개인적으로 테스트할게 더 많아 진다. 그리고 보통 영어권 기준으로 LLM이 학습이 되고 외국어 지원도 고도화를 통해 발전되기 때문에 출시된지 오래되고 안정화를 거친 모델을 가지고 테스트하는게 시간 낭비가 덜하다.

 

(모델 추천)

 

LLM: yanolja/EEVE-Korean-10.8B-v1.0

- 야놀자 한국어 모델_상업적 사용 가능

- upstage/SOLAR-10.7B-v1.0(상업적 사용 가능) 한국어로 파인튜닝

- 한국어 인지 성능 좋음, 파인 튜닝해서 자사 gpt로 사용해도 괜찮음

- 링크: https://huggingface.co/yanolja/EEVE-Korean-10.8B-v1.0

 

Embedding: jhgan/ko-sroberta-nli

- 개인적으로 BAAI/bge-m3랑 비교했을때 위의 모델이 임베딩이 안정적으로 되었음

- 링크: https://huggingface.co/jhgan/ko-sroberta-nli

 

(정리) 출시된지 오래되고 한국어 성능이 보장되고 안정화된 모델 사용

---

세번째, API 와 오픈소스 LLM

chat gpt api 처럼 시중에 거대 언어 모델을 학습 후 api로 제공되는 모델은 개발하기 편하고, 빠르고, 정확하게 사용할 수 있다.

하지만, 비즈니스에서는  지속적으로 사용하기엔 비용이 부담스럽다. 그리고 보안이 중요한 서비스라면 api로 사용하기 어려울 수 있다. 

 

오픈 소스 LLM은 회사 예산 안에서 활용할 수 있는지 체크해야한다. 인력, 모델 추가로 학습이 필요한지, 모델 학습 및 추론 할때 가용될 컴퓨팅 자원, 배포 전 양자화 또는 경량화 등등 고려할 사항이 많다.

 

(정리) 개발 프로세스는 api로 개발 후 회사 내부에서 오픈 LLM 모델을 학습 & 테스트를 진행 후 자사 모델로 전환

성능, 속도 중요 => api 개발

보안 중요 => 온프레미스 LLM 구축

 

가성비 갑 API

- 비용, 속도, 성능 고려

1. open ai - GPT3.5 Turbo

2. google - Gemini 1.0 pro

3. Claude 3 Haiku 

 

가성비 갑 오픈 소스 LLM => 영어 기준 

- 비용, 속도, 선능 고려

1. Llama3(8b)

2. Mixtral 8x7B

---

현재 어떤 LLM 모델이 우수한지 확인하려면?

 

GPT-4o가 랭킹 1위네요.

링크: https://huggingface.co/spaces/lmsys/chatbot-arena-leaderboard

LMSys Chatbot Arena Leaderboard - a Hugging Face Space by lmsys