최근 인공지능 업계에서는 소형 언어 모델(LLM)이 큰 주목을 받고 있습니다. 이들 모델은 가벼우면서도 높은 성능을 발휘하여 다양한 자연어 처리 작업에 활용될 수 있습니다. 특히 Microsoft, Google, Meta와 같은 대기업들이 오픈소스로 배포한 Phi-3-mini, Gemma, Llama 3 모델은 상업적으로도 사용할 수 있어 많은 관심을 받고 있습니다.
이번 포스트에서는 이 세 가지 모델의 특징과 장단점을 비교해보겠습니다.
1. Microsoft | Phi-3-mini
Phi-3-mini는 Microsoft가 배포한 소형 LLM으로, 주로 단순한 자연어 처리 작업에 적합합니다. 제한된 도메인 내에서의 활용에 중점을 두고 있으며, 영어만 학습되어 있습니다. 다국어 지원이 필요한 경우 Phi-3-small 이상의 모델을 고려해야 합니다.
2. Google | Gemma
Google의 Gemma는 복잡한 언어 이해와 생성 작업을 처리할 수 있는 강력한 모델입니다. 20억 파라미터의 작은 버전과 70억 파라미터의 큰 버전으로 제공되어 다양한 용도로 사용할 수 있습니다. 특히 beomi/gemma-ko-7b 모델을 통해 한국어도 지원합니다.
3. Meta | Llama3
Meta의 Llama 3는 빠른 응답 시간을 자랑하며, 단순한 대화 처리와 음성 인식, 기본적인 언어 생성 작업에 적합합니다. 80억 파라미터로 구성된 이 모델은 성능과 속도를 모두 겸비하고 있습니다. beomi/Llama-3-Open-Ko-8B 모델을 통해 한국어도 지원합니다.
| 회사 | 모델명 | Microsoft | Phi-3-mini | Google | Gemma | Meta | Llama 3 |
| 크기 (파라미터) | 38억(3.8B) | 20억(2B), 70억(7B) | 80억(8B) |
| 출시일 | 2024년 4월 23일 | 2024년 2월 22일 | 2024년 4월 18일 |
| 특징 | 단순한 자연어 처리 작업, 제한된 도메인에서 사용 |
복잡한 언어 이해 및 생성 작업 가능 | 빠른 응답 시간, 단순한 대화 처리, 음성 인식, 기본적인 언어 생성 작업 |
| 상업적 사용 여부 | 가능 | 가능 | 가능 |
| 한국어 학습 | 없음 *mini 모델은 영어만 학습 *Phi-3-small부터 전체 데이터셋 10%정도 다국어학습 |
beomi/gemma-ko-7b 링크: https://huggingface.co/beomi/gemma-ko-7b |
beomi/Llama-3-Open-Ko-8B 링크: https://huggingface.co/beomi/Llama-3-Open-Ko-8B |
| paper | https://arxiv.org/abs/2404.14219 | https://arxiv.org/abs/2403.08295 | [블로그] https://ai.meta.com/blog/meta-llama-3/ |
출처
https://www.apple-economy.com/news/articleView.html?idxno=73095
https://www.techtube.co.kr/news/articleView.html?idxno=4550
'LLM 생성할레나' 카테고리의 다른 글
| [LLM/임베딩] 임베딩 이란? 임베딩 모델 추천 (1) | 2024.05.28 |
|---|---|
| [LLM/모델 선정] 모델 선정 시 고려 사항 (1) | 2024.05.27 |
| [STT/Whisper] Speech To Text 빠른 시도와 작은 실패 (0) | 2024.05.20 |
| [LLM/파인튜닝] Adapter - LoRA 차이와 Gemma Fine Tunning (0) | 2024.05.16 |
| [LLM/구글모델비교] BERT, Bard, Gemini 차이 (0) | 2024.05.14 |
