승상의 코딩 블로그

Gemma3 사용 후기 - 만족스러운 역대급 성능 본문

일상과 생각

Gemma3 사용 후기 - 만족스러운 역대급 성능

양승상 2025. 3. 30. 22:27
반응형

Llama, deepseek 등은 RTX 4090 에서 동작시켰을 때(*4090에서 무리없이 동작하는 파라미터로),

한국말로 질문하면 다른 언어(영어, 중국어)로 말을 하는 경우가 있었다.

한국어로 잘 대답했던 건, Gemma2 와 phi4 였던것 같다.

 

그래서 25.3 월에 Gemma3 가 나오자마자 Gemma3 로 모델을 교체했다.

지금까지 사용해본 느낌은... 구글은 정말 대단하다...

개인적으로 다양한 모델을 사용해봤는데,

현재 기준 RTX 4090 GPU 한 개에서의 성능은 Gemma3:27b 가 압도적인 것 같다.

https://blog.google/technology/developers/gemma-3/

 

Gemma3 는 한국어를 잘한다.

소개에 따르면 단일 GPU 에서 대규모 모델과 비슷한 성능을 낸다고 한다.

또한 128k 토큰 컨택스(길게 이야기해도 말을 잘함)를 지원한다고 한다.

이번에 이미지를 인식하고 OCR 을 하는 기능도 추가되었다.

OCR 의 정확도는 매우 우수했다. (다양한 OCR 성능을 봤었는데, 오픈소스 라이브러리든 모델이든 역대급이었다...)

그러나 하나의 이미지에서 OCR 의 내용이 많아지면, 뒤로 갈수록 OCR 의 정확도가 떨어졌다.

Function Calling 기능도 지원한다.

Function Calling 기능이 어떤지 궁금하다면, https://www.youtube.com/watch?v=5s8Z-K50Np8 에서 간단히 실습하니 참고바란다.

 

모델의 크기는 1b, 4b, 12b, 27b 가 지원된다.

https://ollama.com/library/gemma3

 

gemma3

The current, most capable model that runs on a single GPU.

ollama.com

나는 개인 노트북에서 gemma3:4b 를 사용중인데, 다른 모델의 4b 에 비해서 성능이 너무나 좋다.

그래서 요즘엔 맥북으로 다양한 AI 연동 기능들을 테스트해보고 있다.

반응형
Comments