승상의 코딩 블로그

Llama, deepseek 등은 RTX 4090 에서 동작시켰을 때(*4090에서 무리없이 동작하는 파라미터로),한국말로 질문하면 다른 언어(영어, 중국어)로 말을 하는 경우가 있었다.한국어로 잘 대답했던 건, Gemma2 와 phi4 였던것 같다. 그래서 25.3 월에 Gemma3 가 나오자마자 Gemma3 로 모델을 교체했다.지금까지 사용해본 느낌은... 구글은 정말 대단하다...개인적으로 다양한 모델을 사용해봤는데,현재 기준 RTX 4090 GPU 한 개에서의 성능은 Gemma3:27b 가 압도적인 것 같다. Gemma3 는 한국어를 잘한다.소개에 따르면 단일 GPU 에서 대규모 모델과 비슷한 성능을 낸다고 한다.또한 128k 토큰 컨택스(길게 이야기해도 말을 잘함)를 지원한다고 한다.이번에 이..