일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | 5 | ||
6 | 7 | 8 | 9 | 10 | 11 | 12 |
13 | 14 | 15 | 16 | 17 | 18 | 19 |
20 | 21 | 22 | 23 | 24 | 25 | 26 |
27 | 28 | 29 | 30 |
- 가상환경
- 개발자
- 디자인패턴
- column
- linux
- 코딩
- 파이썬
- 플러터
- manim
- 명령어
- 위젯
- 개발자도서
- 리눅스
- 도서
- 유데미 러닝크루
- python
- 프로그래밍
- command
- 유데미
- flutter
- 책
- Code Generation
- vscode
- 도커
- 수학 애니메이션
- docker
- dart
- 한빛미디어
- 개발
- 다트
- Today
- Total
승상의 코딩 블로그
Gemma3 사용 후기 - 만족스러운 역대급 성능 본문
Llama, deepseek 등은 RTX 4090 에서 동작시켰을 때(*4090에서 무리없이 동작하는 파라미터로),
한국말로 질문하면 다른 언어(영어, 중국어)로 말을 하는 경우가 있었다.
한국어로 잘 대답했던 건, Gemma2 와 phi4 였던것 같다.
그래서 25.3 월에 Gemma3 가 나오자마자 Gemma3 로 모델을 교체했다.
지금까지 사용해본 느낌은... 구글은 정말 대단하다...
개인적으로 다양한 모델을 사용해봤는데,
현재 기준 RTX 4090 GPU 한 개에서의 성능은 Gemma3:27b 가 압도적인 것 같다.
Gemma3 는 한국어를 잘한다.
소개에 따르면 단일 GPU 에서 대규모 모델과 비슷한 성능을 낸다고 한다.
또한 128k 토큰 컨택스(길게 이야기해도 말을 잘함)를 지원한다고 한다.
이번에 이미지를 인식하고 OCR 을 하는 기능도 추가되었다.
OCR 의 정확도는 매우 우수했다. (다양한 OCR 성능을 봤었는데, 오픈소스 라이브러리든 모델이든 역대급이었다...)
그러나 하나의 이미지에서 OCR 의 내용이 많아지면, 뒤로 갈수록 OCR 의 정확도가 떨어졌다.
Function Calling 기능도 지원한다.
Function Calling 기능이 어떤지 궁금하다면, https://www.youtube.com/watch?v=5s8Z-K50Np8 에서 간단히 실습하니 참고바란다.
모델의 크기는 1b, 4b, 12b, 27b 가 지원된다.
https://ollama.com/library/gemma3
gemma3
The current, most capable model that runs on a single GPU.
ollama.com
나는 개인 노트북에서 gemma3:4b 를 사용중인데, 다른 모델의 4b 에 비해서 성능이 너무나 좋다.
그래서 요즘엔 맥북으로 다양한 AI 연동 기능들을 테스트해보고 있다.
'일상과 생각' 카테고리의 다른 글
NotebookLM - 유튜브 요약하기/ 해외 유튜브 튜토리얼을 한글로 공부하기 (0) | 2025.04.06 |
---|---|
MySQL 실습환경 구축하기 (Docker 와 MySql Workbench) (2) | 2024.12.01 |
프로그래밍 성장일기 - 중간고사 시험 공부 (2) | 2024.06.08 |
내가 좋아하는 것은 무엇일까? (0) | 2024.05.06 |
프로그래밍 성장일기 - 쉬는 날에도 열공 중! (0) | 2024.05.05 |