먼저 알아둘 핵심
소형 모델을 실행할 수 있다는 사실과 현장에서 제때 응답한다는 사실은 다릅니다. Nemotron 3.5 Bolt를 검토할 때도 텍스트 모델의 처리 시간, 음성 변환 시간, 명령을 확인하고 실행하는 시간을 나누어 보아야 합니다.
핵심 요약
- NVIDIA는 2026년 10월 23일 Nemotron 3.5 Bolt E4B 4GB를 공개했습니다.
- 텍스트 입출력 모델이므로 음성 인식·합성과 영상 이해는 별도로 구성합니다.
- 이름의 4GB를 시스템 전체의 메모리 상한으로 볼 수는 없습니다. 현장 응답 시간과 실행 권한도 따로 검증합니다.
음성 비서용 모델이지만 입력은 텍스트입니다
NVIDIA는 2026년 10월 23일 Nemotron 3.5 Bolt E4B 4GB를 공개했습니다. 공식 모델 카드는 Gemma-4-E4B-it을 추가 학습한 모델로 설명하며, 8B 파라미터와 4B 유효 파라미터, Q4_K_M 양자화를 안내합니다.
공식 입출력 형식은 텍스트입니다. 음성 비서에 쓰려면 음성을 글자로 바꾸는 STT와 답변을 읽어 주는 TTS를 별도로 구성해야 합니다. 카메라 영상 역시 이 모델이 직접 해석하는 입력으로 안내되지 않습니다.
같은 장비도 문맥이 길어지면 측정값이 달라집니다
NVIDIA 연구 블로그는 문맥 길이와 장비에 따라 달라지는 측정값을 공개합니다. 아래는 Jetson Orin Nano 8GB에서 Q4_K_M·llama.cpp(CUDA)·AIPerf·배치 크기 1로 측정한 공급사 수치이며 AI Cube의 실측값이 아닙니다.
이 표의 첫 토큰 시간은 모델이 답변을 시작할 때까지의 시간입니다. 음성 입력부터 스피커 재생까지의 전체 응답 시간이 아닙니다. 같은 장비의 두 조건에서도 메모리 사용과 지연이 달라지므로, 제품명만 보고 장비 용량이나 응답성을 결정하기 어렵습니다.
| 캐시 / 새 입력 / 출력 길이(토큰) | 메모리 사용량(GB) | 첫 토큰까지 걸린 시간(ms) |
|---|---|---|
| 0 / 3K / 50 | 4.2 | 5,785 |
| 32K / 2K / 256 | 4.9 | 6,259 |
도구를 고르는 일과 실행을 허용하는 일을 나눕니다
현장 명령은 문장으로 이해한 뒤에도 확인할 것이 남습니다. 예를 들어 화면을 바꾸는 요청이라면 대상 기기·변경 범위·실행 권한을 검사하고 결과를 확인해야 합니다. 모델이 도구 이름을 올바르게 골랐다는 사실만으로 실제 화면이 바뀌었다고 판단할 수는 없습니다.
AI Cube 관점에서는 도메인 지식과 작업 판단, 정량 검증·안전 확인, 물리적 행동, 현장 실행과 HMI를 구분합니다. 대화 모델의 도구 호출 능력만으로 전체 시스템을 안전성이 검증된 Physical AI라고 볼 수는 없습니다.
첫 토큰보다 작업을 마치는 시간까지 측정합니다
현장 시험에서는 음성 인식, 모델 판단, 권한 확인, 도구 실행, 음성·화면 출력에 걸린 시간을 각각 남깁니다. 한국어 명령의 소음·생략 표현, 모호한 대상, 사용할 수 없는 도구를 요구하는 상황을 넣으면 대답의 정확도와 실행 오류를 함께 살필 수 있습니다.
확인한 자료만으로 특정 저메모리 기기에서의 실행, 한국어 현장 정확도, 안전 기능 인증이나 AI Cube 제품 연동을 확정할 수는 없습니다. 실제 장비에서 메모리와 지연·도구 선택 오류를 측정하고, 모델과 런타임 버전 및 재현 조건을 남기는 것이 다음 단계입니다.
달라지는 점과 적용 범위
NVIDIA가 로컬 대화와 여러 차례의 도구 호출에 초점을 맞춘 소형 모델을 공개했습니다. 이는 현장 시스템의 음성 인식·제어·안전 검증을 모두 제공한다는 의미가 아닙니다.
AI Cube의 관점
AI Cube는 현장 지식에 따른 판단부터 정량 검증·안전 확인을 거쳐 실행에 이르는 근거를 봅니다. 잘못된 대상을 고르거나 실행이 지연됐을 때 중단·재확인할 경로가 있어야 합니다. 모델의 크기나 도구 호출 성능을 시스템 전체의 안전성으로 확대하지 않는 것이 이 발표를 읽는 기준입니다. 자체 연동·실증을 완료했다는 뜻은 아닙니다.
기술 적용 시 고려사항
모델을 올린 뒤 남는 메모리에 문맥 캐시, 음성·영상 처리와 화면 프로그램을 함께 배치할 수 있는지 확인합니다. 허용된 도구와 인수를 검사한 기록을 실제 실행 결과에 연결해야, 대답은 맞았지만 동작하지 않은 경우를 구분할 수 있습니다.
사업·운영 관점
로컬 실행은 클라우드 호출 의존성을 줄이는 선택지가 될 수 있습니다. 다만 장비 구입, 모델 갱신, 재시험과 장애 대응은 비용으로 남습니다. 목표 응답 시간을 만족하는지 확인한 뒤 운영 부담까지 포함해 비교하는 편이 좋습니다.
자주 묻는 질문
4GB 메모리만 있으면 항상 실행할 수 있나요?
이름만으로 그렇게 판단할 수는 없습니다. 공급사의 동일 장비 측정에서도 문맥 조건에 따라 사용량이 달라집니다. 음성·화면 프로그램이 함께 쓰는 메모리까지 실제 장비에서 확인해야 합니다.
음성과 카메라 영상을 직접 입력할 수 있나요?
공식 모델 카드는 텍스트 입출력을 안내합니다. 음성이나 영상은 별도 처리 결과를 전달하는 구성이 필요합니다. 음성 비서용이라는 활용 설명과 직접 오디오 입력 지원은 구분해야 합니다.
출처와 확인 기준
- NVIDIA 공식 모델 카드 — 공개일·구조·텍스트 입출력 ↗NVIDIA · 원문 날짜 2026-10-23 · 자료 확인 2026-10-27
- NVIDIA 공식 연구 블로그 — 사용 범위·Jetson 메모리와 응답 측정 조건 ↗NVIDIA · 원문 날짜 2026-10-23 · 자료 확인 2026-10-27
현장 적용을 검토하고 계신가요?
설치 환경과 운영 조건을 알려주시면 관련 제품과 PoC 범위를 함께 검토합니다.
기술·PoC 문의 ↗