기술 트렌드

클라우드 없이 AI가 돈다… 온디바이스 AI와 소형 언어모델

휴먼에이아이2026.11.13

거대한 데이터센터에서만 돌던 언어모델이 이제 노트북과 스마트폰 안에서 직접 실행되고 있습니다. 소형 언어모델(SLM), NPU 탑재 하드웨어, 양자화 기술이 함께 발전하면서 온디바이스 AI가 실용 단계에 들어섰습니다. 이 글에서는 등장 배경과 핵심 기술, 개발 도구, 한계, 그리고 개발자가 준비해야 할 역량을 정리합니다.

생성형 AI가 처음 대중화되었을 때 언어모델은 곧 클라우드 서비스를 뜻했습니다. 사용자가 입력한 문장은 인터넷을 거쳐 데이터센터의 GPU로 전달되고, 결과가 다시 돌아오는 방식이었습니다. 최근 몇 년 사이 이 구조에 변화가 생겼습니다. 수십억 개 이하의 파라미터를 가진 소형 언어모델이 실용적인 성능을 내기 시작했고, 노트북과 스마트폰에 AI 연산 전용 칩이 기본으로 들어가면서 모델을 기기 안에서 직접 실행하는 온디바이스 AI가 실제 제품에 적용되고 있습니다.

【왜 지금 온디바이스인가】 온디바이스 AI가 주목받는 이유는 크게 네 가지입니다. 첫째는 비용입니다. 클라우드 추론은 요청마다 비용이 발생하므로 사용자가 많아질수록 서비스 운영비가 커집니다. 연산을 사용자 기기로 옮기면 이 부담을 줄일 수 있습니다. 둘째는 지연 시간입니다. 네트워크 왕복이 없으니 자동완성이나 실시간 번역처럼 빠른 응답이 필요한 기능에 유리합니다. 셋째는 개인정보 보호입니다. 메시지, 사진, 문서 같은 민감한 데이터가 기기 밖으로 나가지 않아도 됩니다. 넷째는 오프라인 동작입니다. 네트워크가 불안정한 환경에서도 기능이 유지됩니다.

【작아도 쓸 만한 모델, SLM】 이 흐름을 가능하게 한 핵심은 소형 언어모델입니다. 마이크로소프트의 Phi 시리즈, 구글의 Gemma 시리즈, 메타의 Llama 3.2 1B와 3B, 알리바바의 Qwen 소형 모델 등이 대표적입니다. 이 모델들은 대형 모델보다 파라미터 수가 훨씬 적지만, 정제된 고품질 학습 데이터와 큰 모델의 지식을 작은 모델에 옮기는 지식 증류 기법을 활용해 요약, 분류, 간단한 질의응답, 정형화된 텍스트 생성 같은 작업에서 쓸 만한 성능을 보여줍니다. 모든 작업에서 대형 모델을 대체하지는 못하지만, 범위가 좁고 명확한 작업에는 충분한 경우가 많다는 점이 중요합니다.

【하드웨어의 변화, NPU의 대중화】 소프트웨어만으로는 한계가 있습니다. 행렬 연산을 저전력으로 처리하는 NPU(신경망 처리 장치)가 소비자 기기에 보편적으로 탑재되면서 상황이 달라졌습니다. 애플은 오래전부터 아이폰과 맥의 칩에 뉴럴 엔진을 넣어 왔고, PC 진영에서는 퀄컴 스냅드래곤 X, 인텔 코어 울트라, AMD 라이젠 AI 등 NPU를 내장한 프로세서가 등장했습니다. 마이크로소프트는 Copilot+ PC 기준으로 40 TOPS 이상의 NPU 성능을 요구하며 온디바이스 AI 기능을 운영체제 차원에서 제공하기 시작했습니다. 스마트폰 역시 주요 제조사의 플래그십 칩셋에 강력한 AI 가속기가 기본 사양으로 자리 잡았습니다.

【모델을 기기에 맞추는 기술】 기기 안에서 모델을 돌릴 때 가장 큰 제약은 연산 속도보다 메모리 용량과 메모리 대역폭인 경우가 많습니다. 이를 해결하는 대표 기술이 양자화입니다. 보통 16비트 부동소수점으로 저장되는 가중치를 8비트나 4비트 정수로 줄이는 방식으로, 30억 파라미터 모델을 4비트로 양자화하면 가중치 크기가 대략 1.5GB 수준으로 줄어듭니다. 여기에 불필요한 연결을 제거하는 가지치기, 앞서 언급한 지식 증류, 긴 문맥 처리 시 메모리를 아끼는 KV 캐시 최적화 등이 함께 쓰입니다. 다만 압축률을 높일수록 정확도가 떨어질 수 있으므로, 목표 작업에서 품질과 크기 사이의 균형점을 직접 측정하는 과정이 필수입니다.

【개발 도구와 런타임 생태계】 온디바이스 AI를 다루는 도구도 빠르게 성숙했습니다. llama.cpp와 GGUF 포맷은 CPU와 다양한 GPU에서 양자화 모델을 실행하는 사실상의 표준처럼 쓰이고 있으며, Ollama는 이를 기반으로 로컬 모델 실행을 간단한 명령어 수준으로 만들었습니다. 플랫폼별로는 애플의 Core ML과 MLX, 마이크로소프트가 주도하는 ONNX Runtime, 구글의 LiteRT(이전 TensorFlow Lite)와 MediaPipe, 파이토치 진영의 ExecuTorch 등이 있습니다. 웹에서도 WebGPU를 활용해 브라우저 안에서 모델을 실행하는 시도가 이어지고 있고, 크롬은 내장 소형 모델을 웹 API로 호출하는 기능을 실험적으로 제공해 왔습니다. 개발자는 대상 기기와 플랫폼에 맞춰 이들 중 적절한 런타임을 선택해야 합니다.

【하이브리드 구조가 현실적인 답】 실제 서비스에서는 모든 작업을 기기에서 처리하기보다, 기기와 클라우드를 나눠 쓰는 하이브리드 구조가 일반적입니다. 짧은 요약이나 문장 다듬기처럼 가벼운 작업은 기기에서 처리하고, 복잡한 추론이나 최신 정보가 필요한 작업은 클라우드의 대형 모델로 넘기는 방식입니다. 애플이 온디바이스 모델과 자체 서버 기반의 프라이빗 클라우드 컴퓨트를 함께 운영하는 것이 대표적인 예입니다. 이 구조에서는 어떤 요청을 어디로 보낼지 결정하는 라우팅 로직과, 클라우드로 데이터를 보낼 때의 개인정보 처리 방식이 핵심 설계 요소가 됩니다.

【한계와 주의할 점】 온디바이스 AI에도 분명한 한계가 있습니다. 소형 모델은 복잡한 다단계 추론, 넓은 범위의 사실 지식, 긴 문서 처리에서 대형 모델보다 약하며 환각 문제도 여전히 존재합니다. 기기 측면에서는 배터리 소모와 발열, 저사양 기기와의 성능 격차가 문제가 됩니다. 기기마다 칩과 런타임 지원 범위가 달라 테스트 부담이 커지는 파편화 문제도 있습니다. 앱에 모델을 포함하면 설치 용량이 커지고, 모델을 업데이트하려면 별도의 배포 전략이 필요합니다. 또한 공개 모델마다 상업적 사용 조건이 다르므로 라이선스를 반드시 확인해야 합니다.

【개발자에게 요구되는 역량】 이 분야에서 개발자에게 요구되는 역량은 기존 AI 서비스 개발과 조금 다릅니다. API를 호출하는 능력보다 모델을 기기 제약에 맞추는 능력이 중요해집니다. 구체적으로는 양자화 수준별 품질 차이를 평가하는 능력, 초당 생성 토큰 수와 첫 토큰까지의 지연 시간, 메모리 사용량을 측정하고 해석하는 능력, 특정 작업에 맞춰 LoRA 같은 경량 미세조정을 적용하는 능력 등이 꼽힙니다. 여기에 모바일 또는 데스크톱 앱 개발 경험, 그리고 데이터가 기기 밖으로 나가지 않도록 설계하는 개인정보 보호 관점이 더해지면 경쟁력이 커집니다.

【지금 시작해 볼 수 있는 것】 입문자라면 비싼 장비 없이도 시작할 수 있습니다. 개인 노트북에 Ollama나 llama.cpp를 설치해 1B에서 3B 규모의 모델을 실행해 보고, 같은 모델을 서로 다른 양자화 수준으로 바꿔 가며 응답 품질과 속도가 어떻게 달라지는지 기록해 보는 것이 좋은 출발점입니다. 그다음에는 네트워크 없이 동작하는 메모 요약기나 문서 분류기 같은 작은 애플리케이션을 만들어 보면서, 측정한 수치와 설계 판단의 근거를 정리해 두면 그 자체로 의미 있는 포트폴리오가 됩니다.

온디바이스 AI는 클라우드 AI를 대체하기보다 역할을 나눠 맡는 방향으로 발전하고 있습니다. 비용, 속도, 개인정보라는 현실적인 요구가 이 흐름을 밀어주고 있으며, 하드웨어와 소형 모델의 개선 속도를 고려하면 기기 안에서 처리할 수 있는 작업의 범위는 앞으로도 넓어질 가능성이 큽니다. 모델의 크기와 성능, 기기의 제약 사이에서 균형을 찾는 감각은 앞으로 AI를 다루는 개발자에게 점점 더 중요한 역량이 될 것입니다.