온디바이스 함수 호출, Google AI Edge Gallery로 모바일 AI 에이전트 구현하기

모바일에서 AI가 '행동'하기 시작했다

AI가 단순히 텍스트를 생성하는 것을 넘어, 실제로 앱을 열고 시스템 설정을 바꾸고 캘린더에 일정을 추가하는 시대가 왔어요. 이 모든 것이 서버 없이, 내 스마트폰 위에서 실행된다면 어떨까요? 온디바이스 함수 호출(On-Device Function Calling)은 바로 그 가능성을 현실로 만드는 기술이에요. 네트워크 지연도, 개인정보 유출 위험도 없이 자연어 명령 하나로 OS 기능을 직접 제어할 수 있죠. Google은 최근 AI Edge Gallery를 대폭 업데이트하며 이 기술을 개발자 누구나 체험하고 확장할 수 있도록 공개했어요. 이번 글에서는 FunctionGemma의 구조, 성능 벤치마크, 그리고 실제 커스텀 에이전트를 만드는 방법까지 깊이 있게 살펴볼게요.

Google AI Edge Gallery 온디바이스 AI 소개

FunctionGemma 270M — 왜 이 숫자가 중요한가

전통적인 함수 호출(Function Calling) 모델은 수십억 개의 파라미터를 요구해서, 모바일 하드웨어의 메모리와 배터리 한계를 훌쩍 넘겼어요. 이걸 모바일에 구겨 넣으면서도 정확도를 유지하는 것이 핵심 엔지니어링 과제였죠.

Google이 내놓은 해답이 바로 FunctionGemma 270M이에요. 겨우 2억 7천만 개의 파라미터로 자연어를 OS 툴 인텐트(intent)로 변환하는 데 특화된 모델이에요. 성능 수치를 보면 왜 주목받는지 바로 알 수 있어요.

  • Pixel 7 Pro CPU 기준: 프리필(prefill) 1,916 tokens/sec
  • 디코드(decode) 속도: 142 tokens/sec
  • 완전 오프라인 동작 — 네트워크 핑(ping) 제로
  • iOS/Android 크로스플랫폼 지원 (LiteRT 기반)

이 숫자가 의미하는 건 단순한 벤치마크 수치가 아니에요. 사용자가 "내일 오후 2시 30분에 요리 수업 캘린더 등록해줘"라고 말하면, 모델이 네트워크를 거치지 않고 즉시 createCalendarEvent(time: "14:30", title: "요리 수업") 형태의 함수 호출을 생성해 OS에 전달하는 속도가 이 수준이라는 거예요.

LiteRT가 이걸 가능하게 하는 방법

리터트(LiteRT)는 TensorFlow Lite의 후속으로, CPU와 GPU 가속을 통합 관리해요. AI Edge Gallery의 벤치마크 기능을 사용하면 내 기기에서 직접 prefill/decode 토큰 수와 실행 횟수를 조정하며 실측값을 확인할 수 있어요.

// 벤치마크 실행 방법
1. Gallery 앱 좌상단 햄버거 메뉴 탭
2. Benchmark 타일 선택
3. 다운로드 가능한 모델 목록에서 FunctionGemma 선택
4. prefill 토큰 수, decode 토큰 수, 실행 횟수 설정 후 실행
LiteRT 성능 벤치마크 결과

Mobile Actions & Tiny Garden — 실제 구현 패턴 분석

온디바이스 함수 호출을 가장 잘 보여주는 두 가지 데모가 Gallery에 탑재되어 있어요. 단순한 쇼케이스가 아니라, 실제 앱에 적용할 수 있는 구조적 패턴을 담고 있어요.

Mobile Actions — 자연어 → OS 인텐트 변환

Mobile Actions는 다음과 같은 명령어를 처리해요.

  • "샌프란시스코 공항 지도에서 보여줘" → 지도 앱 인텐트 실행
  • "내일 오후 2시 30분 요리 수업 캘린더 등록" → 캘린더 이벤트 생성
  • "손전등 켜줘" → 시스템 플래시 토글

모델은 자연어를 파싱해서 어떤 OS 툴이나 앱 인텐트를 실행해야 하는지 예측해요. 개발자 관점에서 주목할 점은 이 함수 스키마(schema)를 커스텀 앱 로직에 맞게 교체할 수 있다는 거예요.

Tiny Garden — 도메인 특화 함수 호출

Tiny Garden은 음성 명령으로 가상 농장을 관리하는 미니게임이에요. "맨 위 줄에 해바라기 심고 물 줘"라는 명령이 들어오면 모델이 이걸 분해해요.

# 모델이 생성하는 함수 호출 시퀀스 예시
plantCrop(crop="sunflower", row=0, cols=[0,1,2,3,4])
waterCrop(row=0, cols=[0,1,2,3,4])

이 패턴이 흥미로운 이유는 모델이 게임 도메인에 특화된 커스텀 함수 스펙을 학습 없이 컨텍스트 내에서 처리한다는 점이에요. 자체 앱의 API를 함수 스키마로 정의하면, 동일한 모델이 그 로직에 맞게 동작해요.

iOS 지원과 크로스플랫폼 전략

이번 업데이트의 또 다른 핵심은 Google AI Edge Gallery의 iOS 정식 출시예요. 기존 Android 전용이었던 모든 기능이 Apple 하드웨어에서도 동일하게 동작해요.

  • 멀티턴 AI 채팅 (Multi-turn AI Chat)
  • 이미지 질의 (Ask Image)
  • 로컬 음성 전사 (Audio Scribe)
  • Mobile Actions & Tiny Garden 에이전트 데모
Google AI Edge Gallery iOS 및 Android 크로스플랫폼 지원

Google AI Edge 스택은 단일 코드베이스로 iOS와 Android 모두를 지원하기 때문에, 개발자 입장에서 플랫폼 분기 작업을 최소화할 수 있어요. 프라이버시 측면에서도 모든 추론이 로컬에서 이뤄지므로, 민감한 사용자 데이터가 외부 서버로 전송될 위험이 없어요.

나만의 에이전트를 만들려면

  1. AI Edge Gallery 앱 다운로드 (Android / iOS App Store)
  2. Gallery 소스코드 포크 — 자신의 앱 로직에 맞게 함수 스키마 정의
  3. FunctionGemma 파인튜닝(fine-tuning) 적용 — 도메인 특화 함수에 최적화
  4. LiteRT 벤치마크로 기기별 성능 검증
  5. GitHub 이슈/PR로 커뮤니티 기여 또는 피드백 제출

마무리

온디바이스 함수 호출은 더 이상 미래 기술이 아니에요. 270M 파라미터의 FunctionGemma가 Pixel 7 Pro에서 초당 142토큰을 디코딩하는 지금, 모바일 AI 에이전트의 진입 장벽은 의미 있는 수준으로 낮아졌어요. iOS 지원 확대와 인앱 벤치마크 기능 추가로 개발자가 직접 검증하고 확장하기도 훨씬 쉬워졌죠. 이제 서버 없이도 동작하는 자신만의 로컬 에이전트를 만들어볼 차례예요.

이 블로그의 인기 게시물

TorchTPU: PyTorch를 TPU에서 네이티브로 실행하는 구글의 전략

이미지
PyTorch + TPU, 왜 지금 중요한가 대규모 AI 모델 학습의 시대가 본격화되면서, 수천~수만 개의 가속기를 효율적으로 활용하는 소프트웨어 스택의 중요성이 급격히 커지고 있어요. Google의 TPU(Tensor Processing Unit)는 Gemini, Veo 같은 자체 AI 플랫폼은 물론 Cloud 고객의 대규모 워크로드를 처리하는 핵심 인프라인데요. 문제는 ML 커뮤니티의 상당수가 PyTorch 생태계에 익숙하다는 점이에요. TorchTPU 는 바로 이 간극을 메우기 위해 설계된 스택으로, 기존 PyTorch 코드를 최소한의 변경만으로 TPU에서 네이티브로 실행할 수 있게 해줘요. 이 글에서는 TorchTPU의 핵심 아키텍처, Eager 모드 전략, 정적 컴파일 파이프라인, 그리고 2026년 로드맵까지 개발자 관점에서 깊이 살펴볼게요. TPU 하드웨어 아키텍처 이해하기 TorchTPU 를 제대로 이해하려면 먼저 TPU의 하드웨어 구조를 알아야 해요. TPU는 단순한 칩이 아니라 통합 네트워크 시스템이에요. ICI와 토러스 토폴로지 각 호스트에는 여러 개의 TPU 칩이 연결되어 있고, 칩들은 Inter-Chip Interconnect(ICI)를 통해 2D 또는 3D 토러스(Torus) 토폴로지로 연결돼요. 이 구조 덕분에 전통적인 네트워크 병목 없이 대규모 스케일업이 가능해요. GPU 클러스터에서 InfiniBand나 NVLink에 의존하는 것과는 근본적으로 다른 접근이에요. TensorCore와 SparseCore 칩 내부 실행은 TensorCore와 SparseCore로 나뉘어요. TensorCore : 단일 스레드 유닛으로 밀집 행렬 연산(dense matrix math)에 특화 SparseCore : 임베딩, gather/scatter 같은 불규칙 메모리 접근 패턴과 collective 오프로딩 처리 이 이중 구조가 TPU의 핵심 강점이고, TorchTPU는 이 두 코어를 모두 활용할 수 있도록 설계되었어요. Eager First 철학: ...
자세한 내용 보기

가상 파일시스템으로 AI 어시스턴트 비용·속도 최적화하기

이미지
RAG(검색 증강 생성) 기반 AI 어시스턴트는 분명 강력하지만, 문서 탐색에서는 뚜렷한 한계를 보여요. 쿼리와 유사한 텍스트 청크만 반환하는 방식은 답변이 여러 페이지에 걸쳐 있거나 정확한 구문 매칭이 필요한 경우 제대로 작동하지 않아요. Mintlify 팀은 에이전트가 코드베이스를 탐색하듯 문서를 직접 탐색할 수 있는 구조가 필요하다고 판단했어요. 그 결과물이 바로 가상 파일시스템(Virtual Filesystem) — ChromaFs예요. 이 글에서는 ChromaFs의 설계 배경, 핵심 구조, 그리고 성능·비용 트레이드오프를 개발자 시각에서 깊이 있게 살펴볼게요. 실제 샌드박스가 실패하는 이유 에이전트에게 실제 파일시스템을 주는 건 직관적인 해결책이에요. 격리된 샌드박스를 스핀업하고 저장소를 클론하면 되니까요. Mintlify도 비동기 백그라운드 에이전트에는 실제로 이 방식을 사용해요. 그런데 사용자가 로딩 스피너를 바라보는 프론트엔드 어시스턴트 시나리오에서는 이야기가 완전히 달라져요. 레이턴시 문제 GitHub 클론을 포함한 세션 생성의 p90 레이턴시가 약 46초 에 달했어요. 사용자 입장에서 46초는 곧장 이탈로 이어지는 숫자예요. 아무리 답변 품질이 좋아도, 기다림 자체가 UX를 망가뜨려요. 비용 문제 정적 문서 읽기를 위해 전용 마이크로-VM을 띄우는 건 인프라 비용이 상당해요. Daytona의 퍼-세컨드 샌드박스 가격(vCPU당 $0.0504/h, GiB RAM당 $0.0162/h)을 기준으로, 월 850,000건의 대화에 최소 설정(1 vCPU, 2 GiB RAM, 5분 세션)을 적용하면 연간 $70,000 이상 이 나와요. 세션 시간이 늘어나면 이 수치는 두 배로 뛰죠. 항목 실제 샌드박스 ChromaFs 세션 생성 시간 ~46초 ~수백 ms 대화당 추가 비용 ...
자세한 내용 보기

gemma4 vllm 실행 방법: 설치·최적화·멀티GPU 완전 가이드

최신 LLM을 직접 서빙하는 환경을 구축하려면 단순 실행을 넘어서 성능, 안정성, 확장성까지 고려해야 해요. 특히 gemma4 vllm 실행 방법 은 최신 모델 특성상 문서와 실제 구현 간 차이가 존재하기 때문에, 제대로 이해하지 않으면 실행은 되더라도 성능이 크게 떨어질 수 있어요. 최근 vLLM이 Gemma 4를 공식 지원하면서 OpenAI-compatible API 형태로 바로 서비스가 가능해졌고, KV cache 최적화와 PagedAttention 덕분에 높은 throughput을 확보할 수 있어요. 이 글에서는 단순 실행을 넘어 실무 환경에서 바로 적용 가능한 수준으로 상세하게 정리해볼게요. gemma4 vllm 실행을 위한 시스템 아키텍처 이해 Gemma 4는 단순 텍스트 모델이 아니라 멀티모달 + reasoning 중심 모델이에요. vLLM은 이를 효율적으로 처리하기 위해 내부적으로 다음 구조를 사용해요. vLLM 핵심 구조 PagedAttention: KV cache를 페이지 단위로 관리해 fragmentation 최소화 Continuous batching: 요청을 실시간으로 합쳐 GPU utilization 극대화 OpenAI API layer: 기존 클라이언트 그대로 사용 가능 이 구조 덕분에 gemma4 vllm 실행 방법 은 단순하지만 내부적으로는 매우 고성능 추론 파이프라인이 동작해요. 권장 하드웨어 구성 7B 이하: RTX 3090 / 4090 (24GB) 27B 이상: A100 80GB 또는 멀티 GPU NVLink 환경이면 tensor parallel 효율 상승 메모리가 부족하면 swap이 아니라 inference 자체가 실패하기 때문에 VRAM 확보가 가장 중요해요. gemma4 vllm 설치 및 빌드 전략 Gemma 4는 최신 모델이기 때문에 stable보다 nightly 사용이 사실상 필수예요. Python 환경 설치 (권장) uv venv source .venv/bin/activate uv pip install -U vll...
자세한 내용 보기