iPhone 17에서 350억 파라미터 AI 모델이 돌아간다 — 초당 11 토큰, MoE가 만든 변화

서버 없이 스마트폰에서 AI를 실행한다는 개념은 몇 년 전만 해도 7B, 많아야 13B 파라미터 모델 얘기였다. 그 한계가 빠르게 올라가고 있다.

Better Stack이 공개한 실험 결과가 화제다. Qwen3.5-35B-A3B 모델을 iPhone 17에서 실행했더니 초당 약 11 토큰의 속도로 동작했다. 350억 파라미터 모델이 손 안에서 돌아간다.

어떻게 가능한가 — Flash-MoE 아키텍처

11 tok/sec가 가능한 이유는 모델의 아키텍처에 있다. Qwen3.5-35B-A3B는 Flash-MoE를 사용한다. Mixture-of-Experts의 한 변형이다.

일반 모델은 토큰을 처리할 때 모든 파라미터가 활성화된다. MoE는 토큰마다 관련 있는 "전문가 네트워크"만 골라서 활성화한다. 35B 파라미터 중 실제로 계산에 참여하는 건 3B 수준이다. 나머지는 대기 상태다.

결과적으로 GPU 메모리와 연산량이 크게 줄어든다. 모델이 35B의 지식과 능력을 갖추면서도 3B 수준의 연산 비용으로 돌아간다. iPhone 17의 A20 Pro 칩이 이걸 감당한다.

11 tok/sec는 어느 정도 속도일까. 사람이 읽는 속도는 보통 분당 200~400 글자 정도다. 초당 11 토큰은 대략 초당 8~10 글자에 해당한다. 짧은 답변은 5~10초면 완성된다. 서버를 거치는 것보다 느리지만, 오프라인에서, 프라이버시를 지키면서 쓸 수 있다는 장점이 있다.

온디바이스 AI의 실제 의미

클라우드 AI와 온디바이스 AI의 차이는 크게 세 가지다.

첫 번째는 프라이버시다. 온디바이스 AI는 데이터가 기기 밖으로 나가지 않는다. 의료 정보, 법적 문서, 개인 일기 같이 외부 서버에 올리고 싶지 않은 내용을 AI와 작업할 때 의미가 있다. 한국의 개인정보보호법이나 의료법 맥락에서도 중요한 포인트다.

두 번째는 오프라인 가용성다. 인터넷이 없어도 AI를 쓸 수 있다. 비행기 안, 지하철 터널, 통신이 불안정한 환경에서도 기능이 유지된다.

세 번째는 지연 시간이다. 서버 왕복 없이 바로 응답이 시작된다. 초기 응답 속도(time-to-first-token)가 클라우드 AI보다 빠를 수 있다.

단점도 있다. 속도는 클라우드 대형 모델보다 느리고, 모델이 더 작으므로 복잡한 추론 작업에서 품질 차이가 난다. 긴 컨텍스트 처리나 전문 도메인 작업에서는 여전히 클라우드가 낫다.

앱 생태계에 미치는 영향

iPhone 17에서 35B 모델이 실행된다는 사실이 앱 개발자들에게 무엇을 의미하는지 생각해볼 만하다.

지금까지 iOS 앱에서 AI를 쓰려면 거의 무조건 API 호출이 필요했다. 통신 비용, 응답 지연, 개인정보 우려가 따라왔다. 35B 온디바이스 모델이 실용 속도로 돌아간다면, AI 기능이 인터넷 연결 없이 완전히 로컬에서 작동하는 앱이 현실화된다.

Apple이 iOS 26에서 AI 기능을 강화하면서 Core ML과 온디바이스 추론 최적화에 집중하는 것도 같은 방향이다. 하드웨어와 소프트웨어가 맞아떨어지는 시점이 가까워지고 있다.

한눈에 보기 — 핵심 요약