R&D 케이스 스터디

MoEVM — 48GB Mac에서 돌리는 58GiB 모델.

MoE 모델은 토큰마다 일부 익스퍼트만 사용합니다. MoEVM은 필요한 익스퍼트만 GPU에 두고 나머지는 SSD에서 페이징하여, GPU 메모리 한도를 넘는 모델을 Apple Silicon에서 구동합니다 — MoEVM 없이 실행한 llama.cpp와 동일한 출력으로.

  • 8.72 tok/s gpt-oss-120b(58GiB) GPU 구동, 5회 중앙값
  • 3.1× 같은 프롬프트에서 llama.cpp op-offload 대비 Qwen3-Coder-Next
  • 0.0 최대 로짓 차이 — 1,024행 × 151,936토큰
  • 95.8 % LRU 익스퍼트 캐시 적중률 (이론 최적 97.5%)
  1. 1 패킹

    라우팅 익스퍼트를 사이드카 파일로 패킹 — SHA-256 인덱스가 있는 4,608개 레코드.

  2. 2 스테이징

    LRU로 관리하는 RAM 아레나, 4개 스레드가 라우터가 고를 익스퍼트를 미리 로드.

  3. 3 라우팅

    레이어마다 라우터 선택을 한 번 읽고, GPU 슬롯을 계획하고, 익스퍼트 ID를 원자적으로 교체.

  4. 4 연산

    익스퍼트는 상주 Metal 풀에서 실행, 나머지 모델은 GPU에 유지.

  5. 5 보호

    에포크: GPU가 끝내기 전엔 슬롯을 비우지 않음. 메모리 압력 리스너가 RAM을 정리.

  6. 6 검증

    모든 변경은 MoEVM 없이 실행한 llama.cpp와의 로짓 일치 검사를 통과해야 반영.

성능 향상 단계
  1. llama.cpp op-offload 4.24
  2. 사이드카 + Metal 풀 13.08
  3. 안정화, dynamic-K 19.31
  4. 4k 컨텍스트 21.88
  5. 그래프 빌드, 복사 훅 제거 21.90

Qwen3-Coder-Next Q4, 초당 토큰, 라우팅 트레이스를 켠 측정. 트레이스를 끈 공정 비교: 6.41 → 19.90 tok/s (3.1배).

정직하게 검증한 방법

  • 행 단위 일치 검사: 전체 어휘에서 최대 차이, argmax, 토큰 비교.
  • 지터 테스트: 500µs 지연 주입과 강제 동기화 — 여전히 0.0.
  • 결과 전에 출시 기준을 먼저 작성, 최고값이 아닌 5회 중앙값, 웜 캐시 수치는 배제.

실패한 시도와 한계

  • 콜백 기반 익스퍼트 로딩: 2.07 tok/s. 폐기.
  • 모델이 메모리에 들어가면 기본 llama.cpp가 더 빠름(49.69 tok/s). MoEVM은 들어가지 않는 모델을 위한 것.
  • CPU에서는 기본 llama.cpp가 짧은 프롬프트로 gpt-oss-120b를 10.9–14.4 tok/s로 실행. MoEVM의 강점은 메모리를 제한한 GPU 경로.
  • 추측 디코딩은 최종 경로에서 실질적 이득이 없었음.
  • +4,755 llama.cpp 포크의 C++ 코드 줄
  • 5.8k Python 도구 코드 줄
  • 1,123 벤치마크 실행 파일
  • ~18 h AI 코딩 에이전트와 함께한 실작업 시간

llama.cpp 드래프트 PR #25309 (sparse mmap ranges). 외부 사용자가 128GB M5 Max에서 모델 로딩에 도움이 되었다고 남겼습니다. PR 보기 ↗ · GitHub의 MoEVM 저장소 ↗

다른 케이스 스터디

자체 제품 · 개발 중

Where?

344 설계된 플로우 단계

혼자 또는 그룹으로 외출을 계획하고, 실제로 방문하며 지도를 밝혀 나갑니다. 기획, UX, iOS 앱, 백엔드 모두 직접 — AI 에이전트 팀과 함께 구축.

  • Expo
  • iOS → Android
  • TypeScript
  • Fastify
  • PostGIS
  • Mapbox
케이스 스터디 보기

창업자 & CEO

Selvren

11,901 병합 게이트 테스트

기업 내부 문서에 근거한 AI 도메인 전문가 — 모든 주장을 보여주기 전에 출처로 검증합니다. 대시보드와 엔터프라이즈 API.

  • Fastify
  • PostgreSQL + pgvector
  • Mistral
  • React
  • Clerk
케이스 스터디 보기

함께 만들어요.

프리랜스 프로젝트를 맡습니다. 팀이 이미 쓰는 소프트웨어에 연결되는 AI 도구를 설계하고, 개발하고, 출시합니다. 직접 만드는 사람이 필요한 팀이나 스타트업 합류에도 열려 있습니다. 지금은 원격 근무와 정기적인 서울 체류, 앞으로는 한국 정착.

직접 연락하기

  • 카카오톡 ID Maxence.foulon
  • WhatsApp +33 6 19 32 62 26 열기 ↗

이력서 다운로드

언어를 선택하세요. 두 버전 모두 같은 내용이며 각 3페이지입니다.

Maxence Foulon © 2026 Maxence Foulon이 직접 디자인하고 만들었습니다.