VISION · LANGUAGE

VLM 워크북

비전-언어 모델이 실제로 어떻게 동작하는지를 읽는 대신 만져보며 익히는 14장짜리 노트입니다. 모든 실습은 브라우저 안에서 돌아갑니다 — 설치도, 서버도, 계정도 필요 없습니다.

이 노트는 이렇게 굴러갑니다. 한 장마다 짧은 본문으로 개념을 세우고, LAB에서 그 개념을 직접 조절해보며 감각을 만들고, 확인 문제로 잘못 든 직관을 잡아냅니다. 푼 문제는 브라우저에 기억되므로 언제든 이어서 하시면 됩니다.

진행 0 / 0

확인 문제를 모두 맞힌 장이 완료로 기록됩니다. 기록은 이 브라우저에만 저장됩니다.

커리큘럼

어디까지 왔나요. 1~2장이 공개되어 있고 나머지는 집필 중입니다. 순서대로 읽는 것을 전제로 썼지만, 각 장은 앞 장의 결론만 알면 따라올 수 있도록 시작합니다.

다룹니다 — 이미지가 토큰이 되는 과정, 비전과 언어를 잇는 어댑터, 토큰 예산과 해상도의 맞교환, 그라운딩, 경량 파인튜닝, 판정기로서의 VLM, 서빙 비용, 비디오와 에이전트로의 확장.

다루지 않습니다 — 특정 프레임워크의 사용법, 벤치마크 순위표, 그리고 "어떤 모델을 써야 하나"에 대한 단정. 순위표는 반년이면 갈리지만 왜 그렇게 설계했는가는 오래 갑니다. 이 노트는 후자만 붙듭니다.