Open Weight 의 딜레마
AI가 똑똑해지면서 이제는 물어보는 말에 대답도 잘하고 시키는 일도 척척 해내는 이 때, 사람들은
‘연초에는 매월 20달러만 줘도 토큰 걱정 없이 살았는데, 이제는 200달러 요금제도 리셋 되기만 기다리게 되는’ (티보 형님 만세…) 상황을 마주하게 되면서,
‘아, 내가 전기요금만 내면 내 PC에서 AI를 돌리면서 프라이버시도 지키고 매월 추가로 나가는 돈도 없다더라’는 도시전설급의 그 이야기 – Open Weight 으로 관심을 갖게 되는 사람들이 점점 늘어나고 있다. 물론, 그게 나다.
그런데, 사실 Open이라는 단어에 숨어 있는 여러가지 의미 중에는 ‘공짜, 무료, 자유’ 등등의 좋은 의미도 있겠지만, ‘니가 직접 알아서, 생각보다 낮은 퀄리티 (좋은건 돈받고 팔아야지…), 쉽지 않은 셋팅’ 등등이 잘 안보이는 곳에 있다가 결정적인 순간에 발목을 턱 하고 잡는 경우가 많다. 물론, AI도 예외가 아니다.
사실 가장 큰 진입 장벽은 하드웨어다.
맥미니가 유행했던 건 정말 저전력으로 최소 수준의 서버 흉내를 내어줄 수 있기 때문이었던거지, LLM을 상시로 돌리기 위한 것은 아니었다. 맥 스튜디오나 DGX Spark, Strix Halo같은 전문가급의 하드웨어가 있다면 좀 상황이 낫겠지만 이미 메모리 가격 덕분에 가격은 천정부지로 솟구쳐 올라서 월급쟁이의 취미 영역을 크게 벗어나 버린지 오래다.
M4 Pro 24GB의 고성능을 자랑하는 내 맥미니는 BEP 달성이 불가하다는 결론을 냉정하게 내주셨다.
더군다나 모델 성능 역시, 중국 형님들이 내주시는 공개 모델들이 이제 OpenAI나 Anthropic의 SOTA 모델들을 따라 잡아주는 성능을 내면서 황송하게도 open weight 까지 내어주시면서 몸둘바를 몰라 했지만… 그게 성능이 뛰어난 만큼이나 어마어마한 용량을 자랑하게 되다보니 이걸 통으로 메모리에 올려서 돌려야 하는 AI 모델 특성 상 어지간한 하드웨어로는 한 번 돌려보는 것도 어려울 정도.
미국 SOTA 모델들과 대놓고 경쟁하는 업체들 – DeepSeek 이나 GLM, Kimi 등등 은 성능은 정말 뛰어나지만 공개는 그냥 해줬다 수준인 경우가 많고 (수백기가 짜리 웨이트를 턱 하니 던져만 주시면… 일부 갑부들께서는 DGX Spark 두 대, 세 대 묶어서 돌리시던데… ), Qwen이나 Gemma 같이 양자화 모델도 착실히 내어 주시는 고마운 곳도 있지만 양자화 하면서 생기는 손실, 아니 그 보다 더 큰 ‘파라미터 수’라는 체급의 차이로 생기는 모델의 성능 이슈가 같이 따라오다 보니 막상 본격적으로 쓰기는 좀 애매한 경우들이 많이 생긴다.
물론, 필요한 상황에 맞춰 하네스 빡세게 구성하면 아쉬운대로 활용이 안되는건 아닌데다 그마저도 무료로 풀어주는 걸 감사해야 하는게 마땅하지만… 사람 마음이 어찌 그런가.
그나마 26년 9월 현재 Qwen3.8-27B 모델이 Q4 양자화 하면 32GB 이하 VRAM 갖고 있는 개인 PC 사양에서 돌아가는 가장 훌륭한 선택지로 모이는 분위기. 벤치마크가 아닌 실 사용 시 대략 클로드 소넷 급의 성능을 보여준다고 하더라. ‘하더라’인 이유는… 내 컴퓨터 환경에서는 돌려 볼 수가 없는 사양이기 때문에… (맥미니 살 때 좀 기다려서라도 메모리 넉넉하게 샀어야 하는데… ㅠㅠ)
오픈 웨이트 전체를 놓고 봤을 때도, Qwen의 다음 버전 미리보기(?) 모델인 Qwen3.8-Flash-Next가 127GB 메모리로 돌리는게 가능해서 그나마 128GB 메모리 갖춘 DGX Spark 등에 올려 놓는게 가능해서 여러 사람들이 써보고 환호하는 상황. 역시나 좋은 평가 받고 있는 Deepseek 4.1이나 GLM-5.3 flash 같은건 128GB를 훌쩍 넘기는 사양이라 그냥 open router 같은데서 싸게 쓰는게 최고로 보고 있다. 그러다보니 Qwen3.8-Flash-Next가지고 다이어트 빡세게 시켜서 좀 더 적은 메모리로 돌려보겠다고 다양한 시도들이 일어나고 있는 듯 하다. 뭐 Q1, Q2 로 내려가면 현실세계의 하드웨어로도 돌릴수 있다고는 하는데 초당 4토큰 만들어 내는 속도로 말 그대로 ‘되긴 한다’ 라서 의미는 없는 듯.
쓸만한 모델을 적당한 하드웨어에서 돌린다는 허상, 그런데 그것이 실제로 일어났습니다?
그런데, 얼마 전 12GB VRAM이 있는 Nvidia 그래픽카드를 사용하는 윈도우/리눅스 PC에 RAM이 64GB 이상 있다면 Qwen3.8-27B가 아닌 Flash-Next를 초당 40~50토큰의 속도로 뽑아준다는 내용의 글이 X와 스레드에 떠돌게 됩니다.
그 주인공은 바로 ‘Strata’
https://github.com/Niko1221/Strata
MoE 구조를 해체 분해해서 필요한 것만 양자화 하는 걸로는 모자란지, VRAM, RAM, SSD를 살뜰히 쪼개서 비싼 VRAM에는 정말 필요한 부분과 Cache만 올려놓고 나머지는 RAM과 SSD에 나눠놓고 필요할때마다 불러 쓰는 구조인가 봅니다. 말은 되는 듯 하지만 실제로 구현해 냈다는게 더 놀랍습니다. 뭐 더 잘 아시는 분들의 말로는 정말 Qwen 구조에만 맞게 최적화를 극한까지 해놨다는거 같은데… 여기서부터는 미지의 영역이라…
그래서, 10년 전 확보해둔 메모리 덕분에 램은 64GB (하지만 DDR4…), 그래픽카드는 게임 한 번 4k로 돌려보겠다고 사둔 4080 SUPER (16GB GDDR5) 가 꽂혀있는 PC에 바로 설치해봤습니다.
설치는 정말 간단합니다. 정말 저 개발자는 천재임이 분명합니다. github에서 파일을 zip으로 내려받고, 압축 풀어서 그 안에 있는 ‘Start-here.bat’를 실행하면 알아서 다 해줍니다.
모델도 내려 받고 설치가 다 끝나면 친숙한 웹 화면을 띄워줍니다.
보면 현재 시스템 상황도 보여주고, 설치된 PC 사양도 보여줍니다.
재밌는 이야기 해달라고 하니 바로 던져줍니다. 간단한 게임 (숫자야구게임…)도 뚝딱 만들어 냅니다. 다른 것 보다 속도가 예술입니다. 프롬프트 바로 읽고 Thinking에 토큰들 던지기 시작하더니 답도 후루룩 냅니다. 내용은 기대한 수준이긴 합니다.
뭐 이정도는 20B 이하 모델들도 잘 하니까, 좀 어려운게 뭐가 있을까 해서 0.9GB나 더 써서 내려받은 이미지 모델 활용해 볼 겸 사람이 봐도 복잡한 그림을 던져주고 그 안에 내용을 좀 구분해서 정리해 달라고 보냈습니다.
그랬더니,
짜잔. 3~4분 생각하고 (Reasoning을 High로 놓았더니…) 표로 주욱 뿌려줍니다. 속도는 53tps 가 나왔네요.
근데 표가 좀 몇 개 빠진 듯 해서 잡도리를 해봅니다.
그랬더니 무한루프에 빠지는 로컬모델에서 자주보던 모습을 다시 마주하게 되네요.
그럼에도 불구하고 뭔가 가능성이 보였다는 점, 아직 시작인 프로젝트라는 점이 기대를 갖게 합니다. 당분간 깃헙 새로고침 하면서 업데이트 내용 살펴봐야 할 듯 하네요. 혹시 애매한 사양으로 LLM 찍먹도 못하고 계셨던 저같은 분들 계시면 한 번 시도해 보실만 할 것 같습니다.