https://cdecl.github.io/categories/devops/Recent content in Devops on cdeclogHugo -- 0.160.0ko-krMon, 06 Apr 2026 00:00:00 +0900https://cdecl.github.io/devops/omlx-guide/Mon, 06 Apr 2026 00:00:00 +0900https://cdecl.github.io/devops/omlx-guide/<p><a href="https://github.com/jundot/omlx"><code>omlx</code></a>는 Apple Silicon 환경에서 로컬 LLM을 좀 더 &ldquo;운영 가능한 서버&rdquo; 형태로 다루기 위해 만든 도구입니다. 단순히 모델 하나를 띄우는 수준을 넘어, <strong>연속 배칭(continuous batching)</strong>, <strong>SSD 기반 KV 캐시</strong>, <strong>멀티 모델 관리</strong>, <strong>관리자 대시보드</strong>, <strong>macOS 메뉴바 앱</strong>까지 포함한 것이 특징입니다.</p> <p>한 줄로 요약하면 이렇습니다.</p> <ul> <li><strong>MLX</strong>는 Apple이 만든 머신러닝 프레임워크입니다.</li> <li>**<code>mlx-lm</code>**은 MLX 기반으로 LLM을 실행하고 파인튜닝하는 패키지입니다.</li> <li><strong>oMLX</strong>는 그 위에서 실제 서비스 운영에 필요한 서버 기능과 관리 UX를 덧붙인 제품에 가깝습니다.</li> </ul> <p>즉, oMLX는 &ldquo;MLX를 대체하는 것&quot;이라기보다, <strong>MLX 생태계 위에서 로컬 추론 서버를 더 쉽게 운영하게 해주는 계층</strong>이라고 보는 편이 정확합니다.</p>