oMLX 가이드: Apple Silicon용 MLX 추론 서버와 운영 포인트
omlx는 Apple Silicon 환경에서 로컬 LLM을 좀 더 “운영 가능한 서버” 형태로 다루기 위해 만든 도구입니다. 단순히 모델 하나를 띄우는 수준을 넘어, 연속 배칭(continuous batching), SSD 기반 KV 캐시, 멀티 모델 관리, 관리자 대시보드, macOS 메뉴바 앱까지 포함한 것이 특징입니다. 한 줄로 요약하면 이렇습니다. MLX는 Apple이 만든 머신러닝 프레임워크입니다. **mlx-lm**은 MLX 기반으로 LLM을 실행하고 파인튜닝하는 패키지입니다. oMLX는 그 위에서 실제 서비스 운영에 필요한 서버 기능과 관리 UX를 덧붙인 제품에 가깝습니다. 즉, oMLX는 “MLX를 대체하는 것"이라기보다, MLX 생태계 위에서 로컬 추론 서버를 더 쉽게 운영하게 해주는 계층이라고 보는 편이 정확합니다. ...