Mlx

최근 로컬 환경에서 대규모 언어 모델(LLM)을 구동하기 위한 도구들이 눈부시게 발전하고 있습니다. 특히 Apple Silicon(M칩 시리즈)을 탑재한 macOS에서는 디바이스의 하드웨어 리소스를 얼마나 잘 활용하는지에 따라 추론 속도와 메모리 효율이 크게 달라집니다. 오늘은 Apple에서 직접 개발한 머신러닝 프레임워크인 MLX에 대해 알아보고, 가장 대중적인 도구인 Ollama와의 비교, 그리고 강력한 성능을 자랑하는 Qwen3.5 9B 모델을 기준으로 로컬 환경을 구성하는 방법을 정리해 보겠습니다. 1. MLX란 무엇인가? MLX는 Apple의 머신러닝 연구 팀(Apple Machine Learning Research)에서 Apple Silicon을 위해 특별히 설계한 배열(Array) 및 머신러닝 프레임워크입니다. PyTorch나 JAX와 매우 유사한 Python API를 제공하면서도, Apple의 통합 메모리(Unified Memory) 아키텍처를 가장 깊은 수준에서 최적화하여 사용할 수 있도록 만들어졌습니다. ...