내 컴퓨터에서 쓸 수 있는 AI 모델 확인, LLMFIT

내 컴퓨터에서 쓸 수 있는 AI 모델 확인,  LLMFIT

 

윈도우 환경에서는 아래 명령어로 설치할 수 있다.

cargo install llmfit

 

[화면] 내 노트북에서 확인한 결과 (실행 명령: llmfit)

 

LLMFIT

• 수백 개의 LLM 모델과 제공자를 대상으로, 내 시스템 RAM·CPU·GPU에서 실제로 실행 가능한 모델을 한 번의 명령으로 찾아주는 도구
• 각 모델을 품질·속도·적합도·컨텍스트 기준으로 점수화해 실행 가능 여부를 표시하여, TUI(터미널 UI) 와 CLI 모드를 모두 지원
• 다중 GPU·MoE 구조·동적 양자화·속도 추정·로컬 런타임(Ollama, llama.cpp, MLX)과 통합
• 모델별로 실행 모드(GPU, CPU+GPU, CPU) 와 적합 수준(Perfect, Good, Marginal, Too Tight) 을 분석해 최적 조합을 제시
• 로컬 환경에서 LLM을 효율적으로 활용하려는 개발자에게 하드웨어 기반 모델 선택 자동화를 제공

설치 및 실행

• macOS/Linux에서는 brew install llmfit 또는 curl -fsSL https://llmfit.axjns.dev/install.sh | sh 명령으로 설치
• Windows는 cargo install llmfit을 통해 설치 가능
• 실행 시 llmfit 명령으로 TUI가 열리며, 시스템 사양과 모델 목록이 표시
• CLI 모드에서는 llmfit --cli, llmfit fit --perfect -n 5, llmfit recommend --json 등 다양한 하위 명령 제공

작동 방식

• 하드웨어 감지: sysinfo, nvidia-smi, rocm-smi, system_profiler 등을 이용해 RAM·CPU·GPU 정보 수집
• 모델 데이터베이스: HuggingFace API에서 수백 개 모델을 가져와 data/hf_models.json에 저장
  • Meta Llama, Mistral, Qwen, Google Gemma, Microsoft Phi, DeepSeek, IBM Granite 등 주요 모델 포함
• 동적 양자화: Q8_0~Q2_K 계층을 순회하며, 사용 가능한 메모리 내에서 최고 품질 양자화를 자동 선택
• 속도 추정: GPU 메모리 대역폭 기반 계산식 (bandwidth_GB_s / model_size_GB) × 0.55 사용
  • 약 80종 GPU에 대한 대역폭 테이블 내장
• 적합도 분석: GPU·CPU+GPU·CPU 모드별로 실행 가능 여부와 메모리 여유도 평가

 

https://www.youtube.com/shorts/1uB3OUsbo4Q

 

 

https://news.hada.io/topic?id=27143

llmfit - 내 하드웨어에 맞는 LLM 모델을 찾아 자동 최적화하는 터미널 도구 | GeekNews