Raspberry Pi 5 vs. Orange Pi 5B: LLM 성능 비교

Raspberry Pi 5 vs. Orange Pi 5B: LLM 성능 비교

- 라즈베리파이 5와 오렌지파이 5B의 LLM 성능 비교

 

 

이 영상에서는 Raspberry Pi 5와 Orange Pi 5B를 사용하여 Microsoft의 Phi-3-mini를 실행해 봅니다. 

Phi-3-mini는 제한된 기기에 최적화된 작지만 강력한 로컬 대규모 언어 모델(LLM)입니다. 

두 보드의 성능 차이를 자세히 살펴보고, 

지원이 부족한 Orange Pi 5B에서 LLM을 실행하는 데 따르는 어려움도 알아봅니다.

Raspberry Pi 5 : Ollama를 사용하여 최소한의 설정만으로 모델을 쉽게 실행할 수 있습니다. 

Orange Pi 5B : LLM을 잘 실행하려면 ezrknn-llm 같은 특수 라이브러리를 설치하고 특별히 변환된 모델을 사용합니다.

 

이 영상에서 각 보드의 성능을 직접 비교해 보고, 여러분의 LLM 프로젝트에 어떤 보드가 적합한지 살펴보세요.

 

 

https://www.youtube.com/watch?v=OXSsrWpIm8o