KT Midm 2.0 오픈소스 AI LLM 모델

KT Midm 2.0 오픈소스 AI LLM 모델

 

카카오의 Kanana, 네이버의 HyperCLOVA에 이어, KT도 오픈소스 AI 모델을 공개했습니다. KT 믿:음 2.0(Midm 2.0)은 한국어 환경 최적화 언어 모델로, 한국어 표현력과 문화 이해도에 강점이 있습니다.

 

KT 믿:음 2.0 소개페이지 :https://enterprise.kt.com/pd/P_PD_NE_00_316.do

믿:음 K 2.0 – 한국적 AI 솔루션 | KT Enterprise

 

믿:음 2.0은 세 가지 버전으로 개발되었으며, 현재 두 개 버전이 공개되어 누구나 사용할 수 있습니다.

 

Mi:dm-2.0-Base : 115억 파라미터 규모 모델로, 범용성과 성능 균형을 중시한 버전

Mi:dm-2.0-Mini : 약 23억 파라미터 경량 모델로, 온디바이스/저사양 환경에 적합한 버전

 

향후, 보다 고성능의 Pro 버전도 공개될 예정입니다.

 

Mi:dm 2.0 Pro(예정): 410억 파라미터 이상 Frontier 급 고성능 모델 (준비 중)

 

믿:음 2.0은 MIT 라이선스로 제공되어 누구나 자유롭게 사용할 수 있습니다. MIT 라이선스는 가장 개방적인 오픈소스 라이선스 중 하나로, 복제, 수정, 배포는 물론 상업적 이용까지 허용됩니다. KT는 기반 모델인 Base와 Mini 버전을 허깅페이스에 공개하였으며, 이를 통해 개발자와 기업은 모델을 자유롭게 활용하고 다양한 서비스에 적용할 수 있습니다.

 

(출처: https://marcus-story.tistory.com/212 )

다음과 같은 실행 환경에서도 동작합니다. 

운영체제 : Windows 11

python : 3.10.11

torch : 2.6.0+cu126

transformers : 4.53.1

GPU : NVIDIA GeForce RTX 4060 Ti

 

KT 허깅페이스에서 Midm-2.0-Mini-Instruct 모델을 다운로드하실 수 있습니다. 아래 파일을 모두 다운로드하여 동일한 디렉토리에 저장합니다.

 

config.json

generation_config.json

model.safetensors

special_tokens_map.json

tokenizer.json

tokenizer_config.json

 

KT 허깅페이스 :https://huggingface.co/K-intelligence/Midm-2.0-Mini-Instruct/tree/main

K-intelligence/Midm-2.0-Mini-Instruct at main

 

모델을 실행하는 데 필요한 패키지를 설치합니다.

 

pip install torch==2.6.0 --index-url https://download.pytorch.org/whl/cu126

pip install transformers accelerate

 

[코드 작성] 

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer, GenerationConfig

model_name = "/Path/to/midm_2.0"  # 사용자 경로에 맞게 수정
model = AutoModelForCausalLM.from_pretrained(
    model_name,
    torch_dtype=torch.bfloat16,
    trust_remote_code=True,
    device_map="auto"
)
tokenizer = AutoTokenizer.from_pretrained(model_name)
generation_config = GenerationConfig.from_pretrained(model_name)

prompt = "외국인 관광객에게 소개하듯, 서울에 대해 설명해줘."  # 입력 프롬프트

# message for inference
messages = [
    {"role": "system", "content": "Mi:dm(믿:음)은 KT에서 개발한 AI 기반 어시스턴트이다."},
    {"role": "user", "content": prompt}
]

input_ids = tokenizer.apply_chat_template(
    messages,
    tokenize=True,
    add_generation_prompt=True,
    return_tensors="pt"
)

output = model.generate(
    input_ids.to("cuda"),
    generation_config=generation_config,
    eos_token_id=tokenizer.eos_token_id,
    max_new_tokens=640,
    do_sample=False,
)

print(tokenizer.decode(output[0]))