토치서브 명령 옵션 사용하기

토치서브 명령 옵션 사용하기  

다음 명령으로 토치서브 도움말을 볼 수 있다.

> torchserve --help
usage: torchserve [-h] [-v | --version]
                          [--start]
                          [--stop]
                          [--ts-config TS_CONFIG]
                          [--model-store MODEL_STORE]
                          [--workflow-store WORKFLOW_STORE]
                          [--models MODEL_PATH1 MODEL_NAME=MODEL_PATH2... [MODEL_PATH1 MODEL_NAME=MODEL_PATH2... ...]]
                          [--log-config LOG_CONFIG]


torchserve 명령 

필수 옵션:
--model-store MODEL_STORE
                   모델이 저장된 경로

선택 옵션:
  -h, --help           도움말
  -v, --version        TorchServe 버전
  --start                토치서브 모델 서버 시작
  --stop                토치서브 모델 서버 종료
  --ts-config TS_CONFIG
                          토치서브 환경파일 지정 
  --models MODEL_PATH1 MODEL_NAME=MODEL_PATH2... [MODEL_PATH1 MODEL_NAME=MODEL_PATH2... ...]
                        모델은 "model_name=모델위치" 형식으로 지정한다.
                        위치는 HTTP URL 또는 MODEL_STORE에 있는 모델 아카이브 파일이나 디렉터리이다.
  --log-config LOG_CONFIG
                        토치서브를 위한 Log4j 환경 파일
  --ncs, --no-config-snapshots         
                        snapshot 특성 끄기 
  --workflow-store WORKFLOW_STORE
                        워크플로우 저장소이다. 기본은 model-store .

----------------------------------------------------------------
모델 없이 동작하기
torchserve --model-store /models

models:  <model_name>=<model_path> 
a) model_path: mar 파일명 또는http link  
b) 모델 저장소의 모든 모델 읽기는 all 지정
torchserve --model-store /models --start --models all
c) 모델 파일 확장명은 .mar (zip 압축 파일)
d) 여러 이름과 경로 쌍으로 지정하여 다중 모델 로딩 가능

model-store: (필수) 모델이 저장된 위치이다. TorchServe register api 호출하거나 models parameter를 통해 지정 가능 
workflow-store: (필수) workflows가 저장된 위치이다. TorchServe register api 호출로도 가능
ts-config: (옵션)  config.properties 형식의 환경 파일을 지정
log-config: (옵션) 기본 log4j2.xml을 대체
start: (옵션) 
stop: (옵션) 서버 중지

모델 파일 별명(not-hot-dog) 지정하여 사용하기 
torchserve --start --model-store /models --models not-hot-dog=super-fancy-net.mar
prediction 엔드포인트 : predictions/not-hot-dog/ 

다중 모델 사용하기 
1) 모델 저장소의 모든 모델 로딩:
torchserve --start --model-store /models --models all
2) 다중 모델 사용:
torchserve --start --model-store /models --models name=model_location name2=model_location2
torchserve --start --model-store /models --models resnet-18=resnet-18.mar squeezenet=squeezenet_v1.1.mar