멀티 LLM 관리

라우팅 동작 방식

• Primary — 메인 추론에 사용. 여러 개 등록 시 우선순위 + 부하분산

• Light — 에이전트 라우팅, 프롬프트 전처리에 사용 (가벼운 모델 권장)

• Fallback — Primary가 모두 바쁘거나 장애 시 자동 전환

• 동일 역할 내 여러 서버 → 우선순위가 같으면 요청 적은 서버로 분배