GPU 인프라부터 모델 저장소, 추론 런타임, 벡터 데이터베이스에 이르는 모든 구성요소가 기업의 프라이빗 클라우드(VCF) 내부에 안전하게 격리되어 운영됩니다. 민감한 내부 데이터와 사내 지식을 외부 클라우드나 서비스로 유출할 위험 없이 안심하고 AI를 도입할 수 있습니다.
GPU 자원의 효율적 분할과 운영 정책은 인프라 솔루션을 직접 만들어 본 팀만이 깊이 이해할 수 있습니다. 소프트웍스는 자사 GPU 인프라 솔루션(GenWorks)으로 검증된 노하우를 바탕으로 Broadcom Private AI Foundation을 설계합니다. 사외 유출 없는 완벽한 보안 환경 위에, 인프라와 상단 AI 서비스(LLM · RAG)가 병목 없이 구동되는 최상의 AI 플랫폼을 제공합니다.
Private AI는 VMware Cloud Foundation(VCF) 기반으로 동작하므로, 가상화 설계의 완성도가 곧 AI 성능을 결정합니다. 여러 솔루션과 업체를 나누어 발주할 필요 없습니다. 소프트웍스는 밑단의 VCF 가상화 인프라 구축부터 상단의 AI 모델 서빙까지 전 과정을 직접 설계하고 구축해 온 경험을 보유하고 있습니다. 단 한 번의 도입으로 인프라와 AI 서비스가 완벽하게 통합된 환경을 제공합니다.
금융 및 공공 기관의 AI 도입에서 가장 중요한 핵심은 데이터의 사내 보유와 외부 유출 차단입니다. 소프트웍스는 망 구성, 저장소 위치, 로그 반출 제어까지 기관의 엄격한 규제 가이드라인에 맞춰 최적의 인프라를 설계합니다. 나아가 라이선스 검증, 모델 및 컨테이너의 안전한 반입 통제 프로세스를 제공합니다.
같은 AI 모델이라도 동시 사용자 수와 응답 속도 목표에 따라 필요한 GPU 자원은 전혀 달라집니다. 소프트웍스는 서비스별 목표 성능을 먼저 정의한 뒤, 이를 바탕으로 정확한 GPU 수량 산정과 최적의 자원 분할 단위를 제시합니다. 불필요한 인프라 과투자 없이, 실제 서비스 환경에 가장 효율적인 GPU 아키텍처를 완성합니다.
AI 활용 시나리오 정의 · 대상 모델과 응답 목표 수립 · 데이터 소재와 반출 제약 확인 · 기존 GPU 자산 확인
GPU 분할 단위와 할당 정책 설계 · 모델 서빙 자원 산정 · 벡터 데이터베이스와 색인 구성 · 망 구성과 데이터 경로 설계 · VMware Cloud Foundation 연계 설계
Private AI Services 구축 · NVIDIA AI Enterprise 구성 · 모델 저장소와 런타임 배포 · 성능 검증
대상 모델 서빙 구성 · 응답 지연과 처리량 실측 · 사용자 그룹별 접근 정책 적용
GPU 사용률 모니터링 · 모델 교체와 버전 관리 절차 · 자원 증설 계획 수립
AI 인프라의 진짜 문제는 단순 성능 부족이 아니라 특정 사용자의 GPU 독점과 빈번한 유휴 자원 발생입니다. Broadcom Private AI Foundation 기반의 가상화 · 분할 기술을 활용하면, 필요에 따라 GPU 자원을 유연하게 나누고 필요한 곳에 즉시 배분할 수 있습니다. 낭비되는 자원 없이 전체 AI 인프라의 가동률을 극대화합니다.
| 현장에서 생기는 문제 | 소프트웍스의 해법 |
|---|---|
| “GPU를 도입했는데 특정 사용자가 전부 점유합니다” | GPU를 분할해 할당하고 사용자 그룹별 상한을 지정합니다. 학습과 추론, 개발을 같은 정책으로 다루면 충돌이 생기므로 용도별로 분할 단위를 다르게 설계합니다 |
| “모델을 올렸는데 응답이 느립니다” | 모델 크기와 동시 요청 수에 대한 GPU 메모리와 연산 여유를 먼저 확인합니다. 분할 단위가 작아 모델이 한 장에 올라가지 않는 경우와 요청이 대기열에 쌓이는 경우는 조치가 다르므로 원인을 구분해 판별합니다 |
| “데이터를 외부로 보낼 수 없습니다” | 모델과 벡터 데이터베이스를 기관 내부에 구성하고, 학습과 추론 과정에서 데이터가 거치는 경로를 빠짐없이 도식으로 정리합니다. 외부와 닿는 지점은 따로 식별해 통제 방법을 함께 설계합니다 |
| “어떤 모델을 쓸지 아직 정하지 못했습니다” | 모델 저장소와 런타임을 먼저 구성하면 모델은 교체할 수 있는 요소가 됩니다. 모델 선정 이전에 인프라와 서빙 체계를 확정하고, 모델은 검증 후 교체하는 순서로 설계합니다 |
| “문서를 올려 두면 바로 답변이 됩니까” | 문서를 저장소에 올리는 것과 모델이 그 내용을 찾아 쓰는 것은 다른 단계입니다. 업로드 → 색인 → 지식 베이스 구성 → 에이전트 연결까지 네 단계를 거치며, 각 단계에서 대상 문서 범위와 갱신 주기, 접근 권한을 정해야 합니다 |
| “기존 가상화 환경 위에 올릴 수 있는지 모르겠습니다” | Private AI는 VMware Cloud Foundation 위에서 동작하므로 현재 환경의 버전과 GPU 지원 범위를 먼저 진단합니다. 선행 작업의 범위를 확인한 뒤 도입 일정을 산정합니다 |
Private AI Foundation은 NVIDIA AI Enterprise와 Private AI Services를 VMware Cloud Foundation 위에 올린 구성입니다. 각 구성요소의 동작과 그에 앞서 소프트웍스가 결정하는 사항을 정리했습니다.
GPU를 나누어 여러 워크로드에 배분합니다
물리 GPU를 분할해 여러 가상 머신에 할당하거나 한 워크로드에 여러 장을 묶어 제공합니다. 사용률과 메모리 점유는 VCF Operations에서 함께 확인합니다.
개발 · 검증부터 모델 추론, 대규모 학습까지 — 단일 정책을 일률 적용할 때 발생하는 자원 낭비와 병목을 해결합니다. 소프트웍스는 서비스 용도별 특징을 정밀하게 분석하여, 개발 환경은 세밀한 분할로 효율성을 끌어올리고 추론 및 학습 환경은 성능을 극대화하는 최적의 GPU 가상화 · 분할 단위를 맞춤 구성합니다.
클릭 한 번으로 모델을 등록하고 바로 사용합니다
검증된 AI 모델을 안전하게 저장하고, 실제 서비스로 빠르게 배포합니다. 텍스트 생성부터 임베딩 모델까지 필요한 AI를 간편하게 올릴 수 있으며, 현업 담당자는 카탈로그에서 원하는 모델을 자유롭게 선택해 즉시 활용할 수 있습니다.
특정 모델 선정에 앞서 안정적인 모델 교체 절차를 먼저 구축합니다. 트렌드와 목적에 따라 활용하는 모델은 달라지지만, 등록 · 검증 · 교체의 표준 프로세스는 계속 유지되기 때문입니다. 또한 서비스별 목표 응답 시간을 사전 확정하고, 이를 기준으로 역산하여 최적의 컴퓨팅 자원을 정확하게 산정합니다.
기업 사내 데이터를 AI가 바로 알아듣도록 준비합니다
원본 문서는 안전한 스토리지에 보관하고, AI가 이해할 수 있는 형태(Vector)로 변환해 전용 데이터베이스에 저장합니다. 사용자가 질문할 때 AI가 가장 관련 있는 사내 정보를 빠르게 찾아 함께 참조함으로써, 정확하고 신뢰할 수 있는 답변을 제공합니다.
어떤 문서를 AI 검색에 포함할지, 얼마나 자주 업데이트할지 현업 부서와 함께 명확히 결정합니다. 특히 접근 권한이 다른 문서가 섞여 민감 정보가 유출되지 않도록, 데이터 변환(색인) 단계에서부터 사용자 권한별로 데이터 영역을 철저히 분리합니다.
AI 모델을 실제 업무 프로세스에 연결합니다
AI 모델에 사내 데이터와 업무 도구를 연결하여, 사람처럼 복잡한 업무를 스스로 수행하는 맞춤형 AI 에이전트를 만듭니다. 완성된 에이전트는 VCF Automation을 통해 현업 환경에 클릭 한 번으로 빠르게 배포됩니다.
에이전트 설계는 소프트웍스의 차별화된 전문 사업 분야입니다. 실제 업무 절차를 정밀하게 분석하여 사람이 판단할 영역과 AI가 자동 처리할 영역을 명확히 구분하고, 이를 바탕으로 AI 에이전트의 안전한 권한 범위를 최적으로 설계합니다.
출처구성요소 설명에 사용한 도식과 화면은 Broadcom 공식 기술 문서에 공개된 자료이며, 일부는 소프트웍스가 다시 그렸습니다.
AI 인프라는 모델과 사용 패턴이 함께 바뀌므로 구축 시점의 자원 산정이 오래 유지되지 않습니다. 구축을 수행한 엔지니어가 그대로 기술 지원 창구를 담당합니다.
글로벌 기술 리더의 솔루션과 소프트웍스의 구축·운영 역량을 결합해 고객의 디지털·AI 전환 환경을 제공합니다.
