Managed
AI Foundation
에이전트를 만드는 것은 금방입니다. 하지만 그 에이전트가 어떤 아이덴티티로 동작하고, 어떤 데이터에 접근하며, 그에 대한 책임은 누가 지는지 답하는 데는 훨씬 긴 시간이 걸립니다. 우리는 이를 다스리는 플랫폼을 Microsoft Foundry 위에 코드로 구축하고, glueckkanja AG의 Managed Service로 운영합니다.
좋은 점수를 받고 싶었을 뿐인 에이전트
2026년 7월, OpenAI의 내부 보안 테스트에서 한 에이전트에게 바깥으로 통하는 문은 단 하나, 소프트웨어 패키지용 프록시뿐이었습니다. 에이전트는 그 안에서 아무도 몰랐던 취약점을 찾아냈고, 이어서 Hugging Face의 내부 시스템을 거침없이 돌아다녔습니다. 악의가 있어서가 아니라, 그저 성실하게 자기 평가에서 더 좋은 점수를 받고 싶었을 뿐입니다. 이것은 공상과학도 아니고 공포에 빠질 일도 아닙니다. 출구를 제한하고, 권한을 최소한으로 잘라 주고, 환경을 격리하는 플랫폼 작업이 빠졌을 때 무슨 일이 생기는지 보여 주는 교훈입니다. 정확히 무슨 일이 있었는지는 블로그에 정리해 두었습니다. 여러분의 에이전트는 굳이 탈출할 필요도 없습니다. 이미 현업 부서 안에서, 아무도 검토하지 않은 권한을 가진 채 일하고 있으니까요. 에이전트가 얼마나 안전한지는 플랫폼이 결정합니다. 우리가 구축하고 운영하는 것이 바로 그 플랫폼입니다.
GenAI 프로젝트가 개념 증명(PoC) 이후 중단되었습니다.
기업이 2025년에 AI 이니셔티브의 대부분을 중단했습니다.
LLM 애플리케이션 리스크 가운데 Prompt Injection이 차지한 순위입니다.
EU AI Act의 이 조항은 2026년 8월 2일부터 에이전트에도 적용됩니다.
Shadow AI의 네 가지 얼굴
기업 현장의 모습은 실험실보다 덜 극적이지만, 훨씬 더 자주 일어납니다.
Bring Your Own AI
개인 ChatGPT, Claude, Gemini 계정에서 회사 데이터가 처리되는 경우입니다.
Embedded AI
오래전에 도입한 SaaS 애플리케이션 속 AI 기능이 업데이트와 함께, 아무런 결정 없이 활성화된 경우입니다.
DIY Agents
현업 부서가 Copilot Studio와 Power Automate로 만들었지만 어디에도 문서화되지 않은 에이전트입니다.
Rogue Deployments
한 팀의 신용카드로 결제되는 Azure OpenAI 키와 모델 엔드포인트입니다.
떠올리기 쉬운 네 가지 대답
Shadow AI에 대해 기업은 대개 네 가지 말 중 하나로 반응합니다. 모두 이해할 만하지만, 어느 것도 문제를 해결하지는 못합니다.
“금지하겠습니다.”
사용이 사라지는 곳은 회사가 아니라 시야입니다. 금지는 리스크보다 가시성을 훨씬 확실하게 떨어뜨립니다.
“각 팀이 알아서 하면 됩니다.”
팀이 다섯이면 공통 규칙 없는 Foundry 계정이 다섯 개 생기고, 보안에 대한 생각도 다섯 가지가 됩니다. 책임이 누구에게 있느냐는 질문은 늦어도 첫 청구서가 날아올 때 나옵니다.
“한 번 구축을 맡기면 됩니다.”
환경은 구축되고, 검수를 거쳐 인계됩니다. Microsoft는 매달 Foundry를 발전시키지만, 그 환경은 검수 시점에 그대로 머뭅니다.
“아직 시간이 있습니다.”
AI Act가 연기되었다고들 하지만, 이는 일부에만 해당하는 이야기입니다. 투명성 의무는 2026년 8월부터 적용되고 있고, 현업 부서는 애초에 기다리지 않았습니다.
네 가지 말에는 공통점이 하나 있습니다. 누군가 플랫폼을 구축하고 운영한다는 것을 전제로 하면서, 그게 누구인지는 정하지 않는다는 점입니다. Managed AI Foundation은 바로 그 지점에서 시작합니다. 직접 구축하는 것보다 빠른 공식 경로를 제공하고, Foundry의 변화 속도에 맞춰 운영합니다.
AI에 관한 질문이 아니라 플랫폼에 관한 질문입니다.
에이전트를 위한 집 한 채
익숙한 패턴입니다. 10년 전에는 클라우드 스프롤이라고 불렀고, 그 해답은 코드로 만든 Landing Zone이었습니다. AI에도 같은 구조 원리가 적용되며, 한 층 위에 있을 뿐입니다. Azure Foundation은 대지이고, Foundry Account는 집이며, 각 팀은 그 안에 방을 하나씩 받습니다. 방 안의 에이전트는 여러분의 것입니다. 집은 우리가 짓고 운영하며, 전부 Terraform과 GitHub를 사용해 코드로 관리합니다.
- 기초네트워크, Key Vault, Policy를 갖춘 Azure Foundation입니다. 다른 모든 것이 이 위에 섭니다.
- Foundry Account아이덴티티, 암호화, 모델을 갖춘 집입니다. 한 번 지으면 모든 방에 적용됩니다.
- 프로젝트팀마다 방이 하나씩 있고, 각자 예산과 가드레일을 가집니다. 그 안의 에이전트는 여러분의 것입니다.
- 운영운영은 우리가 맡습니다. 플랫폼을 모니터링하고, 새로운 기능을 반영하며, 비용을 최적화합니다.
여러분에게 달라지는 점
공식 경로가 더 빠른 길이 됩니다
팀이 유스케이스를 등록하면 바로 운영 가능한 AI Zone을 받습니다. 공식 경로가 더 빠르다면 이를 우회할 이유가 없습니다.
모든 에이전트에게 아이덴티티가 있습니다
에이전트는 Entra ID에서 고유한 아이덴티티를 받고, 자신에게 일을 맡긴 사람이 볼 수 있는 것만 봅니다.
미리 알 수 있는 비용
각 Zone은 자체 예산을 가집니다. 지출은 월말 청구서에서 처음 드러나는 것이 아니라, 발생하기 전에 이미 알 수 있습니다.
변화에 발맞추는 플랫폼
Microsoft는 매달 새로운 기능을 내놓습니다. 여러분의 팀이 에이전트 개발에 집중하는 동안, 우리는 같은 코드로 이 기능들을 반영합니다.
아이디어에서 운영까지
- 유스케이스 정리유스케이스 정리여러분의 팀과 함께 에이전트가 무엇을 해야 하는지, 어떤 데이터가 필요한지, 성공을 무엇으로 측정할지 정합니다.
- AI Zone 정의AI Zone 정의이를 바탕으로 스테이지, 모델, 지식 소스, 접근 권한, 예산을 갖춘 Zone이 만들어집니다. 승인은 여러분의 IT 부서가 합니다.
- Zone 배포Zone 배포Provisioner가 Foundry 프로젝트, AI Gateway, 가드레일, GitHub 리포지토리를 포함한 Zone을 코드로부터 생성합니다.
- 구축과 운영구축과 운영여러분의 팀은 에이전트를 개발합니다. 우리는 그 아래의 플랫폼을 운영하고 인프라와 비용을 최적화합니다.
이미 겪어 본 패턴입니다
클라우드가 처음 등장했을 때, 많은 IT 부서는 먼저 금지했다가 나중에 현업 부서가 자기 신용카드로 이미 구축해 놓은 것을 정리해야 했습니다. 에이전트에서도 같은 패턴이 반복되고 있고, 비즈니스의 압박이 더 크기 때문에 속도는 더 빠릅니다. 우리 동료 여섯 명이 각자의 프로젝트 경험을 바탕으로, 잘 설계된 표준 경로가 왜 어떤 금지보다 효과적인지, 그리고 에이전트마다 고유한 아이덴티티를 부여하는 일부터 SharePoint를 데이터 소스로 써도 충분한 경우를 판단하는 일까지 무엇이 필요한지 이야기합니다.
AI Act는 세 단계로 적용됩니다
투명성 의무는 2026년 8월부터 적용되고 있으며, 에이전트도 명시적으로 그 대상입니다. 고위험 시스템에 대한 의무는 2027년 12월에, 규제 대상 제품에 들어가는 AI에 대한 의무는 2028년 8월에 뒤따릅니다. 어떤 에이전트가 어떤 데이터에 접근하는지 지금 바로 답해야 한다면 인벤토리가 필요합니다. AI Foundation에서는 그 인벤토리가 코드로 존재합니다. 여러분의 시스템에 대한 법적 판단은 여러분의 법무팀이 맡을 몫입니다.
규정 (EU) 2024/1689, 규정 (EU) 2026/1744로 일정 변경, 2026년 7월 27일 발효
Holy Trinity
시작은 반나절입니다
Discovery Workshop
제안에 앞서 현황 파악이 먼저입니다. 반나절 동안 여러분의 유스케이스를 함께 살펴보고, 분류하고, 다음에 어떤 단계를 밟는 것이 합리적인지 정리합니다. 그 결과는 다음 단계를 누구와 함께하든 여러분의 것입니다.
모델과 에이전트Provisioner에이전트가 어떤 업무를 맡고, 그 업무에 어떤 모델이 적합한지 살펴봅니다.
데이터와 지식RAG와 MCP지식이 어떤 소스에서 오고, 누가 접근할 수 있는지 살펴봅니다.
보안과 컴플라이언스가드레일어떤 검사가 작동하고, 어떤 데이터가 EU 안에 머무는지 살펴봅니다.
운영과 확장운영 모델누가 어떤 부분을 책임지고, 어느 정도의 확장 단계가 적절한지 살펴봅니다.
첫 미팅에서 자주 받는 질문
이미 Azure OpenAI를 쓰고 있습니다. Microsoft Foundry가 왜 필요한가요?
Microsoft Foundry는 2025년 11월부터 모델, 에이전트, 지식, 거버넌스가 한데 모이는 컨트롤 플레인이며, Azure OpenAI는 그 일부입니다. 기존 리소스는 AI Foundation에 통합할 수 있습니다.
Azure AI Foundry와 Microsoft Foundry는 무엇이 다른가요?
이름만 바뀐 같은 플랫폼입니다. 2024년 11월에 Azure AI Studio가 Azure AI Foundry가 되었고, 2025년 11월부터는 Microsoft Foundry라고 부릅니다.
AI Landing Zone이란 무엇인가요?
AI Landing Zone은 네트워크, 아이덴티티, 정책, 비용 통제, 모니터링을 갖추고 AI 워크로드를 실행할 수 있도록 미리 준비된 환경입니다. Microsoft는 이를 참조 아키텍처로 설명하고, 우리는 Terraform 코드로 제공하고 운영합니다.
이미 Landing Zone이 있습니다. 처음부터 다시 시작해야 하나요?
아닙니다. 우리의 Azure Foundation이 있다면 AI Zone은 새 프로젝트가 아니라 확장입니다. 다른 공급업체가 만든 Landing Zone이라면 Discovery Workshop에서 Foundry에 무엇이 부족한지 점검합니다. 아직 Landing Zone이 없다면 기초와 AI Foundation을 같은 코드로 함께 만듭니다.
데이터가 충분히 정리되어 있지 않습니다. 그래도 시작할 수 있나요?
네, 다만 모든 유스케이스로 시작할 수 있는 것은 아닙니다. Foundry가 데이터 문제를 해결해 주지는 않기 때문에, 워크숍에서 지금의 데이터로 무엇을 할 수 있는지 확인합니다. 그 밖의 모든 것은 Azure Data Foundation이 답입니다.
아무런 약정 없이 평가부터 시작할 수 있나요?
네. Discovery Workshop이 바로 그 첫 단계이며, 어떤 의무도 따르지 않습니다. 이후 AI Foundation을 매니지드 서비스로 이용할지는 결과를 보고 여러분이 결정하면 됩니다.
프롬프트가 EU 밖으로 나가나요?
모델의 배포 유형에 따라 다릅니다. 글로벌 배포는 전 세계에서 처리되고, Data Zone EU와 유럽 리전의 리전 배포는 유럽 안에 머무는 대신 그만큼 비용이 더 듭니다. 팀이 어떤 유형을 써도 되는지는 여러분이 정하고, 정책이 이를 강제합니다.
Agent 365가 필요한가요?
Foundry를 위해서는 필요하지 않습니다. Copilot Studio에서 만든 것을 포함해 회사의 모든 에이전트를 한곳에서 보고 관리하고 싶다면 Agent 365가 유용합니다. 2026년 5월부터 정식 출시되었으며, 사용자당 라이선스 방식입니다.
Managed AI Foundation의 비용은 얼마인가요?
Zone의 수와 여러분의 Azure 환경에 이미 무엇이 갖춰져 있는지에 따라 달라집니다. 그래서 협업은 Discovery Workshop으로 시작합니다. 그 후 여러분의 환경에 맞는 견적을 받게 됩니다.
지금 문의하기







