AI가 내 비밀을 남에게 말했다 | 클라우드플레어 사고... 엔비디아가 DPU를 만든 이유

나만 보려고 AI에 넣은 비밀을, AI가 다른 사람에게 말해버린다면 어떨까요? 클라우드플레어가 공개한 사고에서는 특정 모델의 추론 과정에 문제가 생겨 다른 고객의 계산 결과가 답변에 사용됐습니다. 이번 영상에서는 캐시에 남은 정보가 잘못 쓰인 이유와 회사가 수정한 부분부터 살펴봅니다.
이 사고에서 출발해, 여러 고객에게 GPU를 빌려주는 사업자가 데이터와 운영 권한의 경계를 어떻게 관리해야 하는지 알아봅니다. 블루필드 DPU가 CPU의 어떤 일을 나눠 맡고, 고객 서버와 운영사의 관리 권한을 어떻게 분리할 수 있는지도 풀어봅니다. 코어위브가 블루필드 기반의 고객별 가상 네트워크를 운영하는 사례를 통해 실제 수요를 확인합니다. 이어 긴 문맥을 다루는 AI에서 KV 캐시를 저장하고 다시 가져오는 일이 중요해지는 이유와 CMX의 역할을 알아봅니다.
DPU를 장착한다고 추론 소프트웨어의 문제가 저절로 해결되는 것은 아닙니다. 각 계층의 책임을 나눠 보면 어떤 보호 기능과 검증이 함께 필요한지 더 분명해집니다. 고객이 GPU를 실제 서비스로 운영하는 데 필요한 것들을 따라가며, 엔비디아의 사업 범위가 어디까지 넓어지는지 생각해봅니다.

Written by 패치
Edited by 이진이

[email protected]