AI 추론은 어떻게 이루어질까? GPU와 AI 서버가 답을 만드는 과정
AI 추론(Inference)은 우리가 스마트폰이나 PC에서 사용하는 ChatGPT가 답을 만들어내는 핵심 과정이다. 사용자가 던진 질문 한 줄은 인터넷 선을 타고 수만 개의 AI 반도체가 얽혀 있는 거대 데이터센터로 전송되어 초고속 연산을 거친다. AI 서비스는 소프트웨어와 하드웨어가 결합된 산업이지만, 오늘날 경쟁력을 결정하는 핵심은 수만 개의 AI 반도체와 데이터센터 인프라다. ChatGPT는 내 PC에서 돌아가지 않는다 스마트폰 화면 속 … 더 읽기