CPU LLM Runtime, 모두 같은 방식으로 실행되지 않는다

모델마다 다른 CPU LLM Runtime

CPU LLM Runtime을 직접 구현하면서 여러 소형 모델을 하나씩 추가해보니 예상보다 재미있는 문제가 발생했다. 처음에는 Transformer라는 공통 구조를 가지고 있기 때문에 모델의 이름과 몇 가지 설정값만 변경하면 비슷한 방식으로 실행할 수 있을 것이라고 생각하기 쉽지만 그렇지 않다. 실제 Runtime을 구현해보면 Gemma, Llama, Qwen은 같은 LLM이면서도 모델마다 처리해야 하는 세부 사항이 상당히 다르다. 모델의 Tensor 구성이나 … 더 읽기

소형 모델 CPU LLM Runtime 구현

소형언어모델 CPU LLM Runtime 구현

LLM을 직접 개발한 CPU LLM Runtime에서 여러 소형 모델을 하나씩 테스트해봤다. 이번 테스트의 목적은 특정 모델 하나의 성능을 확인하는 것이 아니라, 서로 다른 모델을 하나의 Runtime에서 실제로 실행할 수 있는지 확인하는 것이다.현재 Runtime에는 Gemma, Llama, Qwen 계열의 여러 모델이 등록되어 있으며 모델을 선택해 직접 실행할 수 있다. 소형 LLM을 CPU LLM Runtime에서 실행하다 처음에는 작은 … 더 읽기

피지컬 AI 상용화: 일정·가격 분석, 이제는 실전이다

피지컬 AI 상용화 일정과 가격

2026년 하반기 기준 피지컬 AI 제조사별 상세 전망 2026년 하반기는 1세대 실험 모델들을 지나 ‘양산형 모델’이 쏟아져 나오는 시기다. 중국 기업들의 공격적인 가격 전략과 급격한 단가 경쟁,여기에 테슬라의 기가팩토리식 양산 시스템이 맞붙으며 시장은 급격히 재편될 것이다. 피지컬 AI 상용화란,AI가 실제 물리 환경에서 작업을 수행하는 로봇과 자동화 시스템이 산업 현장에 도입되는 단계다. 결론부터 말하면,2026년 기준 피지컬 … 더 읽기

0%