ChatGPT를 비롯한 생성형 AI가 성장하면서 GPU라는 단어도 자주 등장하고 있습니다.
원래 GPU는 게임 그래픽을 처리하는 부품으로 많이 알려져 있었습니다.
그런데 지금은 AI 학습, AI 서비스, 데이터센터를 이야기할 때 빠지지 않는 핵심 장비가 됐습니다.
그렇다면 CPU와 GPU는 정확히 무엇이 다르고, AI에서는 왜 CPU 대신 GPU를 많이 사용하는 것일까요?
먼저 가장 간단하게 정리하면 다음과 같습니다.
| 구분 | CPU | GPU |
|---|---|---|
| 정식 명칭 | Central Processing Unit | Graphics Processing Unit |
| 주요 역할 | 다양한 작업을 순차적으로 처리 | 많은 계산을 동시에 처리 |
| 특징 | 복잡한 명령 처리에 강함 | 대규모 병렬연산에 강함 |
| 대표 용도 | 운영체제, 프로그램 실행 | 그래픽, AI, 과학연산 |
| AI에서 역할 | 전체 시스템 제어 | 대규모 연산 가속 |
Intel과 NVIDIA 모두 GPU의 핵심 특징으로 많은 연산을 동시에 수행하는 병렬처리 능력을 설명하고 있습니다.
CPU란 무엇일까?
CPU는 Central Processing Unit, 즉 중앙처리장치입니다.
컴퓨터에서 프로그램을 실행하고 여러 명령을 처리하는 핵심 프로세서입니다.
웹브라우저를 실행하거나 파일을 열고, 운영체제를 구동하고, 여러 프로그램 사이의 작업을 조정하는 등 다양한 역할을 수행합니다.
쉽게 비유하면 CPU는
복잡하고 서로 다른 업무를 빠르게 판단해서 처리하는 관리자
에 가깝습니다.
CPU도 여러 개의 코어를 사용하지만 일반적으로 GPU보다 적은 수의 강력한 코어를 이용해 다양한 종류의 작업을 처리하는 데 최적화되어 있습니다.
GPU란 무엇일까?
GPU는 Graphics Processing Unit, 즉 그래픽처리장치입니다.
처음에는 화면에 수많은 픽셀과 3D 그래픽을 빠르게 그리기 위한 목적으로 발전했습니다.
그래픽 작업의 특징은 비슷한 계산을 매우 많이 반복한다는 것입니다.
GPU는 이런 작업을 효율적으로 처리하기 위해 많은 수의 비교적 단순한 연산 코어를 동시에 사용하는 구조로 발전했습니다.
이 특성이 나중에 AI와 매우 잘 맞는다는 것이 중요합니다.
CPU와 GPU 차이를 쉽게 이해하는 방법
예를 들어 계산해야 할 문제가 1,000개 있다고 가정해보겠습니다.
CPU
몇 명의 뛰어난 전문가가 복잡한 문제를 하나씩 빠르게 처리하는 방식에 가깝습니다.
GPU
수많은 작업자가 비슷한 문제를 동시에 나눠 처리하는 방식에 가깝습니다.
그래서
복잡하고 다양한 작업 → CPU
같거나 비슷한 계산을 대량으로 반복 → GPU
라고 생각하면 이해하기 쉽습니다.
물론 실제 컴퓨터 구조는 훨씬 복잡하며 CPU와 GPU 중 하나만 사용하는 것이 아니라 두 장치가 서로 다른 역할을 담당합니다.
AI에서는 왜 GPU를 사용할까?
AI 모델은 학습 과정에서 엄청난 양의 수학 연산을 반복합니다.
특히 딥러닝에서는 대규모 행렬과 벡터 계산이 반복적으로 수행됩니다.
이러한 작업은 여러 계산을 동시에 처리할 수 있기 때문에 GPU의 병렬처리 구조와 잘 맞습니다.
NVIDIA는 GPU가 AI에 적합한 주요 이유 중 하나로 병렬처리 능력을 들고 있으며, Google Cloud 역시 GPU를 AI·머신러닝·고성능 컴퓨팅 등에 사용하는 가속기로 제공하고 있습니다.
즉 AI에서는
큰 계산 하나를 매우 빠르게 처리하는 것
뿐만 아니라
수많은 계산을 동시에 처리하는 능력
이 중요합니다.
GPU가 AI 분야에서 중요한 이유입니다.
AI 학습과 추론은 무엇이 다를까?
AI에서 GPU를 이야기할 때 학습(Training)과 추론(Inference)이라는 단어도 자주 등장합니다.
AI 학습
많은 데이터를 이용해 AI 모델의 수많은 파라미터를 조정하는 과정입니다.
대량의 계산이 필요하기 때문에 여러 GPU를 동시에 연결해 사용하는 경우가 많습니다.
AI 추론
이미 학습된 AI가 실제 사용자의 질문이나 입력을 받아 결과를 만들어내는 과정입니다.
예를 들어 생성형 AI에 질문을 입력하고 답변을 받는 과정도 추론에 해당합니다.
현재 GPU 가속 시스템은 AI 모델의 사전학습부터 파인튜닝, 추론까지 다양한 AI 워크로드에 사용됩니다.
GPU가 많아지면 AI가 무조건 빨라질까?
단순히 GPU 숫자만 늘린다고 성능이 동일한 비율로 증가하는 것은 아닙니다.
여러 GPU가 함께 작업하려면
- GPU 간 데이터 전송
- 네트워크
- 메모리 대역폭
- 스토리지
- 소프트웨어
- 냉각
- 전력 공급
등이 함께 뒷받침되어야 합니다.
특히 대규모 AI 모델에서는 GPU 수천 개가 하나의 시스템처럼 작업할 수 있기 때문에 GPU 자체뿐 아니라 GPU를 연결하는 전체 인프라가 중요해집니다. Google Cloud도 대규모 AI 학습을 위해 다수의 가속기를 긴밀하게 연결하는 클러스터형 시스템을 제공하고 있습니다.
그렇다면 CPU는 AI에서 필요 없을까?
그렇지 않습니다.
GPU가 AI 연산을 담당하더라도 전체 컴퓨터 시스템에는 CPU가 필요합니다.
단순화하면
CPU
→ 운영체제와 프로그램 실행
→ 데이터 준비
→ 시스템 제어
→ GPU 작업 관리
GPU
→ 대규모 AI 연산
→ 병렬 계산 수행
같이 역할을 나눌 수 있습니다.
즉 CPU와 GPU는 경쟁 관계라기보다 서로 다른 작업에 특화된 프로세서라고 이해하는 것이 정확합니다. Intel 역시 GPU를 CPU를 보완하는 프로세서로 설명하고 있습니다.
GPU와 그래픽카드는 같은 말일까?
엄밀하게는 완전히 같은 의미는 아닙니다.
GPU는 연산을 담당하는 칩 자체를 의미합니다.
반면 그래픽카드는 GPU를 비롯해
- 메모리
- 전원부
- 냉각장치
- 기판
등을 하나의 보드로 구성한 제품을 의미합니다.
일상에서는 두 표현을 비슷하게 사용하지만 기술적으로는 구분할 수 있습니다.
AI 데이터센터에서는 왜 전력 문제가 생길까?
AI 데이터센터에서는 GPU 한두 개가 아니라 많은 GPU 서버를 동시에 운전합니다.
GPU 서버가 늘어나면 서버에서 사용하는 전력뿐 아니라
GPU 서버
↓
전원공급장치
↓
UPS·전력변환장치
↓
냉각시스템
↓
전체 데이터센터 전력 인프라
까지 함께 커져야 합니다.
VoltInsight에서 앞서 다룬 「AI 데이터센터는 왜 전기를 많이 사용할까? GPU·냉각·전력 인프라까지」 글에서도 이 구조를 자세히 설명했습니다.
따라서 AI 시대에는 단순히 GPU 성능만 보는 것이 아니라 GPU에 안정적으로 전력을 공급하고 발생한 열을 처리하는 인프라도 매우 중요해지고 있습니다.
CPU와 GPU 차이 한 번에 정리
마지막으로 이것만 기억하면 됩니다.
CPU
→ 복잡하고 다양한 작업을 빠르게 처리
GPU
→ 비슷한 계산을 대량으로 동시에 처리
AI
→ 대규모 반복 연산이 많기 때문에 GPU의 병렬처리 능력을 적극 활용
입니다.
그래서 GPU는 이제 단순한 게임용 그래픽 부품을 넘어 생성형 AI와 AI 데이터센터의 핵심 연산장치가 됐습니다.
그리고 GPU가 많아질수록 자연스럽게 전력공급과 냉각, UPS, BBU, HVDC 같은 데이터센터 인프라도 함께 중요해집니다.
함께 보면 좋은 글
- AI 데이터센터는 왜 전기를 많이 사용할까? GPU·냉각·전력 인프라까지
- AI 데이터센터 전력 구조｜UPS·BBU·HVDC는 왜 필요할까?
- kW와 kWh 차이｜전기요금·배터리·ESS에서 헷갈리지 않는 법
참고자료
- Intel — CPU vs. GPU: What’s the Difference?
- Intel — What Is a GPU? Graphics Processing Units Defined
- NVIDIA — CUDA Programming Guide
- NVIDIA — Why GPUs Are Great for AI
- Google Cloud — GPU for AI / GPU Accelerators
답글 남기기