CUDA, 병렬 프로그래밍

💡CUDA

CUDA(Computed /unified Device Architecture)는 NVIDIA에서 개발한 GPU 개발 툴로 고성능 환경과 GPU 가속기 환경을 위한 개발 툴이다. CUDA는 CPU가 계산을 하는 부분에서 특정 영역을 GPU 가속기에 할당해서 가속기 쪽에서 처리를 해주는 모델로 구성돼있다. NVIDIA에서 생산한 GPU 제품군에서만 사용이 가능하다.

일반적으로 Serial 코드에서는 어떤 계산을 수행할 때 코어 하나가 순차적으로 프로그램의 순서에 따라서 계산을 수행하지만,

CUDA같은 경우에는 CPU쪽에서 계산을 하다가 중간에 루프나 hostpot 같은 부분을 할당 받아서 독립적으로 수행하고 그 결과 값을 return해주는 구조로 계산이 진행된다.

💡Heterogeneous System

1. CPU에서 메인 계산을 수행
2. GPU에서 hostpot이나 loop 같은 부분을 할당하고 계산 수행
3. CPU에서 결과를 다시 리턴

CPU 메모리 공간과 GPU 메모리 공간은 독립된 구조로 되어있다. CPU에서 프로그램을 진행하다가 어떤 특정한 부분을 GPU쪽으로 할당하려고 할 때 그에 필요한 데이터도 같이 전달해줘야한다. 그래서 CPU 메모리와 GPU 메모리 간에 데이터 카피같은 메모리 전송 부분이 필요하며

1. CPU의 데이터를 GPU 메모리에서 복사하고
2. 계산값을 다시 CPU 메모리로 전달한다

이처럼 메인 프로그램을 CPU에서 진행하되, 계산 자원이 많이 필요한 부분을 GPU쪽에 할당하는 구조를 오프로드라고 한다

💡Hello World: Serial

#include <stdio.h>
void printhello(void){
	printf("Hello World on CPU\n");
}

int main(void){
	int i;
    for(i=0; i<4; i++){
    	printhello();
    }
   	return 0;
}

결과

Hello World on CPU
Hello World on CPU
Hello World on CPU
Hello World on CPU

Serial 프로그램으로 코드를 작성하면 하나의 코어가 4개의 프린트문을 하나씩 순차적으로 실행한다

💡Hello Wolrd: CUDA

#include <stdio.h>
__global__ void helloFromGPU(void){
	printf("Hello World From GPU\n");
}

int main(void){
	
    printf("Hello World from CPU\n");
    helloFromGPU<<<1,10>>>();
    cudaDeviceReset();
   	return 0;
}

결과

Hello World from CPU
Hello World From GPU
Hello World From GPU
Hello World From GPU
...
Hello World From GPU
Hello World From GPU
Hello World From GPU

10개의 코어를 사용한 예제로 여러 코어가 동시에 수행되는 구조이다.
여기서 사용된 프린트 함수인 __global__ void helloFromGPU(void)은 커널 함수라고 부르며, 커널 함수는 GPU 장치에서 실행을 한다. 이러한 가속기 또는 GPU를 사용해서 프로그램을 수행하는 것들을 heterogenous 프로그래밍이라고 한다.

💡 CUDA 구조

• 맨 아래에 GPU 하드웨어 장치가 존재한다
• GPU를 구동하기 위해 CUDA 드라이버가 필요하다
• 그 다음에는 Runtime API가 CUDA GPU를 사용하기 위해 Runtime function 같은 것들이 포함된다
• 그 위에 계산 등을 수행하기 위한 라이브러리들이 존재한다
• 마지막으로 사용자는 Runtime API나 라이브러리들을 활용한 애플리케이션을 사용할 수 있게 된다
• API 레벨에서는 드라이버와 Runtime이 필요하고 CUDA 라이브러리는 필요에 따라 활용을 할 수 있다.

 

💡 CPU vs GPU

🔍 CPU의 특징

• 지연 시간이 작다
• 연산을 하는 유닛인 ALU가 차지하는 부분이 GPU에 비해 작다
• 하지만 지연을 줄이기 위한 캐시 부분이나 복잡한 연산을 수행할 수 있는 컨트롤러 같은 부분이 상당수의 영역을 차지한다
• 따라서 복잡한 분기 처리나 비 순차를 처리하는 것이 장점이다
• 주로 100개 이하의 코어를 갖는다

🔍 GPU의 특징

• GPU는 ALU와 같은 연산 유닛이 대부분을 차지한다
• 컨트롤이나 캐시 영역은 최소한의 영역을 차지하여 지연을 줄일 수 있는 영역이 작기 때문에 반응 속도는 CPU보다 느리다
• 많은 연산을 동시에 수행할 수 있다
• 코어의 개수가 몇 천에서 몇 만개를 갖기 때문에 동시에 처리할 수 있는 작업의 개수가 많다

💡 메모리 모델

Host: CPU와 CPU에 있는 시스템 메모리(DRAM)를 뜻함

Device: GPU와 GPU 메모리를 뜻함, 커널 단위로 실행

 

강의

kisti.re.kr