로컬환경에 설치하여 사용하는 AI 기반 이미지 생성 도구로는 Stable Diffusion WebUI가 최근 몇 년간 매우 인기를 끌고 있습니다. Stable Diffusion에서 다양한 모델과 높은 해상도로 고급 퀄리티의 이미지를 생성하기 위해선 적절한 하드웨어 선택이 필수입니다. 특히, 이러한 AI그림을 생성하는 데 있어서 그래픽 카드(GPU)의 성능이 핵심 요소로 작용합니다.
이 글에서는 Stable Diffusion을 돌리기 위한 GPU 성능을 비교하고, 적합한 GPU를 선택하는 방법에 대해 자세히 알아보겠습니다.
Stable Diffusion이란?
스테이블 디퓨전(Stable Diffusion)은 이미지 생성에 사용되는 딥러닝 모델로, 이미 훈련된 네트워크를 PC에서 실행하여 고유한 이미지를 생성할 수 있게 해줍니다. 이 작업은 GPU의 성능에 따라 속도와 품질이 크게 좌우되며, 적절한 하드웨어 없이 이러한 작업을 수행하려 하면 매우 느리거나 실행이 불가능할 수 있습니다.
Stable Diffusion을 설치하여 사용하고 싶다면 이전에 작성한 스테이블 디퓨전 설치 방법에 대한 포스팅을 참고해 주세요.(링크)
성능 벤치마크
Stable Diffusion의 성능은 주로 GPU의 연산 능력과 메모리 대역폭에 의존합니다. 아래의 두 가지 이미지는 Stable Diffusion의 성능을 512x512 및 768x768 해상도에서 그래픽카드별 성능을 측정한 결과를 보여줍니다.
각 그래픽 카드는 분당 생성할 수 있는 이미지 수로 평가되었고, 해당 GPU의 실질적인 AI 추론 성능을 나타냅니다.
512x512 해상도 벤치마크
NVIDIA의 최신 RTX 40 시리즈는 AI 작업에서 압도적인 성능을 자랑합니다. 특히, RTX 4090은 512x512 해상도에서 분당 약 75개의 이미지를 생성할 수 있으며 AMD GPU인 RX 7900 XTX보다 약 3배 높은 성능을 보입니다.
RTX 4080과 RTX 4070 Ti도 각각 46.85, 42.90 이미지로 높은 성능을 보여주며, 이전 세대의 3090 Ti와 큰 차이를 보이지 않습니다.
AMD의 RX 7900 XTX는 512x512 해상도에서 분당 약 26개의 이미지를 생성할 수 있으며, 중상위권 NVIDIA GPU들과 비슷한 성능입니다. 다만 이전 세대인 RX 6000 시리즈의 성능은 많이 낮은 편인데, 예를 들어 RX 6950 XT는 분당 약 6개의 이미지만 생성할 수 있습니다.
Intel의 Arc 시리즈는 AI 이미지 생성에서 중하위권의 성능을 보여줍니다. Arc A770 16GB는 512x512 해상도에서 분당 약 15개의 이미지를 생성할 수 있고, 이는 NVIDIA의 RTX 2060보다 약간 높은 성능입니다.
768x768 해상도 벤치마크
NVIDIA GPU를 사용해 해상도를 768x768로 높이면, RTX 4090의 성능이 약간 떨어져 분당 약 30개의 이미지를 생성할 수 있지만, 여전히 다른 GPU들에 비해 빠른 편입니다. RTX 4080은 약 20개, RTX 4070 Ti는 약 17개의 이미지를 생성할 수 있어, 고해상도 이미지 생성에서도 압도적인 높은 성능을 보입니다.
AMD GPU의 경우 768x768 해상도에서는 RX 7900 XTX의 성능이 더 떨어져, 분당 약 10개의 이미지를 생성하는 정도입니다. 이전 세대 GPU들은 해상도가 커질 경우에 이미지 생성에 어려움을 겪고 특히 RX 6650 XT 이하의 GPU들은 거의 사용 불가능한 수준의 성능을 보입니다.
Intel의 Arc 시리즈를 사용해 해상도가 768x768으로 올라가면 성능이 크게 떨어져, 분당 약 5개의 이미지를 생성합니다.
위 벤치마크의 분당 이미지 생성능력은 절대적인 수치가 아니며, 사용하려는 모델이나 설정값, 추가적은 SD적용에 따라서 더 높은 성능을 요구하게 되므로 실제로는 더 느린 속도로 이미지가 생성될 수 있습니다.
GPU 선택 가이드
AI 이미지 생성 작업에서 GPU의 연산 성능만큼이나 중요한 요소가 바로 VRAM(비디오 메모리)입니다. VRAM은 GPU가 이미지 데이터를 저장하고 처리하는 데 사용되며, 특히 고해상도 이미지나 복잡한 AI 모델을 다룰 때 더 큰 용량이 필요합니다. VRAM이 부족하면 GPU의 성능을 최대한으로 발휘하지 못하게 되고, 이는 작업 속도와 품질에 큰 영향을 미칩니다.
만약 VRAM이 충분하지 않다면 작업이 중단되거나 이미지 생성까지 매우 오랜 시간이 소요됩니다. 그래서 GPU를 선택할 때는 VRAM 용량이 클수록 좋습니다.
최소 요구 사항: 안정적인 AI 이미지 생성을 위해 최소 RTX 3050 이상의 NVIDIA GPU를 사용하는 것이 좋습니다. AMD의 경우 RX 7600 이상을 추천드리며, Intel GPU를 고려한다면 Arc A770 16GB 이상을 선택해야 합니다.
권장 성능: 원활한 작업을 위해서는 RTX 3060 또는 그 이상을 선택하는 것이 이상적입니다. AMD 사용자라면 RX 7900 XTX를, Intel 사용자라면 Arc A770 16GB가 최선의 선택입니다.
고해상도 작업: 고해상도 작업을 자주 수행한다면 RTX 4070 Ti 이상의 NVIDIA GPU를 선택하는 것이 좋습니다. AMD와 Intel GPU들은 고해상도에서 성능 저하가 발생할 수 있습니다.