cleanUrl: "denoising-diffusion-probabilistic-models-review"
title: "DDPM 논문 리뷰: Denoising Diffusion의 기본 공식화"
description: "Denoising Diffusion Probabilistic Models가 forward/reverse Markov chain, ELBO, noise prediction으로 이미지 생성을 정식화한 범위와 CIFAR-10 FID 3.17 증거를 정리합니다."

요약

• DDPM은 nonequilibrium thermodynamics에서 영감을 받은 diffusion probabilistic model을 이미지 생성 모델로 정식화한 NeurIPS 2020 논문임.
• 생성 과정은 Gaussian noise에서 시작해 파라미터화된 reverse Markov chain으로 데이터를 복원하고, forward process는 데이터에 단계적으로 Gaussian noise를 더해 tractable한 noising 경로를 만듦.
• 학습은 negative log-likelihood의 variational lower bound(ELBO)를 기반으로 하며, 실제 성능은 denoising score matching 및 Langevin dynamics와 연결되는 weighted variational bound에서 얻음.
• 모델 비교 맥락은 GAN, autoregressive model, VAE, flow, energy/score-based model이며, DDPM은 likelihood 계산 가능성과 샘플 품질 사이의 절충을 새 방식으로 제시함.
• 실험 증거는 이미지 생성 품질과 likelihood/rate-distortion 분석 중심이며, unconditional CIFAR-10에서 Inception score 9.46, FID 3.17을 보고함.
• 256x256 LSUN에서는 ProgressiveGAN과 비슷한 샘플 품질을 보였고, progressive lossy decompression으로 reconstruction/interpolation을 여러 granularity에서 다룸.
• 경계는 DDPM의 기본 formulation, noise schedule, training objective, 샘플 품질 평가에 있으며, 이후 확산모델의 속도 개선·조건부 생성·대규모 text-to-image 확장은 이 논문의 직접 검증 범위 밖임.

생성모델 맥락

• Generative adversarial networks (GAN)

  • 데이터 분포의 likelihood를 직접 계산하지 않고, 실제 데이터와 구분하기 어려운 sample을 만드는 generator를 학습합니다.

• Autoregressive models

  • 분포를 조건부 확률의 곱으로 분해해 명시적으로 추정합니다. 이 때문에 likelihood 계산이 비교적 직접적입니다.
  • 앞서 생성한 token이나 pixel을 조건으로 다음 값을 순차적으로 생성합니다.
  • 잠재변수 z를 먼저 샘플링하는 구조와는 다르게, 관측된 prefix를 조건으로 삼는 방식입니다.

• Variational autoencoders (VAEs)

  • 잠재변수 z와 decoder를 두고, posterior를 다루기 쉬운 분포로 근사해 학습합니다.
  • 학습은 보통 ELBO를 최대화하는 형태로 정리되며, reconstruction과 latent regularization이 함께 들어갑니다.

• Flow models

  • 단순한 확률분포를 invertible transformation으로 여러 번 변환해 복잡한 데이터 분포를 만듭니다.
  • 정확한 likelihood 계산이 가능하지만, 변환 함수가 역함수를 가져야 하므로 architecture 선택에 제약이 생깁니다.

  

• Energy-based modeling

  • 데이터가 자주 놓이는 영역에는 낮은 energy를, 그렇지 않은 영역에는 높은 energy를 부여하도록 학습합니다.
  • 참고 글: energy-based generative adversarial nets

• Score matching — 여기서 score는 log probability density의 gradient를 뜻합니다.

  • Score matching은 정규화 상수를 직접 계산하기 어려운 density model에서도 score function을 학습할 수 있게 해 줍니다.
  • 즉, score는 입력을 데이터 분포의 더 높은 probability 영역으로 움직이는 방향 정보를 제공합니다.
  • 참고 글: score-based generative modeling

이 배경에서 diffusion probabilistic model은 noise를 넣는 정방향 과정과 그 noise를 제거하는 역방향 생성 과정을 분리해 정의합니다. DDPM은 이 틀을 이미지 생성 문제에 맞게 단순화하고, score matching과 ELBO 학습을 연결해 실용적인 generative model로 정리한 논문입니다.

Diffusion probabilistic models

q(x_t | x_{t-1})는 데이터 sample에 작은 Gaussian noise를 단계적으로 더하고, p_θ(x_{t-1} | x_t)는 그 과정을 한 단계씩 되돌리도록 학습됩니다. DDPM은 이 두 Markov chain을 맞물리게 두고, 복잡한 생성 문제를 많은 denoising step의 조합으로 다룹니다.