[GoogleStudyJam] Introduction to Image Generation

정리

• Variational autoencoders(VAEs) : 데이터의 분포를 학습할 때 이미지를 압축으로 인코딩하고, 원본사이즈로 디코딩한다.
• Generative adversarial models(GANs) : 두 신경망을 서로 맞댄다. 한 뉴럴은 이미지를 생성기고 다른 뉴럴은 이미지가 진짜인지 가짜인지 예측하는 판별장치이다. 시간이 지날수록 진짜와 가짜를 구별하는데 능숙해지고, 생성자는 진짜처럼 만들어준다.
• Autoregressive models : 이미지를 픽셀의 시퀀스로 처리하여 이미지를 생성한다. 자동 회귀 모델을 사용한 접근방식은 LLM가 텍스트를 처리하는 방식에서 영감을 얻었다.

Diffusion model : New trend of generative model

• 확산 모델은 다양한 사례에서 사용된다.
• 조건 없는 확산 모델은 모델이 추가적인 입력이나 지시가 없는 경우이다. 특정 사물의 이미지에 대해 훈련되어 해당 사물의 새로운 이미지를 생성할 수 있다. 예: 사람 얼굴 합성, 초해상도
  • 반복적인 순방향 확산 과정을 통해 데이터 분포의 파괴 구조 : 이미지 하나에 노이즈를 점점 입혀가며 Pure Noise 까지 도달한다.
  • 데이터의 구조를 복원하는 역확산 프로세스 : 반대로 노이즈를 제거해나가는 과정을 거치면 초기의 이미지에 도달할 수 있다.
• 조건 확산 모델은 이미지 생성을 위한 텍스트 프롬프트이다. 이미지 편집이나 커스터마이징.

오늘은 어땠냐면요

백점

 

이미지 생성에 열역학이 중요하다는 말이 정말 흥미로웠다. 사진에서는 열이 안나는데 어떻게 열역학을 사용한다는걸까..? 구선생님께 자세히 들어보자

생성적 이미지 (generative image) 모델에서 열역학을 사용하는 이유는 이미지 생성 과정을 효율적으로 모델링하고 자연스럽게 만들기 위함입니다. 열역학은 확률적인 시스템을 모델링하고 그 안에서 에너지의 분포를 조사하는데 사용됩니다. 이를 이미지 생성에 적용하면 자연스러운 이미지를 생성하기 위해 이미지의 픽셀이나 픽셀 그룹의 에너지를 조절하는 것이 가능해집니다.
일반적으로 생성적 이미지 모델에서는 이미지를 생성하는 과정을 확률적으로 모델링합니다. 이 때 열역학적인 개념은 이미지의 품질을 향상시키고 원하는 특성을 강조하는 데 사용됩니다. 예를 들어, 이미지 생성 과정에서 열역학적 손실 함수를 사용하여 생성된 이미지의 엔트로피를 최소화하거나 이미지의 픽셀 간 에너지를 균형있게 조절할 수 있습니다. 이를 통해 생성된 이미지가 더 자연스럽고 현실적인 특성을 갖게 됩니다.

신기하다!!