cleanUrl: "manifold-mixup-paper-review"
description: "Manifold mixup 논문을 리뷰합니다."
(a) Vanilla training 시의 decision boundary. (b) Manifold mixup 사용 시의 decision boundary. 더 smooth하다. (c) Layer 1의 representation들의 singular values. Manifold mixup representation들이 더 적은 representation으로 더 큰 데이터 variance를 설명하고 있다. (d) Vanilla training 시의 hidden representation. (e) Manifold mixup 사용 시의 hidden representation. (f) → (c)와 마찬가지.
<aside> 💡 Manifold mixup improves the hidden representations and decision boundaries of neural networks at multiple layers.
</aside>
Network 내의 eligible layer의 집합 $\mathcal{S}$로부터 random layer $k$를 선정한다.
두 개의 minibatch $(x, y)$ 와 $(x', y')$를 layer $k$까지 forward-propagate한다.
이 minibatch에 input mixup을 적용한다.
이 때, $\text{Mix}_\lambda(a, b) = \lambda a + (1 - \lambda) b$ 이고, $\lambda \sim Beta(\alpha, \alpha)$
이후는 input mixup처럼 진행. 생략