• Table of contents

Highly accurate protein structure prediction with AlphaFold

Article

Highly accurate protein structure prediction with AlphaFold - Nature

Supplementary material

Summary

아미노산 residue들의 co-evolution, residue pair의 feature 및 두 요소 간의 상호작용을 deep learning 모델에 접목시켜 protein structure를 예측하기 위해서 self-attention과 그 variant들을 훌륭하게 design하여 활용함

Introduction

Seven novelties suggested by authors

저자들은 AlphaFold2 모델의 novelty로서 7가지를 제시한다.

1. Multiple sequence alignments (MSAs)와 pairwise feature를 jointly embed할 수 있는 new architecture

   → Evoformer

2. New output representation과 associated loss

   → Backbone frame (for residue) and torsion angle (for atom)

   → End-to-end structure prediction을 가능하게 함.

3. New equivariant attention architecture

   → 두 residue의 3차원 공간 상의 거리를 attention에 반영할 수 있다. 이 때, whole protein이 공간 상에 어떻게 위치하는지(global transformation)는 attention에 영향을 주지 않는다.

   → (global transformation-) invariant point attention (IPA)

4. Intermediate loss의 사용

   → prediction들의 iterative refinement를 가능하게 함.

5. Masked MSA loss

   → BERT를 떠올리면 된다. 고의로 MSA의 residue 일부를 masking해놓고 이를 reconstruct하도록 만드는 loss. BERT-loss

6. Learning from unlabelled protein sequences using self-distillation

   → Noisy student self-distillation

   • 참고 논문: Self-training with Noisy Student improves ImageNet classification (CVPR 2020)

7. Self-estimates of accuracy

   → 예측된 구조의 residue 별로 AlphaFold2의 예측을 얼마나 신뢰할 수 있는지 스스로 판단하는 방법을 제시함.

   → per-residue accuracy of the structure (pLDDT)