| 编号 | 341 | |
| 名称 | AA Probability Prediction | |
| 封面 |  | |
| 描述 | 基于预训练的大规模蛋白质语言模型，预测序列中每个氨基酸（AA）位置处20种AA出现的概率。与进化上更保守的AA类似，语言模型预测的高概率AA，有利于提升结构的稳定性、改善蛋白的折叠、提升蛋白质的表达能力等、甚至提升亲和力，比随机盲目突变具有潜在的优势。建议通过WeSeq序列编辑器来使用该功能，具体为WeSeq -> Frequency -> Frequency/Likelihood Analysis -> Caculate -> ESM2/ESM1B/ESMIF/AntiFold/Nanobidy。 | |
| 标签 |
| |
| 作者 | WECOMPUT | |
| 发布时间 | 2024-01-23 20:07:02 | |
| 参考文献 | Zeming Lin et al. ,Evolutionary-scale prediction of atomic-level protein structure with a language model.Science379,1123-1130(2023).DOI:10.1126/science.ade2574
Shuai et al., 2023, Cell Systems 14, 979–989. doi:10.1016/j.cels.2023.10.001 | |
- 简介
- 蛋白质语言模型介绍
- ESM模型
- AbLang2模型
- ESMIF模型
- AntiFold模型
- Nanobody模型
- Abysis频率统计
- 参数说明
- ESM
- Sequence
- Model
- AbLang2
- Sequence
- ESMIF
- PDB File
- Threshold
- Regions
- AntiFold
- PDB File
- Antigen Chain
- Nanobody
- Nanobody Sequence
- Abysis
- FASTA
- Scheme
- Species
- All in One
- Sequence
- Structure
- Numbering Type
- Chain
- 结果说明
- ESM、AbLang2以及Nanobody
- ESMIF和AnfiFold
- All in One
- 参考文献
AA Probability Prediction
简介
基于预训练的大规模蛋白质语言模型（也叫做PLM或pLLM），预测序列中每个氨基酸（AA）位置处20种AA出现的概率。与进化上更保守的AA类似，语言模型预测的高概率AA，有利于提升结构的稳定性、改善蛋白的折叠、提升蛋白质的表达能力等、甚至提升亲和力，比随机盲目突变具有潜在的优势。相比于基于MSA序列统计的PSSM，语言模型的预测速度更快，更多地考虑了序列内AA之间的相互作用，自身的变化也更敏感。
该模块基于ESM等大规模预训练蛋白（抗体）语言模型实现。
- ESM为基于序列的PLM，适用于蛋白包括抗体；
- All in One同时使用ESM与IgLM进行计算；
- ESMIF为结构感知的PLM，适用于蛋白包括抗体；
- AntiFold为基于ESMIF使用抗体数据微调的模型，更适用于抗体或纳米抗体。
没有结构的时候，可以使用ESM、IgLM等纯序列模型；有结构或者预测了结构，可以使用结构感知的模型，在稳定性、亲和力等跟局部结构相关性更强的任务上表现更好。
蛋白质语言模型介绍
目前WeMol中集成了多个PLM大模型，并基于PLM开发了多种应用，涉及的PLM模型如下：
ESM模型
ESM模型是一个通用蛋白质语言模型，主要采用UniRef序列数据库进行模型训练，提供了不同参数量（800万，3500万，1.5亿，6.5亿，30亿，150亿）的各类模型，可用于直接从蛋白序列预测结构、功能和其他蛋白质性质。ESM在预测蛋白结构时避免了对外部进化数据库、MSA和模板的需求，计算精度与AlphaFold2（存在MSA信息时）接近（无可用MSA信息时，计算精度ESM要显著优于AlphaFold2），计算速度比AlphaFold2快数十倍。模块中采用150亿参数的ESM2模型。
AbLang2模型
Ablang2模型是抗体专用语言模型，为AbLang的升级版，旨在解决抗体序列中的种系偏差（germline bias）问题，从而更有效地支持抗体设计与优化。
抗体多样性主要来源于V(D)J重组、CDR区域的突变以及少量非CDR区域的突变。然而，天然抗体序列中仍有很大部分与种系基因（germline）保持一致，这导致传统语言模型在预训练过程中倾向于“记住”种系序列，而忽视了那些远离种系、但对结合能力至关重要的突变。AbLang2模型的核心目标就是缓解这种种系偏差，提升模型对非种系残基的预测能力，从而更有效地指导抗体工程中的关键突变设计。
AbLang2基于Transformer架构，延续了前代模型AbLang的双组件设计。使用OAS数据库中的非配对（仅重链或轻链）和配对（重链+轻链）抗体序列数据进行训练和微调，提升模型对完整抗体结构的建模能力。
ESMIF模型
ESMIF逆折叠模型旨在根据蛋白质主链原子坐标预测蛋白序列。该模型使用AlphaFold2预测的1200万个蛋白质结构进行训练，包含不变几何输入处理层，随后是一个序列到序列的Transformer，对于在结构上保持不变的主干序列实现51%的本地序列恢复率，对于埋藏残基实现72%的恢复率。该模型还经过跨度屏蔽训练，能够容忍缺失的主链坐标，因此可以预测部分被屏蔽结构的序列。
AntiFold模型
AntiFold是使用抗体结构数据对ESMIF模型进行fine-tune微调得到，其在抗体CDR区序列恢复方面优于其他逆折叠工具，设计序列与已解析的序列具有高度结构相似性。此外，它在预测抗体-抗原结合亲和力时具有更强的相关性，同时在包括抗原信息的情况下性能会进一步增强。AntiFold为破坏与抗原结合的抗体残基突变给与低概率，并显示出在指导抗体优化的同时保留结构相关特性的前景。
Nanobody模型
该模型用于预测纳米抗体序列中每个残基位置的20种残基出现的概率。模型采用类似AntiBerta（基于BERT的抗体语言模型）的网络架构，使用纳米抗体的序列数据集，进行模型训练得到。序列数据集包含开源序列与商业序列（未开源）两部分，其中开源序列整合了来自专利、NCBI GenBank、Protein Data Bank（PDB）以及科学出版物中的纳米抗体序列（约2.1万条），商业序列是基于新一代测序（NGS）技术，对多个商业研发项目进行测序得到的序列（约1100万条）。
Abysis频率统计
对公开的抗体序列中，Fv区每个位置的残基类型进行出现频率统计，得到频率分布数据库（Abysis）。对输入的抗体序列，按物种与编号方式，查询频率分布数据库，给出每个位置的不同残基类型对应的出现概率。
参数说明
ESM
Sequence
蛋白序列，如：QVKLQESGAELARPGASVKLSCKASGYTFTNYWMQWVKQRPGQGLDWIGAIYPGDGNTRYTHKFKGKATLTADKSSSTAYMQLSSLASEDSGVYYCARGEGNYAWFAYWGQGTTVTVSS
如果是抗体，请将重链、轻链序列分开预测。
Model
模型类型，可选esm2模型或者esm1b模型。
AbLang2
Sequence
抗体Fv序列
如果同时有重链Fv（VH）、轻链Fv（VL）序列，通过英文冒号:将序列进行分隔即可，不分先后。如下所示：
>seq1
EVQLLESGGEVKKPGASVKVSCRASGYTFRNYGLTWVRQAPGQGLEWMGWISAYNGNTNYAQKFQGRVTLTTDTSTSTAYMELRSLRSDDTAVYFCARDVPGHGAAFMDVWGTGTTVTVSS
>seq2
QVQLQQSGGELAKPGASVKVSCKASGYTFSSFWMHWVRQAPGQGLEWIGYINPRSGYTEYNEIFRDKATMTTDTSTSTAYMELSSLRSEDTAVYYCASFLGRGAMDYWGQGTTVTVSS:EIVLTQSPGTLSLSPGERATLSCRASQSVSSSFFAWYQQKPGQAPRLLIYGASSRATGIPDRLSGSGSGTDFTLTITRLEPEDFAVYYCQQYDSSAITFGQGTRLEIK
ESMIF
PDB File
蛋白结构，pdb格式。
Threshold
残基概率的阈值，概率大于该阈值的突变残基会输出到突变列表文件。
Regions
定义的残基区域，区域内突变概率大于阈值的残基，其突变信息会输出到突变列表文件，残基区域的格式为链名:残基区域，残基区域即指定PDB文件中的残基编号（注意是PDB文件中带有的残基索引编号，起始编号可能不为1），多个残基用逗号分隔，指定残基范围用横杠符号，如A:24,28,32-40 表示残基区域为蛋白A链的24/28/32至40号残基。
支持定义多个残基区域，每行定义一个，如：
A:24,28,32-40
B:12-24
AntiFold
PDB File
抗体/纳米抗体，及与抗原的复合物结构文件，PDB格式。
Antigen Chain
填写输入pdb结构中的抗原链名。
注意：如果文件中有多个抗体/纳米抗体，识别按顺序排的最后一个。
Nanobody
Nanobody Sequence
纳米抗体序列（序列长度不超过198个残基），如：
seq
QLVSGPEVKKPGASVKVSCKASGYIFNNYGISWVRQAPGQGLEWMGWISTDNGNTNYAQKVQGRVTMTTDTSTSTAYMELRSLRYDDTAVYYCATNWGSYFEHWGQGTLVTVSS
只能提交单链序列，且序列长度不得超过198个残基。
Abysis
FASTA
抗体Fv序列，如：
>seq
QVKLQESGAELARPGASVKLSCKASGYTFTNYWMQWVKQRPGQGLDWIGAIYPGDGNTRYTHKFKGKATLTADKSSSTAYMQLSSLASEDSGVYYCARGEGNYAWFAYWGQGTTVTVSS
重链、轻链序列需分开预测。
Scheme
抗体编号规则，支持Kabat, Chothia和IMGT，默认为Kabat。
Species
物种类型，支持Human、Mouse、Rat、Rabbit、Rhesus_Monkey、Alpaca，默认为Human。
All in One
一次性调用所有可用模型。可接受结构或者序列作为输入，任选其一即可，有结构时，优先采用结构输入。
Sequence
蛋白/抗体序列，FASTA格式。
Structure
蛋白/抗体结构，pdb或cif格式。
Numbering Type
抗体编号规则，支持Kabat, Chothia和IMGT，默认为Kabat。
Chain
当输入结构时，指定输出特定链的预测结果，使用链名，如：A，支持多链，使用逗号分隔，如：A,B。
结果说明
ESM、AbLang2以及Nanobody
输出result.csv结果文件，包含以下信息：
| 字段名称 | 说明 |
|---|---|
| WT | 序列中的初始AA |
| POS | AA的位置系引(从1开始) |
| Consensus | 该位置出现概率最大的AA |
| L,A,G,V… | 该位置每种AA出现的概率 |
输出chain_score.csv结果文件，包含以下信息：
| 字段名称 | 说明 |
|---|---|
| Name | 序列名称 |
| Chain_Score | 序列打分，是序列中每个位置残基的预测概率的算术平均值 |
ESMIF和AnfiFold
输出result.csv结果文件，包含以下信息：
| 字段名称 | 说明 |
|---|---|
| Chain | PDB结构中的链名称 |
| WT | PDB结构中的初始AA |
| Pos | PDB文件中的AA位置系引 |
| Consensus | 该位置出现概率最大的AA |
| L,A,G,V… | 该位置每种AA出现的概率 |
输出突变列表文件mutation_list.txt，包含突变信息：
每行一个突变信息，格式为GA1S，G表示野生型残基，A表示链名A，1表示PDB结构中的残基编号，S表示突变后的残基。
All in One
All in One模式中，输出所有可用模型的预测结果（每种模型的预测结果见上述描述）。
输出所有结果的打包文件 all.tar.gz
输出两个合并的CSV文件：
AA_allinone_mutation.csv，包含信息如下：
| 字段名称 | 说明 |
|---|---|
| Chain | 链名称，输入为fasta时，按顺序对应A,B,C…，输入为结构时，对应链名 |
| Mutation | 突变信息，格式为WT残基+顺序位置+突变残基 |
| dP(ESM)/dP(AntiFold)/dP(ESMIF)/dP(Nanobody) | 模型预测的该位置突变残基出现概率与WT残基出现概率的差值，即 P(突变残基）-P（WT残基），数值为正时，表示该位置，突变残基的出现概率大于WT残基的出现概率，为优势突变，数值越大优势越大。 |
AA_allinone_pos.csv，包含信息如下：
| 字段名称 | 说明 |
|---|---|
| Chain | 链名称，输入为fasta时，按顺序对应A,B,C…，输入为结构时，对应链名 |
| Pos | 残基的位置系引 |
| WT | 该位置的初始AA |
| dP(ESM)/dP(AntiFold)/dP(ESMIF)/dP(Nanobody) | 模型预测的该位置突变残基概率优于WT残基概率的所有残基类型和对应的概率值。 |
参考文献
- Zeming Lin et al., Evolutionary-scale prediction of atomic-level protein structure with a language model. Science 379, 1123-1130 (2023). DOI: 10.1126/science.ade2574
https://www.science.org/doi/abs/10.1126/science.ade2574 - Shuai et al., 2023, Cell Systems 14, 979–989.
https://doi.org/10.1016/j.cels.2023.10.001 - Olsen TH, Moal IH, Deane CM. AbLang: an antibody language model for completing antibody sequences. Bioinform Adv. 2022 Jun 17;2(1):vbac046.DOI:10.1101/2022.01.20.477061
- Addressing the antibody germline bias and its effect on language models for improved antibody design. Tobias H. Olsen, Iain H. Moal, Charlotte M. Deane. bioRxiv 2024.02.02.578678.DOI:10.1101/2024.02.02.578678
