Sequence Embedding Generation

简介

该模块基于ESM大规模预训练蛋白语言模型实现。提取序列的向量化特征信息（embeddings），可用于下游序列性质（如：突变对应的亲和力变化、稳定性变化，抗体序列可开发性等）预测任务，为判别模型的训练提供序列特征。
ESM模型是通用蛋白质语言模型，采用UniRef50/90等序列数据库（数千万条序列）进行模型训练，提供了不同参数量（800万，3500万，1.5亿，6.5亿，30亿，150亿）的各类模型，可用于直接从蛋白序列预测结构、功能和其他蛋白质性质。如在结构预测中，ESM避免了对外部进化数据库、MSA和模板的需求，计算精度与AlphaFold2（存在MSA信息时）接近，无可用MSA信息时，计算精度ESM要显著优于AlphaFold2。计算速度比AlphaFold2快数十倍。

参数说明

Protein Sequence

蛋白的序列文件，FASTA格式
注意：多条序列时，序列名称应避免重复，模块会对重复的序列名称进行重命名，格式为“原序列名_数字”

Model

选择用于提取序列特征的模型，可用模型及特征维度说明如下：

备注：“M”表示Million（百万），“B”表示Billion（十亿），ESM-2-15B模型需要的GPU卡显存大小约为32GB

结果说明

每条序列会输出一个特征信息文件“序列名.pt”，包含了该序列的向量化特征信息，该特征信息由模型最后一层产生。多条序列会输出多个pt文件，并压缩为feats.tar压缩文件。
特征信息文件可通过torch加载，如下：
embs = torch.load(“序列名.pt”)
embs[‘mean_representations’][‘模型层数’]

参考文献

Zeming Lin et al. ,Evolutionary-scale prediction of atomic-level protein structure with a language model.Science379,1123-1130(2023).DOI:10.1126/science.ade2574