NLP 领域任务(研究目标)
下面给出了 NLP 的四大常见的应用。由于预训练的模型是在连续的文本序列上训练的,所以需要进行一些修改才能将其应用于不同的这些 NLP 任务。
分类 (text classification): 给一句话或者一段文本,判断一个标签。
图 2:分类 (text classification)
蕴含 (textual entailment): 给一段话,和一个假设,看看前面这段话有没有蕴含后面的假设。
图 3:蕴含 (textual entailment)
相似 (Similarity): 判断两段文字是否相似。
图 4:相似 (Similarity)
多选题 (Multiple Choice): 给个问题,从 N 个答案中选出正确答案。
图 5:多选题 (Multiple Choice)
可以看出,随着任务类型的变化,就需要构造不同的输入形式,把不同的子任务统一成相同的输入形式。但是,不变的是 Transformer 模型的结构。所有转换都包括添加随机初始化的开始 (Start) 和结束 (Extract) tokens,有的包括分隔符 Delimiter tokens (Delim)。