ELMo

ELMo ("Embeddings from Language Model") é um método de word embedding para representar uma sequência de palavras como uma sequência correspondente de vetores. Tokens no nível de caracteres são usados como entradas de uma LSTM bidirecional que produz embeddings no nível de palavras. Como o BERT (mas diferente dos embeddings de palavras produzidos por abordagens de "Bag of Words" e abordagens vetoriais anteriores como Word2Vec e GloVe), os embeddings do ELMo são sensíveis ao contexto, produzindo representações diferentes para palavras que compartilham a mesma grafia mas têm significados diferentes (homônimos), como "bank" em "river bank" e "bank balance". Foi criado por pesquisadores do Allen Institute for Artificial Intelligence e da University of Washington e lançado pela primeira vez em fevereiro de 2018. Referências Aprendizado de máquina Processamento de linguagem natural Software de processamento de linguagem natural Linguística computacional