GPT-4

Generative Pre-trained Transformer 4 (GPT-4) é um modelo de linguagem grande multimodal criado pela OpenAI, e o quarto de sua série de modelos fundamentais GPT. Foi inicialmente lançado em 14 de março de 2023 e foi disponibilizado publicamente por meio do produto de chatbot pago ChatGPT Plus e pela API da OpenAI. Como um modelo baseado em transformer, o GPT-4 usa um paradigma em que o pré-treinamento usando tanto dados públicos quanto "dados licenciados de provedores terceirizados" é usado para prever o próximo token. Após esta etapa, o modelo foi então ajustado com feedback de aprendizado por reforço de humanos e IA para alinhamento humano e conformidade com políticas. Observadores relataram que a iteração do ChatGPT usando GPT-4 foi uma melhoria em relação à iteração anterior baseada em GPT-3.5, com a ressalva de que o GPT-4 mantém alguns dos problemas das revisões anteriores. O GPT-4 também é capaz de receber imagens como entrada no ChatGPT. A OpenAI recusou-se a revelar vários detalhes técnicos e estatísticas sobre o GPT-4, como o tamanho preciso do modelo. Contexto A OpenAI introduziu o primeiro modelo GPT (GPT-1) em 2018, publicando um artigo chamado "Improving Language Understanding by Generative Pre-Training." Ele foi baseado na arquitetura transformer e treinado em um grande corpus de livros. No ano seguinte, eles introduziram o GPT-2, um modelo maior que podia gerar texto coerente. Em 2020, eles introduziram o GPT-3, um modelo com 100 vezes mais parâmetros que o GPT-2, que podia realizar várias tarefas com poucos exemplos. O GPT-3 foi posteriormente aprimorado para GPT-3.5, que foi usado para criar o produto de chatbot ChatGPT. Rumores afirmam que o GPT-4 tem 1,76 trilhão de parâmetros, estimados primeiro pela velocidade com que estava executando e por George Hotz.