PaLM

PaLM (Pathways Language Model) es un modelo de lenguaje grande basado en transformador de 540 mil millones de parámetros desarrollado por Google AI. Los investigadores también entrenaron versiones más pequeñas de PaLM, modelos de 8 y 62 mil millones de parámetros, para probar los efectos de la escala del modelo. PaLM es capaz de realizar una amplia gama de tareas, como razonamiento de sentido común, razonamiento aritmético, explicación de chistes, generación de código y traducción. Cuando se combina con el prompting de cadena de pensamiento, PaLM logró un rendimiento significativamente mejor en conjuntos de datos que requieren razonamiento de múltiples pasos, como problemas verbales y preguntas basadas en lógica. El modelo se anunció por primera vez en abril de 2022 y permaneció privado hasta marzo de 2023, cuando Google lanzó una API para PaLM y varias otras tecnologías. La API estará disponible primero para un número limitado de desarrolladores que se unan a una lista de espera antes de abrirse al público. Google y DeepMind desarrollaron una versión de PaLM 540B llamada Med-PaLM que se entrena con ajuste fino en datos médicos y supera a modelos anteriores en puntos de referencia de respuesta a preguntas médicas. Med-PaLM fue el primero en obtener una puntuación aprobatoria en preguntas de licencia médica de EE. UU., y además de responder con precisión tanto a preguntas de opción múltiple como abiertas, también proporciona razonamiento y es capaz de evaluar sus propias respuestas.