PaLM (Modelo de lenguaje)

De Wikipedia, la enciclopedia libre
(Redirigido desde «PaLM»)
PaLM
Información general
Tipo de programa LLM
Desarrollador Google AI
Enlaces
[editar datos en Wikidata]

PaLM (Pathways Language Model) es un modelo de lenguaje grande basado en un transformador de 540 mil millones de parámetros desarrollado por Google AI.[1]​ Los investigadores también entrenaron versiones más pequeñas de PaLM, modelos de 8 y 62 mil millones de parámetros, para probar los efectos de la escala del modelo.[2]​

PaLM es capaz de realizar una amplia gama de tareas, incluido el razonamiento de sentido común, el razonamiento aritmético, la explicación de chistes, la generación de código y la traducción.[2]​[3]​[4]​[5]​ Cuando se combina con indicaciones de cadena de pensamiento, PaLM logró un rendimiento significativamente mejor en conjuntos de datos que requieren razonamiento de varios pasos, como problemas verbales y preguntas basadas en lógica.[1]​[2]​

El modelo se anunció por primera vez en abril de 2022 y permaneció privado hasta marzo de 2023, cuando Google lanzó una API para PaLM y varias otras tecnologías.[6]​ La API estará disponible primero para un número limitado de desarrolladores que se unan a una lista de espera antes de abrirse al público.[7]​

Google y DeepMind desarrollaron una versión de PaLM 540B llamada Med-PaLM que se ajusta con precisión a los datos médicos y supera a los modelos anteriores en los puntos de referencia de respuesta a preguntas médicas.[8]​ Med-PaLM fue el primero en obtener una calificación aprobatoria en las preguntas sobre licencias médicas de los Estados Unidos y, además de responder con precisión tanto a las preguntas abiertas como de opción múltiple, también brinda razonamiento y puede evaluar sus propias respuestas.[9]​

Google también amplió PaLM usando un transformador de visión para crear PaLM-E, un modelo de lenguaje de visión de última generación que se puede usar para la manipulación robótica.[10]​ El modelo puede realizar tareas en robótica de manera competitiva sin necesidad de volver a capacitarse o ajustarse.[11]​

En mayo de 2023, Google anunció PaLM 2 en el discurso de apertura anual de Google I/O.[12]​ Se informa que PaLM 2 es un modelo de 340 mil millones de parámetros entrenado en 3,6 billones de tokens.[13]​

En junio de 2023, Google anunció AudioPaLM para la traducción de voz a voz, que utiliza la arquitectura y la inicialización de PaLM-2.[14]​

Capacitación[editar]

PaLM está preentrenado en un corpus de alta calidad de 780 mil millones de tokens que comprenden varias tareas de lenguaje natural y casos de uso. Este conjunto de datos incluye páginas web filtradas, libros, artículos de Wikipedia, artículos de noticias, código fuente obtenido de repositorios de código abierto en GitHub y conversaciones en redes sociales.[1]​[2]​ Se basa en el conjunto de datos utilizado para entrenar el modelo LaMDA de Google. La porción de conversación de las redes sociales del conjunto de datos constituye el 50 % del corpus, lo que ayuda al modelo en sus capacidades de conversación.[2]​

PaLM 540B se entrenó en dos pods TPU v4 con 3072 chips TPU v4 en cada pod conectados a 768 hosts, conectados mediante una combinación de modelo y paralelismo de datos, que es la configuración de TPU más grande descrita hasta la fecha.[15]​ Esto permitió una capacitación eficiente a escala, utilizando 6144 chips, y marcó un récord de la mayor eficiencia de capacitación lograda para LLM a esta escala: una utilización de FLOP de hardware del 57,8 %.[2]​

Referencias[editar]

  1. ↑ a b c «Pathways Language Model (PaLM): Scaling to 540 Billion Parameters for Breakthrough Performance». ai.googleblog.com (en inglés). 4 de abril de 2022. Consultado el 19 de julio de 2023. 
  2. ↑ a b c d e f Chowdhery, Aakanksha; Narang, Sharan; Devlin, Jacob et ál. (2022). «PaLM: Scaling Language Modeling with Pathways». arXiv:2204.02311  [cs.CL]. 
  3. ↑ «Google sets the bar for AI language models with PaLM». VentureBeat (en inglés estadounidense). 12 de abril de 2022. Consultado el 19 de julio de 2023. 
  4. ↑ Bastian, Matthias (5 de abril de 2022). «Google PaLM: Giant language AI can explain jokes». THE DECODER (en inglés estadounidense). Consultado el 19 de julio de 2023. 
  5. ↑ Research, Livy Investment (12 de diciembre de 2022). «Google: Why Is No One Talking About PaLM (NASDAQ:GOOG) | Seeking Alpha». seekingalpha.com (en inglés). Consultado el 19 de julio de 2023. 
  6. ↑ Vincent, James (14 de marzo de 2023). «Google opens up its AI language model PaLM to challenge OpenAI and GPT-3». The Verge (en inglés estadounidense). Consultado el 19 de julio de 2023. 
  7. ↑ «PaLM API & MakerSuite: an approachable way to start prototyping and building generative AI applications» (en inglés). Consultado el 19 de julio de 2023. 
  8. ↑ «MedPaLM: New Chatbots Will Soon Be Better Than Waiting For A Doctor». The Medical Futurist. 17 de enero de 2023. Consultado el 19 de julio de 2023. 
  9. ↑ «Our latest health AI research updates». Google (en inglés estadounidense). 14 de marzo de 2023. Consultado el 19 de julio de 2023. 
  10. ↑ «PaLM-E: An embodied multimodal language model». ai.googleblog.com (en inglés). 10 de marzo de 2023. Consultado el 19 de julio de 2023. 
  11. ↑ Edwards, Benj (7 de marzo de 2023). «Google’s PaLM-E is a generalist robot brain that takes commands». Ars Technica (en inglés estadounidense). Consultado el 19 de julio de 2023. 
  12. ↑ Lardinois, Frederic (10 de mayo de 2023). «Google launches PaLM 2, its next-gen large language model». TechCrunch (en inglés estadounidense). Consultado el 19 de julio de 2023. 
  13. ↑ Elias, Jennifer (16 de mayo de 2023). «Google's newest A.I. model uses nearly five times more text data for training than its predecessor». CNBC (en inglés). Consultado el 19 de julio de 2023. 
  14. ↑ «AudioPaLM». google-research.github.io. Consultado el 19 de julio de 2023. 
  15. ↑ «An empirical analysis of compute-optimal large language model training». www.deepmind.com (en inglés). Consultado el 19 de julio de 2023. 

Enlaces externos[editar]

Obtenido de «https://es.wikipedia.org/w/index.php?title=PaLM_(Modelo_de_lenguaje)&oldid=157767504»