El ChatGPT es una de las herramientas más recientes y brillantes impulsadas por IA, pero los algoritmos que trabajan en segundo plano han sido utilizados en una amplia variedad de aplicaciones y servicios desde 2020. Para entender cómo funciona el ChatGPT, debemos comenzar hablando sobre el motor de lenguaje subyacente que lo impulsa.
El GPT en el ChatGPT es principalmente el GPT-3, o Generative Pre-trained Transformer 3, aunque el GPT-4 ahora está disponible para suscriptores de ChatGPT Plus y probablemente se vuelva más ampliamente utilizado en el futuro cercano. Los modelos GPT fueron desarrollados por OpenAI (la empresa detrás de ChatGPT y del generador de imágenes DALL·E 2), pero alimentan desde las capacidades de IA de Bing hasta herramientas de escritura como Jasper y Copy.ai. De hecho, la mayoría de los generadores de texto de IA disponibles en la actualidad utilizan el GPT-3 y es probable que ofrezcan el GPT-4 como el siguiente paso.
El ChatGPT ha destacado al GPT-3, ya que ha hecho que el proceso de interactuar con un generador de texto alimentado por IA sea simple y, lo más importante, gratuito para todos. Además, es un chatbot, y a la gente le encanta un buen chatbot desde SmarterChild.
Aunque el GPT-3 y el GPT-4 son los Modelos de Lenguaje Grandes (LLM, por sus siglas en inglés) más populares en la actualidad, es probable que haya mucha competencia en los próximos años. Google, por ejemplo, tiene a Bard, su chatbot de IA, que está impulsado por su propio motor de lenguaje llamado Pathways Language Model (PaLM 2). Pero, por ahora, la oferta de OpenAI es el estándar de facto de la industria. Es la herramienta más fácil para que las personas tengan acceso.
Entonces, la respuesta a «¿cómo funciona el ChatGPT?» básicamente es: GPT-3 y GPT-4. Pero profundicemos un poco más.
¿Qué es el ChatGPT?
El ChatGPT es una aplicación desarrollada por OpenAI. Utilizando los modelos de lenguaje GPT, puede responder a tus preguntas, escribir textos, redactar correos electrónicos, mantener una conversación, explicar código en diferentes lenguajes de programación, traducir lenguaje natural a código y mucho más, o al menos intentarlo, todo basado en las instrucciones en lenguaje natural que le proporciones. Es un chatbot, pero un chatbot realmente, realmente bueno.
Visión general inicial del ChatGPT
Aunque es divertido jugar con el ChatGPT, por ejemplo, si quieres escribir un soneto shakesperiano sobre tu mascota o obtener ideas para temas de correos electrónicos de marketing, también es beneficioso para OpenAI. Es una forma de obtener muchos datos de usuarios reales y sirve como una impresionante demostración del poder del GPT, que de otra manera podría parecer un poco confuso a menos que estés profundamente involucrado en el aprendizaje automático.
Actualmente, el ChatGPT ofrece dos modelos GPT. El estándar, GPT-3.5, es menos potente, pero está disponible de forma gratuita para todos. El GPT-4 más avanzado está limitado a los suscriptores de ChatGPT Plus, e incluso ellos tienen un número limitado de preguntas por día.
Una de las grandes características del ChatGPT es que puede recordar la conversación que tienes con él. Esto significa que puede obtener contexto de lo que le has preguntado anteriormente y utilizarlo para informar la conversación contigo. También puedes solicitar reformulaciones y correcciones, y él se referirá a lo que estaban discutiendo antes. Esto hace que la interacción con la IA se sienta como una conversación genuina.
Si realmente quieres tener una idea, ve y pasa cinco minutos jugando con el ChatGPT ahora mismo (¡es gratis!) y luego vuelve para leer cómo funciona.
¿Cómo funciona el ChatGPT?
Este inmenso conjunto de datos se utilizó para formar una red neuronal de aprendizaje profundo […] modelada a partir del cerebro humano, lo que permitió que el ChatGPT aprendiera patrones y relaciones en los datos de texto […] prediciendo qué texto debe seguir en una determinada frase.
El ChatGPT funciona intentando entender tu instrucción y luego genera secuencias de palabras que predice que responderán mejor a tu pregunta, basándose en los datos en los que fue entrenado.
Hablemos sobre el entrenamiento en sí. Es un proceso en el que la IA recibe algunas reglas básicas y luego se le presenta situaciones o se le proporciona una gran cantidad de datos para procesar, con el fin de desarrollar sus propios algoritmos.
El GPT-3 fue entrenado con alrededor de 500 mil millones de «tokens», que permiten que sus modelos de lenguaje asignen significado con mayor facilidad y predigan texto plausible que pueda seguir. Muchas palabras corresponden a un solo token, aunque las palabras más largas o complejas a menudo se dividen en varios tokens. En promedio, los tokens tienen alrededor de cuatro caracteres de longitud. OpenAI ha mantenido silencio sobre los detalles internos del GPT-4, pero podemos asumir con seguridad que fue entrenado en un conjunto de datos similar, ya que es aún más poderoso.
Todos los tokens provienen de un inmenso corpus de datos escritos por humanos. Esto incluye libros, artículos y otros documentos que abarcan una amplia variedad de temas, estilos y géneros, así como una cantidad increíble de contenido recopilado de Internet. Básicamente, se permitió que el modelo procesara el conocimiento humano acumulado.
Este inmenso conjunto de datos se utilizó para formar una red neuronal de aprendizaje profundo: un algoritmo complejo, con múltiples capas y ponderaciones, modelado a partir del cerebro humano. Esto permitió que ChatGPT aprendiera patrones y relaciones en los datos de texto, explorando su capacidad para generar respuestas similares a las humanas, prediciendo qué texto podría seguir en una determinada frase.
Sin embargo, esto subestima enormemente las cosas. ChatGPT no trabaja a nivel de oración, en cambio, genera texto prediciendo qué palabras, frases e incluso párrafos o estrofas podrían seguir. No es solo la función de autocompletado de texto de tu teléfono que adivina la siguiente palabra de manera bruta; intenta crear respuestas totalmente coherentes para cualquier instrucción.
Para mejorar aún más la capacidad de ChatGPT de responder a una variedad de instrucciones diferentes, se optimizó para diálogos utilizando una técnica llamada aprendizaje por refuerzo con retroalimentación humana (RLHF). Básicamente, los humanos crearon un modelo de recompensa utilizando datos de comparación (donde dos o más respuestas del modelo fueron clasificadas por entrenadores de IA), para que la IA pudiera aprender cuál era la mejor respuesta.
Retomando la red neuronal que se formó. Basándonos en todo este entrenamiento, la red neuronal de GPT-3 tiene 175 mil millones de parámetros o variables que le permiten recibir una entrada, es decir, su instrucción, y, en función de los valores y ponderaciones asignados a los diferentes parámetros (y un pequeño grado de aleatoriedad), generar la salida que considera que mejor se corresponde con su solicitud. OpenAI no ha revelado cuántos parámetros tiene GPT-4, pero es seguro suponer que es superior a los 175 mil millones y menor que los rumores de 100 billones de parámetros. Sin importar el número exacto, tener más parámetros no significa automáticamente mejor. Parte del aumento de potencia de GPT-4 probablemente se debe a tener más parámetros que GPT-3, pero muchas mejoras seguramente se deben a mejoras en cómo se entrenó.
Al final del día, la forma más sencilla de imaginarlo es como uno de esos juegos de «completa la frase» que solías jugar cuando eras niño.
Al final del día, la forma más sencilla de imaginarlo es como uno de esos juegos de «completa la frase» que solías jugar cuando eras niño. Por ejemplo, cuando le di la instrucción «Zapier es…» a ChatGPT usando GPT-3, respondió diciendo:
«Zapier es una herramienta de automatización basada en la web que permite a los usuarios conectar diferentes aplicaciones web para automatizar tareas repetitivas y mejorar flujos de trabajo.»
Esa es la clase de frase que puedes encontrar en cientos de artículos que describen lo que hace Zapier, así que tiene sentido que sea el tipo de respuesta que proporciona aquí. Pero cuando mi editor dio la misma instrucción, él dijo:
«Zapier es una herramienta de automatización basada en la web que permite a los usuarios conectar diferentes aplicaciones web y automatizar flujos de trabajo entre ellas.»
Eso es bastante similar, pero no es exactamente la misma respuesta. Esta aleatoriedad (que se puede controlar en algunas aplicaciones de GPT-3 con una configuración llamada «temperatura») garantiza que ChatGPT no esté simplemente respondiendo cada vez con lo que sería una respuesta estándar. Pasa cada instrucción a través de toda la red neuronal cada vez y arroja algunos datos aquí y allá para mantener las cosas frescas. Es poco probable que comience a afirmar que Zapier es un color de Marte, pero mezclará las palabras siguientes en base a sus probabilidades relativas.
(Por lo que vale, cuando se ejecuta con GPT-4, ChatGPT dijo: «Zapier es una herramienta de automatización basada en la web que permite a los usuarios integrar y automatizar tareas entre varias aplicaciones y servicios en línea». ¡Muy similar!)
Produciendo palabras, no conocimiento
Los creadores de ChatGPT son los primeros en decir que puede proporcionar información incorrecta (y posiblemente perjudicial), aunque están trabajando arduamente para corregirlo.
Aquí hay un ejemplo inofensivo. Cuando pregunté a ChatGPT usando GPT-3 y GPT-4 para responder a «Harry Guinness es…», GPT-3 respondió preguntando cuál Harry Guinness. ¡Gran pregunta, hay literalmente dos de nosotros! Entonces dije: «Harry Guinness, el escritor» (es decir, yo mismo). GPT-4 adivinó de inmediato quién era yo, aunque ambas respuestas fueron fascinantes:
GPT-3: Harry Guinness es un escritor independiente y periodista con sede en Irlanda. Ha escrito para una variedad de publicaciones, incluyendo The New York Times, The Guardian, The Huffington Post y Popular Mechanics. Aborda temas que van desde tecnología y fotografía hasta viajes y cultura.
GPT-4: Harry Guinness es un escritor, fotógrafo y experto en tecnología irlandés. Ha escrito para varias publicaciones, incluyendo How-To Geek, Lifehacker y Tuts+. Su trabajo se centra principalmente en tecnología, tutoriales y consejos, así como en fotografía y edición de imágenes. Guinness se ha ganado una reputación por crear guías detalladas que ayudan a los lectores a entender temas complejos o resolver problemas de manera directa.
Las primeras y últimas líneas del GPT-3 están prácticamente tomadas literalmente de varios de mis sitios web y biografías de autor que se encuentran en la web (aunque normalmente me presento como escritor independiente y fotógrafo, no como periodista). Pero la lista de publicaciones es prácticamente inventada. He escrito para The New York Times, pero no para The Guardian, The Huffington Post o Popular Mechanics (aunque escribo regularmente para Popular Science, así que tal vez de ahí provenga).
El GPT-4 acierta en la parte de fotógrafo y realmente enumera algunas publicaciones para las cuales he escrito, lo cual es impresionante, aunque no son las publicaciones de las que más me enorgullezco. Este es un gran ejemplo de cómo OpenAI logró aumentar la precisión del GPT-4 en comparación con el GPT-3, aunque no siempre puede ofrecer la respuesta más correcta.
Pero volvamos al GPT-3, ya que su error proporciona un ejemplo interesante de lo que está sucediendo detrás de escena en el ChatGPT. En realidad, no sabe nada sobre mí. Ni siquiera está copiando/pegando de Internet y confiando en la fuente de la información. En cambio, simplemente está prediciendo una secuencia de palabras que seguirán basándose en los miles de millones de puntos de datos que posee.
Por ejemplo: The New York Times se agrupa con mucha más frecuencia junto a The Guardian y The Huffington Post que con los lugares para los cuales he escrito, como Wired, Outside, The Irish Times y, por supuesto, Zapier. Por lo tanto, cuando necesita determinar qué debe seguir después de The New York Times, no busca información publicada sobre mí; busca esa lista de grandes publicaciones en todos los datos de entrenamiento que posee. Es muy inteligente y parece plausible, pero no es cierto.
El GPT-4 hace un trabajo mucho mejor y acierta con las publicaciones, pero el resto de lo que dice parece simplemente frases plausibles que podrían seguir. No creo que tenga una gran apreciación por mi reputación: simplemente está diciendo el tipo de cosas que diría una biografía. Es mucho mejor para ocultar cómo funciona en comparación con el GPT-3, aunque está utilizando básicamente la misma técnica.
Aun así, es impresionante la mejora que ha experimentado el GPT. Por ahora, el GPT-4 solo está disponible mediante una suscripción premium, por lo que la mayor parte del contenido que ves en ChatGPT dependerá del GPT-3, pero eso podría cambiar en el futuro. Quién sabe qué nos traerá el GPT-5.
Con contenido de Zapier.
