Large Language Models (LLM)
La historia de ChatGPT comienza con los avances en modelos de lenguaje grande (LLM) de OpenAI, evolucionando desde GPT-1 en 2018 hasta GPT-3 en 2020, culminando con el lanzamiento público de ChatGPT el 30 de noviembre de 2022, un chatbot que utiliza el modelo GPT-3.5 y se basa en la arquitectura Transformador, convirtiéndose rápidamente en un fenómeno mundial por su capacidad de generar texto y conversaciones de manera natural. OpenAI cambió los procesos de empresas enteras hasta la forma en que se concebía la educación.
Los modelos de lenguaje de gran tamaño, también conocidos como LLM, son modelos de aprendizaje profundo muy grandes que se preentrenan con grandes cantidades de datos. El transformador subyacente es un conjunto de redes neuronales que consta de un codificador y un decodificador con capacidades de autoatención. El codificador y el decodificador extraen significados de una secuencia de texto y comprenden las relaciones entre las palabras y las frases que contiene.
Los transformadores LLM son capaces de entrenarse sin supervisión, aunque una explicación más precisa es que los transformadores llevan a cabo un autoaprendizaje. Es a través de este proceso que los transformadores aprenden a entender la gramática, los idiomas y los conocimientos básicos.
Los modelos de lenguaje de gran tamaño son increíblemente flexibles. Un modelo puede realizar tareas completamente diferentes, como responder preguntas, resumir documentos, traducir idiomas y completar oraciones. Los LLM tienen el potencial de alterar la creación de contenido y la forma en que las personas utilizan los motores de búsqueda y los asistentes virtuales.
Los LLM son grandes, muy grandes. Pueden considerar miles de millones de parámetros y tienen muchos usos posibles. A continuación, se indican varios ejemplos:
-
El modelo GPT-3 de OpenAI tiene 175 000 millones de parámetros. Su primo, ChatGPT, puede identificar patrones a partir de datos y generar resultados naturales y legibles. Si bien no sabemos el tamaño de Claude 2, puede aceptar entradas con hasta 100 000 tokens en cada indicación, lo que significa que puede funcionar en cientos de páginas de documentación técnica o, incluso, en un libro completo.
-
El modelo Jurassic-1 de AI21 Labs tiene 178 000 millones de parámetros y un vocabulario simbólico de partes de 250 000 palabras y capacidades de conversación similares.
-
El modelo Command de Cohere tiene capacidades similares y puede funcionar en más de 100 idiomas diferentes.
-
El Paradigm de LightOn ofrece modelos básicos con capacidades declaradas que superan las del GPT-3. Todos estos LLM vienen con las API que permiten a los desarrolladores crear aplicaciones únicas de IA generativa.
Vibe Coding y Assisted Development
El "Vibe coding" es un término despectivo utilizado para describir una persona que depende exclusivamente de las herramientas IA para desarrollar un producto de software. Fue acuñado por Andrej Karpathy en febrero del 2025, definiendo a una persona que crea software solo por "Las Vibras" que da una solución, dejando todo el desarrollo a las herramientas IA, quedando la persona relegada a un puesto de supervisor más que de creador. Normalmente es utilizado por personas que no tienen una formación adecuada en desarrollo de software y omiten las buenas prácticas necesarias para lograr un producto robusto y de calidad.
La contraparte de "Vibe Coding" sería "Assisted Development" (Desarrollo asistido) donde una persona utiliza las herramientas para mejorar sus procesos y entendimiento del proyecto. Tiene los conocimientos y habilidades necesarias para entregar un producto de calidad. El uso de las herramientas es bienvenido, pero no es limitante y pueden ser omitidas en su gran mayoría, es decir, la persona podría desarrollar el producto de software sin requerir obligatoriamente las IA.
Uso Ético
Entre los usos éticos de las herramientas LLM y GPT en desarrollo de software están:
-
Ayudar a crear documentación de funciones y del proyecto.
-
Ayudar a descubrir errores de lógica en el código.
-
Ayudar en refactorizar el código.
-
Ayudar a escribir pruebas de código.
-
Crear prototipos desechables para validar supuestos.