MaquinarIA pesada

M1.3 · RNN: por qué la memoria de la IA tiene límites y cuándo importa

Reproducir episodio Pausar episodio

1x

00:00 / 00:13:02

Feed RSS

Compartir

Enlace

Incrustar

<blockquote class="wp-embedded-content" data-secret="pDLwANaYSl"><a href="https://maquinariapesadapodcast.es/podcast/m1-3-rnn-memoria-ia/">M1.3 · RNN: por qué la memoria de la IA tiene límites y cuándo importa</a></blockquote><iframe sandbox="allow-scripts" security="restricted" src="https://maquinariapesadapodcast.es/podcast/m1-3-rnn-memoria-ia/embed/#?secret=pDLwANaYSl" width="500" height="350" title="«M1.3 · RNN: por qué la memoria de la IA tiene límites y cuándo importa» — maquinariapesada" data-secret="pDLwANaYSl" frameborder="0" marginwidth="0" marginheight="0" scrolling="no" class="wp-embedded-content"></iframe><script> /*! This file is auto-generated */ !function(d,l){"use strict";l.querySelector&&d.addEventListener&&"undefined"!=typeof URL&&(d.wp=d.wp||{},d.wp.receiveEmbedMessage||(d.wp.receiveEmbedMessage=function(e){var t=e.data;if((t||t.secret||t.message||t.value)&&!/[^a-zA-Z0-9]/.test(t.secret)){for(var s,r,n,a=l.querySelectorAll('iframe[data-secret="'+t.secret+'"]'),o=l.querySelectorAll('blockquote[data-secret="'+t.secret+'"]'),c=new RegExp("^https?:$","i"),i=0;i<o.length;i++)o[i].style.display="none";for(i=0;i<a.length;i++)s=a[i],e.source===s.contentWindow&&(s.removeAttribute("style"),"height"===t.message?(1e3<(r=parseInt(t.value,10))?r=1e3:~~r<200&&(r=200),s.height=r):"link"===t.message&&(r=new URL(s.getAttribute("src")),n=new URL(t.value),c.test(n.protocol))&&n.host===r.host&&l.activeElement===s&&(d.top.location.href=t.value))}},d.addEventListener("message",d.wp.receiveEmbedMessage,!1),l.addEventListener("DOMContentLoaded",function(){for(var e,t,s=l.querySelectorAll("iframe.wp-embedded-content"),r=0;r<s.length;r++)(t=(e=s[r]).getAttribute("data-secret"))||(t=Math.random().toString(36).substring(2,12),e.src+="#?secret="+t,e.setAttribute("data-secret",t)),e.contentWindow.postMessage({message:"ready",secret:t},"*")},!1)))}(window,document); //# sourceURL=https://maquinariapesadapodcast.es/wp-includes/js/wp-embed.min.js </script>

Imagina que tienes que leer cien palabras, recordar cuál fue la tercera y usarla para decidir qué viene después de la centésima. Eso es lo que los modelos de lenguaje necesitan hacer. Durante años, la arquitectura que intentó resolverlo se llamó RNN.

En este episodio analizamos cómo funcionan las redes neuronales recurrentes, qué es el vanishing gradient y por qué provoca fallos específicos en secuencias largas, y cuándo tiene sentido usar una RNN hoy. Con el caso real de Google GNMT y cómo redujo los errores de traducción en un sesenta por ciento antes de que los transformers lo superaran.

Código interno: M1_T3_mini Serie: MaquinarIA Pesada Módulo 1 · Arquitecturas y paradigmas de IA