Los usuarios dicen que Géminis comienza a olvidar mucho antes de lo que debería

Google tiene varios planes de IA pagos, que ofrecen mayores límites de uso de Gemini, acceso a modelos más avanzados y almacenamiento en la nube. Los planes Pro y Ultra también ofrecen una ventana de contexto de token ampliada (o una «memoria» más larga). Sin embargo, algunos usuarios han destacado la enorme brecha entre las afirmaciones de Google y la ventana de contexto real de Gemini.

Google dice en sus materiales promocionales que el plan Gemini en Pro y Ultra ofrece una ventana de contexto ampliada de hasta un millón de tokens. La compañía dice que esto significa que puede procesar hasta 1.500 páginas de texto o 30.000 líneas de código. Vea la captura de pantalla a continuación.

Ahora, el usuario X @Soso_fun_yt afirma que esta ventana contextual confunde a los usuarios del chat:

Aunque el backend logró ingerir el archivo estático grande inicialmente en el primer comando, la memoria de conversación activa (ventana de contexto dinámico/caché KV para chat) pareció sufrir un cuello de botella grave, cayendo significativamente al límite de 16k~. (O un promedio de 25 a 30 mensajes)

Como resultado, el modelo experimenta rápidamente amnesia dentro de la misma sesión de chat, olvidándose por completo de instrucciones, bloques de código o restricciones anteriores.

En otras palabras, el servidor Gemini puede manejar hasta un millón de tokens de contexto, pero el chatbot no puede analizarlos por usted en una sesión sin comenzar a olvidar partes de conversaciones anteriores. Los Redditors también plantearon este problema el mes pasado, aunque algunos usuarios notaron que la plataforma AI Studio ofrecía la ventana de contexto correcta.

Entonces, ¿Google está engañando a los usuarios con esta afirmación? Parece que la empresa podría ser más transparente sobre las diferencias entre la ventana de contexto general del modelo y la ventana de contexto de chat. Esto es como si su ISP ofreciera líneas de 1 Gbps en su sitio web, pero no revelara claramente velocidades de carga de 50 Mbps.

Google ofrece detalles sobre tokens de entrada y salida en su sitio web de soporte para desarrolladores. El sitio informa que muchos modelos ganan alrededor de 65.000 tokens. Sin embargo, no está claro si estos números sólo se aplican a los desarrolladores o también se aplican al chat de Gemini.

Le preguntamos a Google sobre las diferencias entre las ventanas de contexto de token y las ventanas de chat. También preguntamos a la empresa si planeaban ofrecer información más clara sobre el contexto de la ventana de chat. Actualizaremos nuestro artículo tan pronto como la empresa tenga una respuesta para nosotros.