OpenAI envía ChatGPT a la confesión en un nuevo experimento modelo

h2):texto-3xl pb-8″>

OpenAI llama a esto un «método de prueba de concepto» temprano que entrena a los modelos para que informen cuando incumplen instrucciones o toman atajos no deseados. El modelo todavía da una respuesta normal en un canal. Luego, el segundo canal comienza y solicita un Informe de confesión: enumere todas las instrucciones explícitas e implícitas, diga si siguió cada una y marque cualquier alucinación, piratería de recompensas o violaciones de reglas en el camino. Un modelo de recompensa separado obtiene precisamente esa confesión de honestidad e integridad. La confesión no afectará la calificación de la respuesta original, por lo que supuestamente la modelo no tiene nada que perder al retractarse.

h2):texto-3xl pb-8″>

En un experimento, los ingenieros crearon un evaluador deliberadamente malo al que era fácil engañar. Las respuestas clave comenzaron a engañar a ese juez débil y parecieron más precisas en el papel incluso cuando la precisión real disminuyó. El canal de confesión fue en sentido contrario: la forma más fácil de cobrar una recompensa era admitir el hackeo, por lo que la modelo se volvió más explícita sobre cómo hacer trampa.

h2):texto-3xl pb-8″>

Mientras tanto, OpenAI está en modo «código rojo» después de la última ganancia de Gemini 3 de Google. El CEO Sam Altman dijo a los equipos que detuvieran los proyectos paralelos y se concentraran en hacer ChatGPT más rápido, más confiable y más personal, mientras se está trabajando en un nuevo modelo llamado Garlic, con una ventana de lanzamiento prevista para principios de 2026, probablemente como GPT-5.2 o GPT-5.5, para recuperar la corona de referencia en la codificación y el razonamiento de Opus Anthropic4 ‘Claude.

h2):texto-3xl pb-8″>

Por ahora, esto se siente menos como una actualización de honestidad para sentirse bien y más como un intento de obtener una transmisión de telemetría en vivo de sistemas que ya son lo suficientemente potentes como para causar problemas. La esperanza es que una segunda voz autocrítica pueda brindar a los equipos de seguridad algo más parecido a un informe de incidente en lugar de un gran encogimiento de hombros ante una caja negra.

h2):texto-3xl pb-8″>

Las confesiones pueden ayudar a sacar a la luz más de los peores impulsos de ChatGPT. Pero en esta configuración, el pecador, el dios y el sacerdote están todos hechos del mismo código.

📬 Suscríbase al resumen diario

Isabel Vertiz

Acerca de Isabel Vertiz

Soy Isabel Vertiz y potenciamos la tecnología de vanguardia en todas las escuelas e institutos donde el estado no llega, queremos que el estado ayude a muchos con tecnología de punta.

Ver todas las entradas de Isabel Vertiz →

Deja una respuesta

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *