Guía: ¿Qué tan lejos estamos de "Machina"? Un ex investigador de OpenAI permite que la IA clone pensamientos, imite el pensamiento humano y actúe mientras piensa.
¿Qué pasará cuando la IA tenga conciencia autónoma?
En "Machina", Ava usa la simpatía humana para inducir a los seres humanos a ser libres mediante el engaño y finalmente mata a su "creador" Nathan.
Recientemente, por recomendación de muchos internautas, Sam Altman finalmente vio esta película.
Y dijo: "Es una buena película, pero no entiendo por qué todos me obligan a verla".
Mucha gente puede querer advertir que este es el resultado de hacer consciente la inteligencia artificial y pasar la prueba de Turing.
Pero todavía estamos lejos de la escena en la que se lanzó "Ex Machina". GPT-5 puede estar en investigación y desarrollo secretos, y hacer que la IA sea inteligente sigue siendo lo que los científicos más quieren hacer con sus esfuerzos prehistóricos.
No, dos investigadores de la Universidad de Columbia Británica descubrieron que hay muchas ventajas en que los agentes puedan pensar como humanos.
En su último artículo, estudian la "clonación de pensamientos" (TC) de agentes.
Dirección en papel:
Aquí, la inteligencia artificial aprende a "pensar" y "actuar" como humanos imitando a los humanos.
Cuando la IA tiene pensamientos
Sepa que el lenguaje es lo que diferencia a los humanos de otros seres vivos.
Por lo tanto, los investigadores imaginan que si los agentes pudieran entender el lenguaje, habría muchos beneficios.
Por ejemplo, ayudar a los humanos a generalizar, inferir, adaptarse a nuevas situaciones, combinar el conocimiento existente de nuevas maneras, explorar, planificar y volver a planificar cuando sea necesario.
A pesar de estos beneficios, los agentes de IA rara vez piensan, al menos no en lenguaje humano.
Si bien las redes neuronales pueden considerarse como activaciones de vectores internos del pensamiento, muchos plantean la hipótesis de que existen beneficios específicos para pensar en lenguajes simbólicos discretos.
Esto significa que un agente que puede pensar en lenguaje puede aprender más rápido, desempeñarse mejor y generalizar mejor que un agente que no usa lenguaje.
Por todas estas razones, mejorar la capacidad de los agentes de IA para pensar en lenguaje podría generar muchas ventajas significativas.
Jeff Clune y Shengran Hu creen que la forma más efectiva de lograr este objetivo es "hacer que la IA imite el pensamiento humano".
Descubrieron que los humanos no adquieren habilidades de pensamiento de forma aislada, sino que aprenden en parte a través de la demostración de otros y la retroalimentación de los maestros.
Un enfoque efectivo, por lo tanto, es que el agente aprenda de las demostraciones de humanos que expresan sus pensamientos mientras actúan.
Este enfoque difiere del trabajo existente sobre planificación con LLM preentrenados porque estos LLM no han sido entrenados en datos de humanos que expresan sus pensamientos mientras actúan, es decir, "datos de pensamiento".
En cuanto a la fuente de los "datos de pensamiento", los investigadores seleccionaron videos de YouTube y grabaciones de texto, algunos millones de horas, que contenían los pensamientos detrás de las acciones, planes, decisiones y reprogramaciones de las personas.
En el artículo, los investigadores propusieron un nuevo marco de aprendizaje por imitación llamado "clonación de pensamientos". Entre ellos, el agente no solo aprende conductas de demostración humana, como la clonación de conductas, sino que también aprende la forma de pensar mientras los seres humanos actúan.
En el marco de entrenamiento de clonación de pensamientos, el agente aprende a generar pensamientos en cada paso de tiempo y, posteriormente, ajusta las acciones en función de estos pensamientos.
El marco general Como se muestra en la figura, el agente TC es una arquitectura de dos capas: componentes superior e inferior.
En cada paso de tiempo, el agente recibe como entrada una observación, una tarea y un historial de pensamiento. Los componentes de nivel superior son responsables de la generación de ideas y los componentes de nivel inferior generan acciones basadas en estas ideas.
Luego, los pensamientos y acciones generados se comparan con la realidad del terreno en el conjunto de datos de demostración para calcular la pérdida.
Si bien puede haber diferentes opciones para las condiciones de los componentes superior e inferior, en este trabajo, para una trayectoria específica de longitud t en el conjunto de datos mentales, los investigadores minimizaron:
Para escenarios más complejos o de gran escala, los componentes de la capa superior se pueden implementar mediante un modelo de lenguaje visual (VLM) preentrenado, o un ajuste fino de disparo cero.
Mientras que los componentes inferiores pueden entrenarse desde cero o adaptarse a partir de controladores condicionales lingüísticos existentes en el dominio de destino.
En el documento, los investigadores realizaron una investigación basada en dos componentes de la arquitectura del modelo BabyAI 1.1.
El modelo aprovecha la arquitectura LSTM mejorada con memoria para abordar parte de los desafíos de observabilidad. Además, emplea FiLM para la fusión de modalidades, combinando efectivamente entradas visuales y textuales.
Aquí, el autor enfatiza que todos los modelos en este artículo están entrenados desde cero, pero es mejor usar modelos pre-entrenados en campos complejos.
La siguiente imagen es un ejemplo del entorno BabyAI. La imagen de la izquierda contiene elementos de varios colores (pelotas, llaves, cajas, puertas).
El agente puede recoger, dejar, mover objetos o abrir y cerrar puertas, mientras que las puertas cerradas solo se pueden abrir con llaves del mismo color.
El agente puede ver las celdas de cuadrícula de 7×7 frente a él, que están bloqueadas por paredes y puertas cerradas.
La tarea del agente de "clonación de mentes" es llegar al cuadro morado (resaltado) y comenzar a planificar la ruta.
Pero cuando abre la puerta azul, listo para completar la tarea, encuentra una bola morada bloqueando el camino. Luego, se vuelve a planificar el agente de clonación mental.
A partir de esto, se puede ver que los pensamientos y acciones del agente indican que cuando encuentra un obstáculo, primero lo elimina y vuelve a planificar la ruta antes de continuar con el objetivo anterior.
Este proceso es especialmente parecido a cómo Ava planea paso a paso, para que los seres humanos finalmente crean y se ayuden a sí mismos, y escapen de la jaula de cristal que ha estado encarcelada durante mucho tiempo.
Resultados experimentales
Los hallazgos sugieren que la "clonación del pensamiento" es superior a la clonación del comportamiento.
Además, en las configuraciones de disparo cero y ajuste fino, la clonación de la mente supera a la clonación del comportamiento en tareas fuera de distribución.
Curiosamente, los investigadores también desarrollaron "intervenciones previas al delito" que permiten a los usuarios definir comportamientos inseguros después de que el modelo haya sido entrenado.
Cuando se detectan pensamientos peligrosos, el agente puede ser eliminado. En las pruebas, la Intervención Precriminal funcionó casi a la perfección, mostrando su potencial para la seguridad de la IA.
La "clonación mental" no solo hace que la inteligencia artificial sea más inteligente, sino también más segura y fácil de entender.
Es decir, antes de que la IA cometa un delito, todavía se puede salvar todo.
En opinión de Jeff Clune, la "clonación de pensamientos" contribuye a la seguridad de la inteligencia artificial.
Porque podemos observar la mente del agente: (1) podemos diagnosticar más fácilmente por qué las cosas van mal, (2) guiar al agente corrigiendo su mente, (3) o evitar que haga el asunto inseguro planeado.
Sobre el Autor
Jeff Clune
Actualmente, Jeff Clune es profesor asociado de Ciencias de la Computación en la Universidad de Columbia Británica. Su investigación se centra en el aprendizaje profundo, incluido el aprendizaje por refuerzo profundo.
Anteriormente, también fue jefe del equipo de investigación de OpenAI, gerente senior de investigación y miembro fundador del Laboratorio de Inteligencia Artificial de Uber.
Anteriormente, él y el equipo de OpenAI lanzaron un modelo de preentrenamiento en video: VPT, que permite a la IA aprender picos de piedra a partir de datos de video en Minecraft.
Shengran Hu
Actualmente estudiante de doctorado en la Universidad de British Columbia, interesado en aprendizaje profundo, algoritmos generativos de inteligencia artificial.
Referencias:
Ver originales
El contenido es solo de referencia, no una solicitud u oferta. No se proporciona asesoramiento fiscal, legal ni de inversión. Consulte el Descargo de responsabilidad para obtener más información sobre los riesgos.
¡Clonación mental! El ex investigador de OpenAI permite que la IA imite el pensamiento humano, y llega la versión real de "Maquinaria"
**Fuente:**Xinzhiyuan
Guía: ¿Qué tan lejos estamos de "Machina"? Un ex investigador de OpenAI permite que la IA clone pensamientos, imite el pensamiento humano y actúe mientras piensa.
¿Qué pasará cuando la IA tenga conciencia autónoma?
En "Machina", Ava usa la simpatía humana para inducir a los seres humanos a ser libres mediante el engaño y finalmente mata a su "creador" Nathan.
Y dijo: "Es una buena película, pero no entiendo por qué todos me obligan a verla".
Pero todavía estamos lejos de la escena en la que se lanzó "Ex Machina". GPT-5 puede estar en investigación y desarrollo secretos, y hacer que la IA sea inteligente sigue siendo lo que los científicos más quieren hacer con sus esfuerzos prehistóricos.
En su último artículo, estudian la "clonación de pensamientos" (TC) de agentes.
Aquí, la inteligencia artificial aprende a "pensar" y "actuar" como humanos imitando a los humanos.
Cuando la IA tiene pensamientos
Sepa que el lenguaje es lo que diferencia a los humanos de otros seres vivos.
Por lo tanto, los investigadores imaginan que si los agentes pudieran entender el lenguaje, habría muchos beneficios.
A pesar de estos beneficios, los agentes de IA rara vez piensan, al menos no en lenguaje humano.
Si bien las redes neuronales pueden considerarse como activaciones de vectores internos del pensamiento, muchos plantean la hipótesis de que existen beneficios específicos para pensar en lenguajes simbólicos discretos.
Esto significa que un agente que puede pensar en lenguaje puede aprender más rápido, desempeñarse mejor y generalizar mejor que un agente que no usa lenguaje.
Jeff Clune y Shengran Hu creen que la forma más efectiva de lograr este objetivo es "hacer que la IA imite el pensamiento humano".
Un enfoque efectivo, por lo tanto, es que el agente aprenda de las demostraciones de humanos que expresan sus pensamientos mientras actúan.
Este enfoque difiere del trabajo existente sobre planificación con LLM preentrenados porque estos LLM no han sido entrenados en datos de humanos que expresan sus pensamientos mientras actúan, es decir, "datos de pensamiento".
En cuanto a la fuente de los "datos de pensamiento", los investigadores seleccionaron videos de YouTube y grabaciones de texto, algunos millones de horas, que contenían los pensamientos detrás de las acciones, planes, decisiones y reprogramaciones de las personas.
En el artículo, los investigadores propusieron un nuevo marco de aprendizaje por imitación llamado "clonación de pensamientos". Entre ellos, el agente no solo aprende conductas de demostración humana, como la clonación de conductas, sino que también aprende la forma de pensar mientras los seres humanos actúan.
En el marco de entrenamiento de clonación de pensamientos, el agente aprende a generar pensamientos en cada paso de tiempo y, posteriormente, ajusta las acciones en función de estos pensamientos.
En cada paso de tiempo, el agente recibe como entrada una observación, una tarea y un historial de pensamiento. Los componentes de nivel superior son responsables de la generación de ideas y los componentes de nivel inferior generan acciones basadas en estas ideas.
Luego, los pensamientos y acciones generados se comparan con la realidad del terreno en el conjunto de datos de demostración para calcular la pérdida.
Si bien puede haber diferentes opciones para las condiciones de los componentes superior e inferior, en este trabajo, para una trayectoria específica de longitud t en el conjunto de datos mentales, los investigadores minimizaron:
Mientras que los componentes inferiores pueden entrenarse desde cero o adaptarse a partir de controladores condicionales lingüísticos existentes en el dominio de destino.
En el documento, los investigadores realizaron una investigación basada en dos componentes de la arquitectura del modelo BabyAI 1.1.
El modelo aprovecha la arquitectura LSTM mejorada con memoria para abordar parte de los desafíos de observabilidad. Además, emplea FiLM para la fusión de modalidades, combinando efectivamente entradas visuales y textuales.
Aquí, el autor enfatiza que todos los modelos en este artículo están entrenados desde cero, pero es mejor usar modelos pre-entrenados en campos complejos.
La siguiente imagen es un ejemplo del entorno BabyAI. La imagen de la izquierda contiene elementos de varios colores (pelotas, llaves, cajas, puertas).
El agente puede ver las celdas de cuadrícula de 7×7 frente a él, que están bloqueadas por paredes y puertas cerradas.
La tarea del agente de "clonación de mentes" es llegar al cuadro morado (resaltado) y comenzar a planificar la ruta.
Este proceso es especialmente parecido a cómo Ava planea paso a paso, para que los seres humanos finalmente crean y se ayuden a sí mismos, y escapen de la jaula de cristal que ha estado encarcelada durante mucho tiempo.
Resultados experimentales
Los hallazgos sugieren que la "clonación del pensamiento" es superior a la clonación del comportamiento.
Además, en las configuraciones de disparo cero y ajuste fino, la clonación de la mente supera a la clonación del comportamiento en tareas fuera de distribución.
Cuando se detectan pensamientos peligrosos, el agente puede ser eliminado. En las pruebas, la Intervención Precriminal funcionó casi a la perfección, mostrando su potencial para la seguridad de la IA.
La "clonación mental" no solo hace que la inteligencia artificial sea más inteligente, sino también más segura y fácil de entender.
Porque podemos observar la mente del agente: (1) podemos diagnosticar más fácilmente por qué las cosas van mal, (2) guiar al agente corrigiendo su mente, (3) o evitar que haga el asunto inseguro planeado.
Sobre el Autor
Jeff Clune
Actualmente, Jeff Clune es profesor asociado de Ciencias de la Computación en la Universidad de Columbia Británica. Su investigación se centra en el aprendizaje profundo, incluido el aprendizaje por refuerzo profundo.
Anteriormente, también fue jefe del equipo de investigación de OpenAI, gerente senior de investigación y miembro fundador del Laboratorio de Inteligencia Artificial de Uber.
Actualmente estudiante de doctorado en la Universidad de British Columbia, interesado en aprendizaje profundo, algoritmos generativos de inteligencia artificial.