Клонування розуму! Колишній дослідник OpenAI дозволяє ШІ імітувати людське мислення, і з’являється справжня версія «Machinery»

**Джерело:**Xinzhiyuan

Гід: Як далеко ми від «Машини»? Колишній дослідник OpenAI дозволяє ШІ клонувати думки, імітувати людське мислення та діяти, думаючи.

Що станеться, коли ШІ матиме автономну свідомість?

У «Machina» Ава використовує людське співчуття, щоб спонукати людей бути вільними шляхом обману, і нарешті вбиває свого «творця» Натана.

Нещодавно за рекомендацією багатьох користувачів мережі Сем Альтман нарешті подивився цей фільм.

І сказав: «Це хороший фільм, але я не розумію, чому всі змушують мене його дивитися».

Багато людей можуть попередити, що це результат усвідомлення штучного інтелекту та проходження тесту Тюрінга.

Але ми все ще далекі від сцени «Ex Machina». GPT-5 може перебувати в стадії секретних досліджень і розробок, а зробити ШІ інтелектуальним — це все ще те, що вчені найбільше хочуть зробити своїми доісторичними зусиллями.

Ні, двоє дослідників з Університету Британської Колумбії виявили, що існує багато переваг агентів, здатних мислити як люди.

У своїй останній статті вони вивчають «клонування думки» (TC) агентів.

Адреса паперу:

Тут штучний інтелект вчиться «думати» і «діяти» як люди, наслідуючи людей.

Коли ШІ має думки

Знайте, що мова – це те, що відрізняє людину від інших живих істот.

Тому дослідники вважають, що якби агенти могли розуміти мову, було б багато переваг.

Наприклад, допомога людям узагальнювати, робити висновки, адаптуватися до нових ситуацій, поєднувати наявні знання по-новому, досліджувати, планувати та переплановувати, коли це необхідно.

Незважаючи на ці переваги, агенти ШІ рідко думають, принаймні не людською мовою.

Хоча нейронні мережі можна розглядати як внутрішні вектори активації мислення, багато хто припускає, що існують певні переваги мислення на дискретних, символічних мовах.

Це означає, що агент, який може мислити мовою, може навчатися швидше, працювати краще та краще узагальнювати, ніж агент, який не використовує мову.

З усіх цих причин підвищення здатності агентів ШІ мислити мовою може дати багато значних переваг.

Джефф Клюн і Шенгран Ху вважають, що найефективніший спосіб досягти цієї мети — «змусити ШІ імітувати людське мислення».

Вони виявили, що люди не набувають навичок мислення окремо, а натомість навчаються частково через демонстрацію іншими та відгуки вчителів.

Таким чином, ефективний підхід полягає в тому, щоб агент навчався на демонстраціях того, як люди висловлюють свої думки під час своїх дій.

Цей підхід відрізняється від існуючої роботи з планування з попередньо підготовленими LLM, оскільки ці LLM не були навчені на даних про те, як люди висловлюють свої думки, коли вони діють, тобто на «даних думки».

Що стосується джерела «даних думок», дослідники вибрали відео та текстові записи YouTube, які містять мільйони годин, які містять думки, що стоять за діями, планами, рішеннями та перепрограмуванням людей.

У статті дослідники запропонували нову структуру навчання імітації «клонування думки». Серед них агент не лише навчається демонстраційній поведінці людини, наприклад клонуванню поведінки, але й вивчає спосіб мислення, коли люди діють.

У рамках навчання клонування думок агент вчиться генерувати думки на кожному кроці часу, а потім коригує дії на основі цих думок.

Загальна структура Як показано на малюнку, агент TC має дворівневу архітектуру: верхній і нижній компоненти.

На кожному кроці часу агент отримує як вхідні дані спостереження, завдання та історію думок. Компоненти верхнього рівня відповідають за генерацію ідей, а компоненти нижнього рівня генерують дії на основі цих ідей.

Потім створені думки та дії порівнюються з основною правдою в демонстраційному наборі даних, щоб обчислити втрати.

Хоча можуть бути різні варіанти для умов верхнього та нижнього компонентів, у цій роботі для певної траєкторії довжини t у наборі даних розуму дослідники мінімізували:

Для більш складних або великомасштабних сценаріїв компоненти верхнього рівня можна реалізувати за допомогою попередньо навченої моделі візуальної мови (VLM) або нульового сценарію, точно налаштованого.

Тоді як нижчі компоненти можна навчити з нуля або адаптувати з існуючих лінгвістичних умовних контролерів у цільовому домені.

У статті дослідники провели дослідження на основі двох компонентів архітектури моделі BabyAI 1.1.

Модель використовує архітектуру LSTM з розширеною пам’яттю для вирішення частини проблем спостережуваності. Крім того, він використовує FiLM для злиття модальності, ефективно поєднуючи візуальні та текстові введення.

Тут автор підкреслює, що всі моделі в цій статті навчені з нуля, але краще використовувати попередньо навчені моделі в складних областях.

На малюнку нижче наведено приклад середовища BabyAI.Лівий малюнок містить предмети різного кольору (м’ячі, ключі, ящики, двері).

Агент може піднімати, класти, пересувати предмети або відкривати та закривати двері, тоді як замкнені двері можна відкрити лише ключами відповідного кольору.

Агент бачить перед собою осередки сітки 7×7, які заблоковані стінами та закритими дверима.

Завдання агента «клонування розуму» — дістатися до фіолетового ящика (виділено) і почати планувати маршрут.

Але коли він відкриває сині двері, готовий виконати завдання, він знаходить фіолетову кулю, що загороджує шлях. Потім агент клонування розуму планується заново.

Звідси видно, що думки та дії агента вказують на те, що коли він стикається з перешкодою, він спочатку усуває її та заново планує маршрут, перш ніж продовжити з попередньою метою.

Цей процес особливо схожий на те, як Ава планує крок за кроком, щоб люди нарешті повірили в себе, допомогли собі та втекли зі скляної клітки, яка була ув’язнена протягом тривалого часу.

Експериментальні результати

Отримані дані свідчать про те, що «клонування думки» перевершує клонування поведінки.

Крім того, у налаштуваннях нульового вистрілу та точного налаштування клонування розуму перевершує клонування поведінки в завданнях поза розповсюдженням.

Цікаво, що дослідники також розробили «попереднє втручання», яке дозволяє користувачам визначати небезпечну поведінку після навчання моделі.

При виявленні небезпечних думок агента можна припинити. Під час тестування Precriminal Intervention працював майже бездоганно, демонструючи свій потенціал безпеки ШІ.

«Клонування розуму» не тільки робить штучний інтелект розумнішим, але й безпечнішим і легшим для розуміння.

Тобто до того, як штучний інтелект вчинить злочин, все ще можна врятувати.

На думку Джеффа Клюна, «клонування думки» сприяє безпеці штучного інтелекту.

Тому що ми можемо спостерігати за розумом агента: (1) можемо легше діагностувати, чому все йде не так, (2) спрямовувати агента, виправляючи його розум, (3) або не дати йому зробити заплановану небезпечну справу.

Про автора

Джефф Клюн

Зараз Джефф Клюн є доцентом комп’ютерних наук в Університеті Британської Колумбії. Його дослідження зосереджені на глибокому навчанні, включаючи глибоке навчання з підкріпленням.

Раніше він також був головою дослідницької групи OpenAI, а також старшим менеджером з досліджень і членом-засновником лабораторії штучного інтелекту Uber.

Раніше він і команда OpenAI випустили модель попереднього відеонавчання - VPT, що дозволяє ШІ вивчати кам'яні кирки з відеоданих у Minecraft.

Шенгран Ху

Наразі аспірант Університету Британської Колумбії, цікавиться глибоким навчанням, генеративними алгоритмами штучного інтелекту.

Література: