Stability AI швидко випустив модель тонкого налаштування Llama 2 FreeWilly, продуктивність якої порівнянна з ChatGPT! Користувачі мережі вигукували, що правила гри змінилися
Не минуло й двох днів після випуску Llama 2, як єдиноріг Stability AI швидко налаштував модель FreeWilly, яка, як кажуть, порівнянна за продуктивністю з ChatGPT.
Щойно Llama 2 від Meta була випущена, вона підірвала всю спільноту з відкритим кодом.
Як зазначив науковець OpenAI Karpathy, це надзвичайно важливий день для всієї галузі великих мовних моделей. З усіх моделей з відкритими вагами Llama 2 є найпотужнішою.
Відтоді розрив між великими моделями з відкритим вихідним кодом і великими моделями із закритим вихідним кодом буде ще більше скорочуватися, а можливість створювати великі моделі буде рівною для всіх розробників.
Щойно Stability AI і CarperAI Labs спільно випустили модель для тонкого налаштування на основі моделі LLaMA 2 70B - FreeWilly2.
І, заснований на доопрацюванні оригінальної моделі LLaMA 65B - FreeWilly1.
Варто зазначити, що модель навчена на новому синтетичному наборі даних на основі стандартного формату Alpaca та пройшла контрольоване тонке налаштування (SFT).
У різних порівняльних тестах FreeWilly2 продемонстрував чудові можливості міркування та навіть перевершив GPT-3.5 у деяких завданнях.
Адреса моделі:
Адреса моделі:
Обидві моделі є дослідницькими експериментами та випущені за некомерційною ліцензією.
Генерація та збір даних
Stability AI сказав, що навчання моделі FreeWilly безпосередньо надихнуло документ Microsoft «Orca: прогресивне навчання на основі комплексних пояснень GPT-4».
Однак, хоча процес створення даних подібний, джерела різні.
Папір посилання:
Варіант набору даних FreeWilly містить 600 000 точок даних (приблизно 10% розміру набору даних, використовуваного в оригінальному папері Orca), а модель завантажується за допомогою високоякісного набору даних інструкцій, створеного Енріко Шипполом:
COT Submix Original
NIV2 Submix Original
Оригінальний субмікс FLAN 2021
T0 Submix Original
Завдяки цьому підходу Stability AI створив 500 000 прикладів, використовуючи простішу модель LLM, і додаткові 100 000 прикладів, використовуючи більш складну модель LLM.
Для справедливого порівняння Stability AI ретельно перевірив ці набори даних і вилучив приклади, отримані з порівняльного тесту.
Хоча розмір навчальної вибірки становить лише одну десяту від початкового паперу Orca, отримана модель FreeWilly не тільки добре працює в різних порівняльних тестах, але також перевіряє можливість використання методу синтетичної генерації наборів даних.
Оцінка ефективності моделі
Що стосується оцінки продуктивності, дослідники Stability AI взяли lm--harness EleutherAI і додали AGI.
Судячи з результатів, FreeWilly досягає успіху в багатьох сферах, включаючи складне міркування, розуміння тонкощів мови та відповіді на складні запитання, пов’язані з професійними сферами (наприклад, вирішення юридичних і математичних задач).
По суті, FreeWilly 2 досягла рівня, порівнянного з ChatGPT, і навіть перевершила його в деяких оцінках.
Тест GPT4ALL (0-постріл):
Оцінка AGI (0-постріл):
Крім того, команда з Hugging Face також самостійно відтворила експеримент 21 липня.
Видно, що в таблиці лідерів Open LLM FreeWilly 2 посідає перше місце з абсолютним лідерством, а середній бал на 4 відсоткові пункти вище, ніж у оригінальної версії Llama 2.
За відкрите майбутнє
Можна сказати, що FreeWilly1 і FreeWilly2 встановили новий стандарт для великих мовних моделей з відкритим кодом.
Запровадження цих двох моделей не лише значно просунуло дослідження у суміжних галузях, покращило здатність розуміння природної мови, але й підтримало виконання складних завдань.
Стабільність AI сказала, що команда дуже схвильована нескінченними можливостями, які ці моделі можуть принести спільноті ШІ, і з нетерпінням чекає на нові програми, які вони надихнуть.
Крім того, щиро дякуємо пристрасній команді дослідників, інженерів і партнерів, чиї надзвичайні зусилля та самовідданість дозволили Stability AI досягти цієї важливої віхи.
ЗАХОПЛЮЮЧИЙ ЧАС
Після випуску моделі користувач мережі «Філ Хоуз» використав фреймворк Llama v2 Тухіна Шрівастави, щоб завершити впровадження FreeWilly 2 менш ніж за хвилину.
Після 275 ГБ вагового завантаження модель працює зі швидкістю 23 токени/с.
Крім того, деякі користувачі мережі вигукували: модель, запущену спільно Stability AI і CarperAI, можна назвати кардинальною!
FreeWilly1 і FreeWilly2 мають велике інноваційне значення з точки зору відкритого вихідного коду та продуктивності, а коло ШІ відкриває захоплюючий момент.
Література:
Переглянути оригінал
Контент має виключно довідковий характер і не є запрошенням до участі або пропозицією. Інвестиційні, податкові чи юридичні консультації не надаються. Перегляньте Відмову від відповідальності , щоб дізнатися більше про ризики.
Stability AI швидко випустив модель тонкого налаштування Llama 2 FreeWilly, продуктивність якої порівнянна з ChatGPT! Користувачі мережі вигукували, що правила гри змінилися
Джерело: Xinzhiyuan
Щойно Llama 2 від Meta була випущена, вона підірвала всю спільноту з відкритим кодом.
Як зазначив науковець OpenAI Karpathy, це надзвичайно важливий день для всієї галузі великих мовних моделей. З усіх моделей з відкритими вагами Llama 2 є найпотужнішою.
Відтоді розрив між великими моделями з відкритим вихідним кодом і великими моделями із закритим вихідним кодом буде ще більше скорочуватися, а можливість створювати великі моделі буде рівною для всіх розробників.
Щойно Stability AI і CarperAI Labs спільно випустили модель для тонкого налаштування на основі моделі LLaMA 2 70B - FreeWilly2.
І, заснований на доопрацюванні оригінальної моделі LLaMA 65B - FreeWilly1.
У різних порівняльних тестах FreeWilly2 продемонстрував чудові можливості міркування та навіть перевершив GPT-3.5 у деяких завданнях.
Обидві моделі є дослідницькими експериментами та випущені за некомерційною ліцензією.
Генерація та збір даних
Stability AI сказав, що навчання моделі FreeWilly безпосередньо надихнуло документ Microsoft «Orca: прогресивне навчання на основі комплексних пояснень GPT-4».
Однак, хоча процес створення даних подібний, джерела різні.
Варіант набору даних FreeWilly містить 600 000 точок даних (приблизно 10% розміру набору даних, використовуваного в оригінальному папері Orca), а модель завантажується за допомогою високоякісного набору даних інструкцій, створеного Енріко Шипполом:
COT Submix Original
NIV2 Submix Original
Оригінальний субмікс FLAN 2021
T0 Submix Original
Завдяки цьому підходу Stability AI створив 500 000 прикладів, використовуючи простішу модель LLM, і додаткові 100 000 прикладів, використовуючи більш складну модель LLM.
Хоча розмір навчальної вибірки становить лише одну десяту від початкового паперу Orca, отримана модель FreeWilly не тільки добре працює в різних порівняльних тестах, але також перевіряє можливість використання методу синтетичної генерації наборів даних.
Оцінка ефективності моделі
Що стосується оцінки продуктивності, дослідники Stability AI взяли lm--harness EleutherAI і додали AGI.
Судячи з результатів, FreeWilly досягає успіху в багатьох сферах, включаючи складне міркування, розуміння тонкощів мови та відповіді на складні запитання, пов’язані з професійними сферами (наприклад, вирішення юридичних і математичних задач).
По суті, FreeWilly 2 досягла рівня, порівнянного з ChatGPT, і навіть перевершила його в деяких оцінках.
Видно, що в таблиці лідерів Open LLM FreeWilly 2 посідає перше місце з абсолютним лідерством, а середній бал на 4 відсоткові пункти вище, ніж у оригінальної версії Llama 2.
За відкрите майбутнє
Можна сказати, що FreeWilly1 і FreeWilly2 встановили новий стандарт для великих мовних моделей з відкритим кодом.
Запровадження цих двох моделей не лише значно просунуло дослідження у суміжних галузях, покращило здатність розуміння природної мови, але й підтримало виконання складних завдань.
Стабільність AI сказала, що команда дуже схвильована нескінченними можливостями, які ці моделі можуть принести спільноті ШІ, і з нетерпінням чекає на нові програми, які вони надихнуть.
Крім того, щиро дякуємо пристрасній команді дослідників, інженерів і партнерів, чиї надзвичайні зусилля та самовідданість дозволили Stability AI досягти цієї важливої віхи.
ЗАХОПЛЮЮЧИЙ ЧАС
Після випуску моделі користувач мережі «Філ Хоуз» використав фреймворк Llama v2 Тухіна Шрівастави, щоб завершити впровадження FreeWilly 2 менш ніж за хвилину.
Після 275 ГБ вагового завантаження модель працює зі швидкістю 23 токени/с.