Stability AI быстро выпустил модель FreeWilly для тонкой настройки Llama 2, производительность которой сравнима с ChatGPT! Пользователи сети воскликнули, что правила игры изменились
Не прошло и двух дней после выпуска Llama 2, как единорог Stability AI быстро настроил модель FreeWilly, которая, как говорят, по производительности сравнима с ChatGPT.
Как только была выпущена Meta's Llama 2, она взорвала все сообщество открытого исходного кода.
Как сказал ученый OpenAI Карпати, это чрезвычайно важный день для всей области больших языковых моделей. Из всех моделей с открытыми весами Лама 2 самая мощная.
С этого момента разрыв между большими моделями с открытым исходным кодом и большими моделями с закрытым исходным кодом будет еще больше сокращаться, и возможность создавать большие модели будет равна для всех разработчиков.
Только что Stability AI и CarperAI Labs совместно выпустили модель для тонкой настройки на базе модели LLaMA 2 70B — FreeWilly2.
И, на основе доводки оригинальной модели LLaMA 65B - FreeWilly1.
Стоит отметить, что модель обучена на новом синтетическом наборе данных на основе стандартного формата Alpaca и прошла контролируемую тонкую настройку (SFT).
В различных тестах производительности FreeWilly2 продемонстрировал отличные способности к рассуждениям, а в некоторых задачах даже превзошел GPT-3.5.
Адрес модели:
Адрес модели:
Обе модели являются исследовательскими экспериментами и выпущены под некоммерческой лицензией.
Генерация и сбор данных
Стабильность AI сказал, что обучение модели FreeWilly было непосредственно вдохновлено документом Microsoft «Orca: Progressive Learning from Complex Explanation Traces of GPT-4».
Однако, хотя процесс генерации данных похож, источники разные.
Ссылка на бумагу:
Вариант набора данных FreeWilly содержит 600 000 точек данных (примерно 10% от размера набора данных, используемого в исходной статье Orca), и модель загружается с использованием высококачественного набора данных инструкций, созданного Энрико Шипполом:
СОТ Субмикс Оригинал
Оригинальный сабмикс NIV2
FLAN 2021 Субмикс Оригинал
Оригинальный сабмикс T0
При таком подходе Stability AI сгенерировал 500 000 примеров с использованием более простой модели LLM и еще 100 000 примеров с использованием более сложной модели LLM.
Для объективного сравнения Stability AI тщательно проверил эти наборы данных и удалил примеры, полученные из оценочного теста.
Хотя размер обучающей выборки составляет всего одну десятую от исходной статьи Orca, получившаяся модель FreeWilly не только хорошо работает в различных тестах производительности, но и подтверждает возможность применения метода синтетического генерирования наборов данных.
Оценка производительности модели
Что касается оценки производительности, исследователи Stability AI переняли lm--harness от EleutherAI и добавили AGI.
Судя по результатам, FreeWilly преуспевает во многих областях, включая сложные рассуждения, понимание тонкостей языка и ответы на сложные вопросы, относящиеся к профессиональным областям (например, решение юридических и математических задач).
По сути, FreeWilly 2 достигла уровня, сравнимого с ChatGPT, а в некоторых оценках даже превзошла его.
Бенчмарк GPT4ALL (0 выстрелов):
Оценка AGI (0 выстрелов):
Кроме того, команда из Hugging Face также самостоятельно воспроизвела эксперимент 21 июля.
Видно, что в таблице лидеров Open LLM FreeWilly 2 занимает первое место с абсолютным отрывом, а средний балл на 4 процентных пункта выше, чем у оригинальной версии Llama 2.
За открытое будущее
Можно сказать, что FreeWilly1 и FreeWilly2 устанавливают новый стандарт для больших языковых моделей с открытым исходным кодом.
Внедрение этих двух моделей не только значительно продвинуло исследования в смежных областях, расширило возможности понимания естественного языка, но и способствовало выполнению сложных задач.
Stability AI сказал, что команда очень взволнована бесконечными возможностями, которые эти модели могут предоставить сообществу ИИ, и с нетерпением ждет новых приложений, которые они вдохновят.
Кроме того, мы сердечно благодарим увлеченную команду исследователей, инженеров и партнеров, чьи исключительные усилия и самоотверженность позволили Stability AI достичь этой важной вехи.
ЗАХВАТЫВАЮЩЕЕ ВРЕМЯ
Как только модель была выпущена, пользователь сети «Фил Хоус» использовал платформу Llama v2 Тухина Шриваставы, чтобы завершить реализацию FreeWilly 2 менее чем за минуту.
После загрузки 275 ГБ модель работает со скоростью 23 токена/с из коробки.
Кроме того, некоторые пользователи сети воскликнули: «Модель, совместно запущенную Stability AI и CarperAI, можно назвать игровым изменением!
FreeWilly1 и FreeWilly2 имеют большое инновационное значение с точки зрения открытого исходного кода и производительности, и круг ИИ открывает захватывающий момент.
Использованная литература:
Посмотреть Оригинал
Содержание носит исключительно справочный характер и не является предложением или офертой. Консультации по инвестициям, налогообложению или юридическим вопросам не предоставляются. Более подробную информацию о рисках см. в разделе «Дисклеймер».
Stability AI быстро выпустил модель FreeWilly для тонкой настройки Llama 2, производительность которой сравнима с ChatGPT! Пользователи сети воскликнули, что правила игры изменились
Источник: Синьчжиюань
Как только была выпущена Meta's Llama 2, она взорвала все сообщество открытого исходного кода.
Как сказал ученый OpenAI Карпати, это чрезвычайно важный день для всей области больших языковых моделей. Из всех моделей с открытыми весами Лама 2 самая мощная.
С этого момента разрыв между большими моделями с открытым исходным кодом и большими моделями с закрытым исходным кодом будет еще больше сокращаться, и возможность создавать большие модели будет равна для всех разработчиков.
Только что Stability AI и CarperAI Labs совместно выпустили модель для тонкой настройки на базе модели LLaMA 2 70B — FreeWilly2.
И, на основе доводки оригинальной модели LLaMA 65B - FreeWilly1.
В различных тестах производительности FreeWilly2 продемонстрировал отличные способности к рассуждениям, а в некоторых задачах даже превзошел GPT-3.5.
Обе модели являются исследовательскими экспериментами и выпущены под некоммерческой лицензией.
Генерация и сбор данных
Стабильность AI сказал, что обучение модели FreeWilly было непосредственно вдохновлено документом Microsoft «Orca: Progressive Learning from Complex Explanation Traces of GPT-4».
Однако, хотя процесс генерации данных похож, источники разные.
Вариант набора данных FreeWilly содержит 600 000 точек данных (примерно 10% от размера набора данных, используемого в исходной статье Orca), и модель загружается с использованием высококачественного набора данных инструкций, созданного Энрико Шипполом:
СОТ Субмикс Оригинал
Оригинальный сабмикс NIV2
FLAN 2021 Субмикс Оригинал
Оригинальный сабмикс T0
При таком подходе Stability AI сгенерировал 500 000 примеров с использованием более простой модели LLM и еще 100 000 примеров с использованием более сложной модели LLM.
Хотя размер обучающей выборки составляет всего одну десятую от исходной статьи Orca, получившаяся модель FreeWilly не только хорошо работает в различных тестах производительности, но и подтверждает возможность применения метода синтетического генерирования наборов данных.
Оценка производительности модели
Что касается оценки производительности, исследователи Stability AI переняли lm--harness от EleutherAI и добавили AGI.
Судя по результатам, FreeWilly преуспевает во многих областях, включая сложные рассуждения, понимание тонкостей языка и ответы на сложные вопросы, относящиеся к профессиональным областям (например, решение юридических и математических задач).
По сути, FreeWilly 2 достигла уровня, сравнимого с ChatGPT, а в некоторых оценках даже превзошла его.
Видно, что в таблице лидеров Open LLM FreeWilly 2 занимает первое место с абсолютным отрывом, а средний балл на 4 процентных пункта выше, чем у оригинальной версии Llama 2.
За открытое будущее
Можно сказать, что FreeWilly1 и FreeWilly2 устанавливают новый стандарт для больших языковых моделей с открытым исходным кодом.
Внедрение этих двух моделей не только значительно продвинуло исследования в смежных областях, расширило возможности понимания естественного языка, но и способствовало выполнению сложных задач.
Stability AI сказал, что команда очень взволнована бесконечными возможностями, которые эти модели могут предоставить сообществу ИИ, и с нетерпением ждет новых приложений, которые они вдохновят.
Кроме того, мы сердечно благодарим увлеченную команду исследователей, инженеров и партнеров, чьи исключительные усилия и самоотверженность позволили Stability AI достичь этой важной вехи.
ЗАХВАТЫВАЮЩЕЕ ВРЕМЯ
Как только модель была выпущена, пользователь сети «Фил Хоус» использовал платформу Llama v2 Тухина Шриваставы, чтобы завершить реализацию FreeWilly 2 менее чем за минуту.
После загрузки 275 ГБ модель работает со скоростью 23 токена/с из коробки.