出典：新志源> Llama 2 のリリースから 2 日も経たないうちに、ユニコーンの安定性 AI は、ChatGPT に匹敵するパフォーマンスと言われている FreeWilly モデルを迅速に微調整しました。Meta の Llama 2 はリリースされるやいなや、オープンソース コミュニティ全体を爆発させました。OpenAI の科学者 Karpathy 氏が述べたように、今日は大規模言語モデルの分野全体にとって非常に重要な日です。オープンウェイトを備えたすべてのモデルの中で、Llama 2 は最も強力です。それ以降、オープンソースのビッグ モデルとクローズドソースのビッグ モデルの間のギャップはさらに縮まり、ビッグ モデルを構築する機会はすべての開発者に平等になります。ちょうど今、Stability AI と CarperAI Labs が共同で、LLaMA 2 70B モデルに基づく微調整モデル FreeWilly2 をリリースしました。そして、LLaMA 65BのオリジナルモデルであるFreeWilly1の微調整をベースにしています。 モデルが標準の Alpaca 形式に基づく新しい合成データセットでトレーニングされ、教師あり微調整 (SFT) を受けていることは注目に値します。さまざまなベンチマーク テストで、FreeWilly2 は優れた推論能力を実証し、一部のタスクでは GPT-3.5 を上回りました。 モデルアドレス: モデルアドレス:どちらのモデルも研究実験であり、非営利ライセンスに基づいてリリースされています。## **データの生成と収集**Stability AIは、FreeWillyモデルのトレーニングはマイクロソフトの論文「Orca: GPT-4の複雑な説明トレースからの進歩的学習」から直接インスピレーションを得たと述べた。ただし、データ生成プロセスは似ていますが、ソースは異なります。 論文リンク:FreeWilly のデータセット バリアントには 600,000 のデータ ポイント (元の Orca 論文で使用されたデータセット サイズの約 10%) が含まれており、モデルは Enrico Shippole によって作成された高品質の命令データセットを使用してブートストラップされます。- COTサブミックスオリジナル- NIV2 サブミックス オリジナル- FLAN 2021 サブミックス オリジナル- T0 サブミックス オリジナルこのアプローチにより、Stability AI は、より単純な LLM モデルを使用して 500,000 のサンプルを生成し、さらに複雑な LLM モデルを使用してさらに 100,000 のサンプルを生成しました。 公平な比較を行うために、Stability AI はこれらのデータセットを慎重にスクリーニングし、評価ベンチマークから得られた例を削除しました。トレーニング サンプル サイズは元の Orca 論文のわずか 10 分の 1 ですが、結果として得られた FreeWilly モデルはさまざまなベンチマーク テストで良好なパフォーマンスを発揮するだけでなく、データセットを合成的に生成する方法の実現可能性も検証します。## **モデルの性能評価**パフォーマンス評価の点では、安定性 AI 研究者は EleutherAI の lm-harness を採用し、AGI を追加しました。結果から判断すると、FreeWilly は、複雑な推論、言語の微妙な理解、専門分野に関連する複雑な質問 (法律や数学の問題解決など) への回答など、多くの分野で優れています。基本的には、FreeWilly 2 は ChatGPT と同等のレベルを達成しており、いくつかの評価ではそれを上回っています。 GPT4ALL ベンチマーク (0 ショット): AGI評価（0ショット）： さらに、Hugging Faceのチームも7月21日に実験を独自に再現した。Open LLM リーダーボードでは、FreeWilly 2 が絶対的なリードで 1 位にランクされており、平均スコアはオリジナル バージョンの Llama 2 より 4 パーセントポイント高いことがわかります。## **開かれた未来のために**FreeWilly1 と FreeWilly2 は、オープンソースの大規模言語モデルの新しい標準を設定したと言えます。これら 2 つのモデルの導入により、関連分野の研究が大幅に進歩し、自然言語理解の能力が強化されただけでなく、複雑なタスクの完了もサポートされました。Stability AI は、チームはこれらのモデルが AI コミュニティにもたらす無限の可能性に非常に興奮しており、それらがインスピレーションを与える新しいアプリケーションを楽しみにしていると述べました。さらに、研究者、エンジニア、パートナーからなる情熱的なチームの並外れた努力と献身により、Stability AI がこの重要なマイルストーンに到達することができたことに心から感謝します。## **エキサイティングな時間**モデルがリリースされると、ネチズン「Phil Howes」は Tuhin Srivastava の Llama v2 フレームワークを使用して、FreeWilly 2 の実装を 1 分以内に完了しました。275 GB の重量をロードした後、モデルは箱から出してすぐに 23 トークン/秒で実行されます。 さらに、一部のネチズンは「Stability AI と CarperAI が共同で発表したモデルはゲームチェンジャーと呼ぶことができます!」と叫んだ。 FreeWilly1 と FreeWilly2 は、オープンソースとパフォーマンスの点で非常に革新的な重要性を持っており、AI サークルはエキサイティングな瞬間を迎えています。 参考文献:
Stability AI は、ChatGPT に匹敵するパフォーマンスを持つ Llama 2 微調整モデル FreeWilly をすぐにリリースしました。ネチズンはゲームのルールが変わったと叫んだ
出典：新志源
Meta の Llama 2 はリリースされるやいなや、オープンソース コミュニティ全体を爆発させました。
OpenAI の科学者 Karpathy 氏が述べたように、今日は大規模言語モデルの分野全体にとって非常に重要な日です。オープンウェイトを備えたすべてのモデルの中で、Llama 2 は最も強力です。
それ以降、オープンソースのビッグ モデルとクローズドソースのビッグ モデルの間のギャップはさらに縮まり、ビッグ モデルを構築する機会はすべての開発者に平等になります。
ちょうど今、Stability AI と CarperAI Labs が共同で、LLaMA 2 70B モデルに基づく微調整モデル FreeWilly2 をリリースしました。
そして、LLaMA 65BのオリジナルモデルであるFreeWilly1の微調整をベースにしています。
さまざまなベンチマーク テストで、FreeWilly2 は優れた推論能力を実証し、一部のタスクでは GPT-3.5 を上回りました。
どちらのモデルも研究実験であり、非営利ライセンスに基づいてリリースされています。
データの生成と収集
Stability AIは、FreeWillyモデルのトレーニングはマイクロソフトの論文「Orca: GPT-4の複雑な説明トレースからの進歩的学習」から直接インスピレーションを得たと述べた。
ただし、データ生成プロセスは似ていますが、ソースは異なります。
FreeWilly のデータセット バリアントには 600,000 のデータ ポイント (元の Orca 論文で使用されたデータセット サイズの約 10%) が含まれており、モデルは Enrico Shippole によって作成された高品質の命令データセットを使用してブートストラップされます。
COTサブミックスオリジナル
NIV2 サブミックス オリジナル
FLAN 2021 サブミックス オリジナル
T0 サブミックス オリジナル
このアプローチにより、Stability AI は、より単純な LLM モデルを使用して 500,000 のサンプルを生成し、さらに複雑な LLM モデルを使用してさらに 100,000 のサンプルを生成しました。
トレーニング サンプル サイズは元の Orca 論文のわずか 10 分の 1 ですが、結果として得られた FreeWilly モデルはさまざまなベンチマーク テストで良好なパフォーマンスを発揮するだけでなく、データセットを合成的に生成する方法の実現可能性も検証します。
モデルの性能評価
パフォーマンス評価の点では、安定性 AI 研究者は EleutherAI の lm-harness を採用し、AGI を追加しました。
結果から判断すると、FreeWilly は、複雑な推論、言語の微妙な理解、専門分野に関連する複雑な質問 (法律や数学の問題解決など) への回答など、多くの分野で優れています。
基本的には、FreeWilly 2 は ChatGPT と同等のレベルを達成しており、いくつかの評価ではそれを上回っています。
Open LLM リーダーボードでは、FreeWilly 2 が絶対的なリードで 1 位にランクされており、平均スコアはオリジナル バージョンの Llama 2 より 4 パーセントポイント高いことがわかります。
開かれた未来のために
FreeWilly1 と FreeWilly2 は、オープンソースの大規模言語モデルの新しい標準を設定したと言えます。
これら 2 つのモデルの導入により、関連分野の研究が大幅に進歩し、自然言語理解の能力が強化されただけでなく、複雑なタスクの完了もサポートされました。
Stability AI は、チームはこれらのモデルが AI コミュニティにもたらす無限の可能性に非常に興奮しており、それらがインスピレーションを与える新しいアプリケーションを楽しみにしていると述べました。
さらに、研究者、エンジニア、パートナーからなる情熱的なチームの並外れた努力と献身により、Stability AI がこの重要なマイルストーンに到達することができたことに心から感謝します。
エキサイティングな時間
モデルがリリースされると、ネチズン「Phil Howes」は Tuhin Srivastava の Llama v2 フレームワークを使用して、FreeWilly 2 の実装を 1 分以内に完了しました。
275 GB の重量をロードした後、モデルは箱から出してすぐに 23 トークン/秒で実行されます。