Stability AI, performansı ChatGPT ile karşılaştırılabilir olan Llama 2 ince ayar modeli FreeWilly'yi hızla piyasaya sürdü! Netizenler, oyunun kurallarının değiştiğini haykırdı
Llama 2'nin piyasaya sürülmesinden iki gün sonra, tek boynuzlu at Stability AI, performans açısından ChatGPT ile karşılaştırılabilir olduğu söylenen FreeWilly modelinde hızla ince ayar yaptı.
Meta'nın Llama 2'si yayınlanır yayınlanmaz, tüm açık kaynak topluluğunu patlattı.
OpenAI bilim adamı Karpathy'nin dediği gibi, bu, tüm büyük dil modelleri alanı için son derece önemli bir gün. Açık ağırlıklı modeller arasında en güçlüsü Llama 2'dir.
O andan itibaren, açık kaynaklı büyük modeller ile kapalı kaynaklı büyük modeller arasındaki fark daha da kapanacak ve büyük modeller oluşturma fırsatı tüm geliştiricilere eşit olacaktır.
Az önce, Stability AI ve CarperAI Labs, LLaMA 2 70B modelini temel alan bir ince ayar modelini ortaklaşa yayınladı - FreeWilly2.
Ve orijinal LLaMA 65B - FreeWilly1 modelinin ince ayarına dayalıdır.
Modelin standart Alpaka formatına dayalı yeni bir sentetik veri seti üzerinde eğitildiğini ve denetimli ince ayardan (SFT) geçtiğini belirtmekte fayda var.
FreeWilly2, çeşitli kıyaslama testlerinde mükemmel muhakeme yetenekleri sergiledi ve hatta bazı görevlerde GPT-3.5'i geçti.
Model adresi:
Model adresi:
Her iki model de araştırma deneyleridir ve ticari olmayan bir lisans altında yayınlanmıştır.
Veri oluşturma ve toplama
Stability AI, FreeWilly modelinin eğitiminin doğrudan Microsoft'un "Orca: Progressive Learning from Complex Explanation Traces of GPT-4" makalesinden ilham aldığını söyledi.
Ancak veri oluşturma süreci benzer olsa da kaynaklar farklıdır.
Kağıt bağlantısı:
FreeWilly'nin veri kümesi varyantı 600.000 veri noktası içerir (orijinal Orca makalesinde kullanılan veri kümesi boyutunun kabaca %10'u) ve model, Enrico Shippole tarafından oluşturulan yüksek kaliteli talimat veri kümesi kullanılarak önyüklenir:
COT Alt Karışımı Orijinal
NIV2 Alt Karışımı Orijinal
FLAN 2021 Alt Karışım Orijinali
T0 Alt Karışım Orijinali
Bu yaklaşımla Stability AI, daha basit bir LLM modeli kullanarak 500.000 örnek ve daha karmaşık bir LLM modeli kullanarak ek 100.000 örnek oluşturdu.
Adil bir karşılaştırma için, Stability AI bu veri kümelerini dikkatlice taradı ve değerlendirme ölçütünden türetilen örnekleri kaldırdı.
Eğitim örneklemi boyutu, orijinal Orca makalesinin yalnızca onda biri olmasına rağmen, ortaya çıkan FreeWilly modeli yalnızca çeşitli kıyaslama testlerinde iyi performans göstermekle kalmaz, aynı zamanda sentetik olarak veri kümeleri oluşturma yönteminin uygulanabilirliğini de doğrular.
Model performansının değerlendirilmesi
Performans değerlendirmesi açısından, Stability AI araştırmacıları, EleutherAI'nin lm-harness'ini benimsedi ve AGI'yi ekledi.
Sonuçlara bakılırsa FreeWilly, karmaşık akıl yürütme, dilin inceliklerini anlama ve profesyonel alanlarla ilgili karmaşık soruları yanıtlama (yasal ve matematiksel problem çözme gibi) dahil olmak üzere birçok alanda üstündür.
Temel olarak FreeWilly 2, ChatGPT ile karşılaştırılabilir bir seviyeye ulaştı ve hatta bazı değerlendirmelerde onu geçti.
GPT4ALL testi (0 atış):
AGI değerlendirmesi (0 atış):
Ek olarak, Hugging Face ekibi de bağımsız olarak 21 Temmuz'da deneyi tekrarladı.
Open LLM liderlik tablosunda FreeWilly 2'nin mutlak bir liderlikle birinci sırada olduğu ve ortalama puanın Llama 2'nin orijinal versiyonundan yüzde 4 daha yüksek olduğu görülebilir.
Açık bir gelecek için
FreeWilly1 ve FreeWilly2'nin açık kaynak büyük dil modelleri için yeni bir standart oluşturduğu söylenebilir.
Bu iki modelin tanıtılması, yalnızca ilgili alanlardaki araştırmaları büyük ölçüde ilerletmekle kalmadı, doğal dili anlama yeteneğini de geliştirdi, aynı zamanda karmaşık görevlerin tamamlanmasını da destekledi.
Stability AI, ekibin bu modellerin AI topluluğuna getirebileceği sonsuz olasılıklar konusunda çok heyecanlı olduğunu ve ilham verecekleri yeni uygulamaları sabırsızlıkla beklediklerini söyledi.
Ek olarak, olağanüstü çabaları ve özverileriyle Stability AI'nin bu önemli dönüm noktasına ulaşmasını sağlayan tutkulu araştırmacılar, mühendisler ve ortaklar ekibine yürekten teşekkür ederiz.
HEYECANLI VAKİT
Model yayınlandıktan sonra netizen "Phil Howes", FreeWilly 2'nin uygulanmasını bir dakikadan daha kısa sürede tamamlamak için Tuhin Srivastava'nın Llama v2 çerçevesini kullandı.
275 GB ağırlık yüklemesinin ardından, model kutudan çıktığı andan itibaren 23 jeton/s hızında çalışır.
Ek olarak, bazı netizenler haykırdı: Stability AI ve CarperAI tarafından ortaklaşa başlatılan model, oyunun kurallarını değiştirebilir!
FreeWilly1 ve FreeWilly2, açık kaynak ve performans açısından büyük yenilikçi öneme sahip ve AI çemberi heyecan verici bir an başlatıyor.
Referanslar:
View Original
The content is for reference only, not a solicitation or offer. No investment, tax, or legal advice provided. See Disclaimer for more risks disclosure.
Stability AI, performansı ChatGPT ile karşılaştırılabilir olan Llama 2 ince ayar modeli FreeWilly'yi hızla piyasaya sürdü! Netizenler, oyunun kurallarının değiştiğini haykırdı
Kaynak: Xinzhiyuan
Meta'nın Llama 2'si yayınlanır yayınlanmaz, tüm açık kaynak topluluğunu patlattı.
OpenAI bilim adamı Karpathy'nin dediği gibi, bu, tüm büyük dil modelleri alanı için son derece önemli bir gün. Açık ağırlıklı modeller arasında en güçlüsü Llama 2'dir.
O andan itibaren, açık kaynaklı büyük modeller ile kapalı kaynaklı büyük modeller arasındaki fark daha da kapanacak ve büyük modeller oluşturma fırsatı tüm geliştiricilere eşit olacaktır.
Az önce, Stability AI ve CarperAI Labs, LLaMA 2 70B modelini temel alan bir ince ayar modelini ortaklaşa yayınladı - FreeWilly2.
Ve orijinal LLaMA 65B - FreeWilly1 modelinin ince ayarına dayalıdır.
FreeWilly2, çeşitli kıyaslama testlerinde mükemmel muhakeme yetenekleri sergiledi ve hatta bazı görevlerde GPT-3.5'i geçti.
Her iki model de araştırma deneyleridir ve ticari olmayan bir lisans altında yayınlanmıştır.
Veri oluşturma ve toplama
Stability AI, FreeWilly modelinin eğitiminin doğrudan Microsoft'un "Orca: Progressive Learning from Complex Explanation Traces of GPT-4" makalesinden ilham aldığını söyledi.
Ancak veri oluşturma süreci benzer olsa da kaynaklar farklıdır.
FreeWilly'nin veri kümesi varyantı 600.000 veri noktası içerir (orijinal Orca makalesinde kullanılan veri kümesi boyutunun kabaca %10'u) ve model, Enrico Shippole tarafından oluşturulan yüksek kaliteli talimat veri kümesi kullanılarak önyüklenir:
COT Alt Karışımı Orijinal
NIV2 Alt Karışımı Orijinal
FLAN 2021 Alt Karışım Orijinali
T0 Alt Karışım Orijinali
Bu yaklaşımla Stability AI, daha basit bir LLM modeli kullanarak 500.000 örnek ve daha karmaşık bir LLM modeli kullanarak ek 100.000 örnek oluşturdu.
Eğitim örneklemi boyutu, orijinal Orca makalesinin yalnızca onda biri olmasına rağmen, ortaya çıkan FreeWilly modeli yalnızca çeşitli kıyaslama testlerinde iyi performans göstermekle kalmaz, aynı zamanda sentetik olarak veri kümeleri oluşturma yönteminin uygulanabilirliğini de doğrular.
Model performansının değerlendirilmesi
Performans değerlendirmesi açısından, Stability AI araştırmacıları, EleutherAI'nin lm-harness'ini benimsedi ve AGI'yi ekledi.
Sonuçlara bakılırsa FreeWilly, karmaşık akıl yürütme, dilin inceliklerini anlama ve profesyonel alanlarla ilgili karmaşık soruları yanıtlama (yasal ve matematiksel problem çözme gibi) dahil olmak üzere birçok alanda üstündür.
Temel olarak FreeWilly 2, ChatGPT ile karşılaştırılabilir bir seviyeye ulaştı ve hatta bazı değerlendirmelerde onu geçti.
Open LLM liderlik tablosunda FreeWilly 2'nin mutlak bir liderlikle birinci sırada olduğu ve ortalama puanın Llama 2'nin orijinal versiyonundan yüzde 4 daha yüksek olduğu görülebilir.
Açık bir gelecek için
FreeWilly1 ve FreeWilly2'nin açık kaynak büyük dil modelleri için yeni bir standart oluşturduğu söylenebilir.
Bu iki modelin tanıtılması, yalnızca ilgili alanlardaki araştırmaları büyük ölçüde ilerletmekle kalmadı, doğal dili anlama yeteneğini de geliştirdi, aynı zamanda karmaşık görevlerin tamamlanmasını da destekledi.
Stability AI, ekibin bu modellerin AI topluluğuna getirebileceği sonsuz olasılıklar konusunda çok heyecanlı olduğunu ve ilham verecekleri yeni uygulamaları sabırsızlıkla beklediklerini söyledi.
Ek olarak, olağanüstü çabaları ve özverileriyle Stability AI'nin bu önemli dönüm noktasına ulaşmasını sağlayan tutkulu araştırmacılar, mühendisler ve ortaklar ekibine yürekten teşekkür ederiz.
HEYECANLI VAKİT
Model yayınlandıktan sonra netizen "Phil Howes", FreeWilly 2'nin uygulanmasını bir dakikadan daha kısa sürede tamamlamak için Tuhin Srivastava'nın Llama v2 çerçevesini kullandı.
275 GB ağırlık yüklemesinin ardından, model kutudan çıktığı andan itibaren 23 jeton/s hızında çalışır.