Ổn định AI đã nhanh chóng phát hành mô hình tinh chỉnh Llama 2 FreeWilly, có hiệu suất tương đương với ChatGPT! Cư dân mạng thốt lên rằng luật chơi đã thay đổi

Nguồn: Xinzhiyuan

Chưa đầy hai ngày sau khi phát hành Llama 2, kỳ lân Ổn định AI đã nhanh chóng tinh chỉnh mô hình FreeWilly, được cho là có hiệu suất tương đương với ChatGPT.

Ngay khi Meta's Llama 2 được phát hành, nó đã kích nổ toàn bộ cộng đồng mã nguồn mở.

Như nhà khoa học OpenAI Karpathy đã nói, đây là một ngày cực kỳ quan trọng đối với toàn bộ lĩnh vực mô hình ngôn ngữ lớn. Trong số tất cả các mẫu có trọng lượng mở, Llama 2 là mẫu mạnh nhất.

Từ đó, khoảng cách giữa các mô hình lớn mã nguồn mở và mô hình lớn mã nguồn đóng sẽ ngày càng được thu hẹp và cơ hội xây dựng các mô hình lớn sẽ bình đẳng cho tất cả các nhà phát triển.

Vừa rồi, Stability AI và CarperAI Labs đã cùng nhau phát hành một mô hình tinh chỉnh dựa trên mẫu LLaMA 2 70B - FreeWilly2.

Và, dựa trên sự tinh chỉnh của mô hình ban đầu của LLaMA 65B - FreeWilly1.

Điều đáng chú ý là mô hình được đào tạo trên bộ dữ liệu tổng hợp mới dựa trên định dạng Alpaca tiêu chuẩn và trải qua quá trình tinh chỉnh có giám sát (SFT).

Trong các bài kiểm tra điểm chuẩn khác nhau, FreeWilly2 đã thể hiện khả năng suy luận xuất sắc và thậm chí còn vượt qua GPT-3.5 trong một số tác vụ.

địa chỉ mô hình:

địa chỉ mô hình:

Cả hai mô hình đều là thử nghiệm nghiên cứu và được phát hành theo giấy phép phi thương mại.

Tạo và thu thập dữ liệu

Ổn định AI cho biết việc đào tạo mô hình FreeWilly được truyền cảm hứng trực tiếp từ bài báo của Microsoft "Orca: Học hỏi tiến bộ từ các dấu vết giải thích phức tạp của GPT-4".

Tuy nhiên, trong khi quá trình tạo dữ liệu là tương tự, các nguồn khác nhau.

Liên kết giấy:

Biến thể tập dữ liệu của FreeWilly chứa 600.000 điểm dữ liệu (khoảng 10% kích thước tập dữ liệu được sử dụng trong bài báo gốc của Orca) và mô hình được khởi động bằng cách sử dụng tập dữ liệu hướng dẫn chất lượng cao do Enrico Shippole tạo:

• COT Submix gốc

• NIV2 Submix Gốc

• FLAN 2021 Submix Gốc

• T0 Submix gốc

Với cách tiếp cận này, Stability AI đã tạo ra 500.000 ví dụ sử dụng mô hình LLM đơn giản hơn và thêm 100.000 ví dụ sử dụng mô hình LLM phức tạp hơn.

Để có sự so sánh công bằng, Stability AI đã sàng lọc cẩn thận các bộ dữ liệu này và loại bỏ các ví dụ bắt nguồn từ điểm chuẩn đánh giá.

Mặc dù kích thước mẫu đào tạo chỉ bằng 1/10 so với bài báo gốc của Orca, nhưng mô hình FreeWilly thu được không chỉ hoạt động tốt trong các bài kiểm tra điểm chuẩn khác nhau mà còn xác minh tính khả thi của phương pháp tạo bộ dữ liệu tổng hợp.

Đánh giá hiệu suất mô hình

Về đánh giá hiệu suất, các nhà nghiên cứu AI của Độ ổn định đã áp dụng khai thác lm--của EleutherAI và thêm AGI.

Đánh giá từ kết quả, FreeWilly vượt trội trong nhiều lĩnh vực, bao gồm lý luận phức tạp, hiểu được sự tinh tế của ngôn ngữ và trả lời các câu hỏi phức tạp liên quan đến các lĩnh vực chuyên môn (chẳng hạn như giải quyết vấn đề pháp lý và toán học).

Về cơ bản, FreeWilly 2 đã đạt được mức tương đương với ChatGPT, thậm chí còn vượt qua nó trong một số đánh giá.

Điểm chuẩn GPT4ALL (lần chụp 0):

Đánh giá AGI (0-shot):

Ngoài ra, nhóm từ Hugging Face cũng tái tạo độc lập thí nghiệm vào ngày 21 tháng 7.

Có thể thấy, trên bảng xếp hạng Open LLM, FreeWilly 2 đứng đầu với vị trí dẫn đầu tuyệt đối và điểm trung bình cao hơn 4 điểm phần trăm so với phiên bản gốc của Llama 2.

Vì một tương lai rộng mở

Có thể nói rằng FreeWilly1 và FreeWilly2 đã thiết lập một tiêu chuẩn mới cho các mô hình ngôn ngữ lớn mã nguồn mở.

Sự ra đời của hai mô hình này không chỉ thúc đẩy mạnh mẽ nghiên cứu trong các lĩnh vực liên quan, nâng cao khả năng hiểu ngôn ngữ tự nhiên mà còn hỗ trợ hoàn thành các nhiệm vụ phức tạp.

Stability AI cho biết nhóm rất hào hứng với những khả năng vô tận mà những mô hình này có thể mang lại cho cộng đồng AI và mong chờ những ứng dụng mới mà chúng sẽ truyền cảm hứng.

Ngoài ra, xin gửi lời cảm ơn chân thành đến đội ngũ các nhà nghiên cứu, kỹ sư và đối tác đầy nhiệt huyết, những người đã nỗ lực và cống hiến phi thường đã giúp Stability AI đạt được cột mốc quan trọng này.

THỜI GIAN THÚ VỊ

Sau khi mô hình được phát hành, cư dân mạng "Phil Howes" đã sử dụng khung Llama v2 của Tuhin Srivastava để hoàn thành việc triển khai FreeWilly 2 trong vòng chưa đầy một phút.

Sau khi tải trọng lượng 275GB, mô hình sẽ chạy với tốc độ 23 mã thông báo/giây khi xuất xưởng.

Ngoài ra, một số cư dân mạng thốt lên: Mô hình do Stability AI và CarperAI cùng đưa ra có thể được gọi là một yếu tố thay đổi cuộc chơi!

FreeWilly1 và FreeWilly2 có ý nghĩa đổi mới to lớn về nguồn mở và hiệu suất, đồng thời vòng tròn AI đang mở ra một thời điểm thú vị.

Người giới thiệu: