Як вчені Стенфорда створили аналог ChatGPT за 600 доларів, і до чого тут альпака
Поділитися
Не так давно світ сколихнула мовна модель на базі штучного інтелекту ChatGPT. Вона привернула увагу своїми широкими можливостями: написання коду, створення текстів, переклад тощо і все це за лічені секунди. Тепер власні аналоги мають вже Google, Apple, Meta, Baidu та Amazon.
А буквально на днях дослідницька група Стенфордського університету розробила на Large Language Model Meta AI LLaMA штучний інтелект Alpaca та протестувала його на базовій мовній моделі ChatGPT. Результати вразили: Alpaca пройшов 90 тестів, GPT — 89. Про це розповів New Atlas.
Як стверджують фахівці, Alpaca багато в чому схожий на ChatGPT, але він побудований на мовній моделі з відкритим кодом і значно дешевше у створенні.
Аналог ChatGPT всього за 600 доларів — як це можливо
Як з'ясувалося, щоб побудувати аналог ChatGPT, не потрібно ресурсів технологічного гіганта — достатньо певної бази знань та бюджету 600 доларів (трохи більше ніж 20 тис. грн). Це на своєму досвіді підтвердили вчені Стенфордського університету.
Вони взяли за основу розроблену Meta відкриту мовну модель LLaMA 7B найдоступнішу з лінійки LlaMA, яка має обмежені можливості та в більшості завдань значно відстає від ChatGPT.
Зазначається, що основні матеріальні витрати та головна конкурентна перевага моделей OpenAI GPT полягають у величезній кількості часу та людських ресурсів, які розробник вклав у навчання моделі: одна справа прочитати кілька мільярдів книг і зовсім інша — засвоїти велику кількість пар запитань та відповідей, які готують ШІ до майбутньої роботи.
Запустивши модель LLaMA 7B, вчені Стенфорда дали GPT зразок зі створених людиною пар запитань-відповідей і наказали їй генерувати на цей зразок нові дані, видаючи по 20 пар за ітерацію. Автоматизувавши завдання через відкриті OpenAI засоби OpenAI, вони за короткий час отримали в розпорядження 52 тис. зразків діалогу, що підходять для навчання LlaMA, що обійшлося вченим менш ніж 500 доларів.
Далі був етап тонкого налаштування LlaMA — для цього знадобилися ресурси восьми комп'ютерів з 80-Гбайт прискорювачами NVIDIA A100 на три години. У хмарній інфраструктурі ця послуга коштувала менш ніж 100 доларів.
Після закінчення навчання дослідники протестували свою модель, якій дали ім'я Alpaca, та порівняли її з ChatGPT у таких завданнях як написання електронної пошти, публікацій для соцмереж та допомога в роботі. Alpaca успішно впоралася з 90 тестами, коли сам ChatGPT подолав лише 89 тестів.
"Ми були здивовані результатом, якщо брати до уваги невеликий розмір моделі та скромний обсяг даних для виконання інструкцій. Крім використання цього набору статичних оцінок, ми також тестували Alpaca в інтерактивному режимі та виявили, що вона часто поводиться як GPT-3.5 на різних вхідних даних. Ми визнаємо, що наша оцінка може бути обмежена в масштабі та різноманітності", — повідомили розробники.
Вчені також заявили, що могли б зробити це дешевше, якби прагнули оптимізувати процес. Особливо враховуючи, що тепер є доступ до набагато потужнішого GPT-4, а також до потужніших моделей LLaMA, які можна використовувати як основу.
До речі, цей доступ міг би повторити будь-який підготовлений фахівець за наявності доступу до GPT-4 і потужніших моделей LlaMA.
Аналог ChatGPT на GitHub
Команда Стенфордського університету опублікувала на Github 52 000 питань, використаних у цьому дослідженні, разом із кодом для генерації додаткових питань та кодом, який вони використовували для налаштування моделі LLaMA.
Стенфордська Alpaca — у чому суттєва проблема
Автори проєкту попередили, що ще не налаштували модель Alpaca, щоб вона була безпечною, і просить усіх, хто встановлює її, звітувати про виявлені проблеми.
Нагадаємо, ми писали, що у вівторок, 20 березня, Google розпочав публічний випуск свого чатбота зі штучним інтелектом під назвою Bard. Компанія шукає користувачів і відгуки, щоб завоювати позиції на Microsoft Corp у стрімких перегонах технологій штучного інтелекту.
Також ми розповідали, що вміє нова версія нейромережі GPT-4, чим вона краща за попередню, для кого вона доступна та як її протестувати.
Раніше ми розповідали, про 20 професій, які GPT-4 збирається "вкрасти" у людей у найближчому майбутньому.
Читайте Новини.LIVE!
