Компанія X Ілона Маска у листопаді 2023 року презентувала «дотепну та бунтівну» мовну модель на основі штучного інтелекту Grok. У цьому матеріалі збираємо все що відомо про цей чат-бот і його оновлення.

Що таке Grok?

Grok — чатбот на основі штучного інтелекту, який «дотепно відповідає на запитання та має бунтарську жилку». Унікальність Grok у тому, що він матиме знання про світ у реальному часі, користуючись матеріалами з Х. Також чатбот відповідає на ті запитання, які відхиляє більшість інших сервісів ШІ.

Навіщо створили Grok?

xAI прагне розробляти інструменти ШІ, корисні для людей із різними політичними поглядами та походженням. Компанія має на меті розширити можливості для досліджень. Чатбот допомагатиме користувачам отримувати потрібну інформацію, обробляти дані та генерувати ідеї. xAI зазначає, що кінцева мета її інструментів ШІ — «допомогти знайти розуміння».

Grok-1

Двигун Grok — Grok-1, передова Large Language Model (LLM), яку xAI розробляла протягом чотирьох місяців. Вона є значно потужнішою за свій прототип Grok-0, що має 33 млрд параметрів, але використовує лише половину навчальних ресурсів.

Щоб оцінити Grok-1, xAI провела низку стандартних машинних тестів: 

• xA GSM8k (текстові задачі з математики для середньої школи з підказкою ланцюжка думок);
• MMLU (мультидисциплінарні запитання з кількома варіантами відповідей із п’ятьма прикладами); 
• HumanEval (завдання на завершення коду Python);
• завдання з математики для середньої та старшої школи, написані в LaTeX із підказкою з чотирьох кадрів.

Grok-1 перевершив усі моделі ШІ  у своєму класі обчислень. Кращі результати показали тільки інструменти, навчені на значно більшій кількості даних і обчислювальних ресурсів, як-от GPT-4. xAI заявляє про швидкий прогрес у ефективному навчанні LLM.

Оскільки ці тести можна знайти в інтернеті, компанія не виключає, що її моделі ШІ випадково навчилися на них. Компанія вручну оцінила Grok-1, а також інструменти Claude-2 і GPT-4) на фіналі Угорської національної середньої школи 2023 року . in mathematics. Grok-1 склав іспит на C (59 % правильних відповідей).

Інженерія xAI

Для створення Grok компанія розробила спеціальний стек навчання та висновків на основі Kubernetes, Rust і JAX. Утім xAI зауважує, що графічні процесори можуть виходити з ладу через виробничі дефекти, слабкі з’єднання, неправильну конфігурація, пошкоджені мікросхеми тощо. Це ускладнюватиме навчання LLM, адже xAI синхронізує обчислення на десятках тисяч графічних процесорів протягом багатьох місяців. Щоб уникнути збоїв, компанія застосовує набір спеціальних розподілених систем, які миттєво виявляють і автоматично обробляють усі проблеми. Передусім xAI прагне максимізувати показник корисного обчислення на ват. Протягом останніх місяців компанія мінімізувала час простою та підтримувала високе використання флопу моделі (MFU) навіть за наявності ненадійного обладнання.

Для побудови інфраструктури обрали мову програмування Rust, адже вона пропонує високу продуктивність, багату екосистему та запобігає більшості помилок розподіленої системи. Для xAI надійність інфраструктури важлива, адже технічне обслуговування позбавляє інновацій.

Нині компанія готується до наступного покращення Grok, яке вимагатиме надійної координації тренувань на десятках тисяч прискорювачів, запуску конвеєрів даних і створення нових можливостей та інструментів.

Дослідження xAI

Попри доступ Grok до інформації в реальному часі, модель ШІ може генерувати неправдиві чи суперечливі дані. Для досягнення надійності у відповідях інструмента xAI проводить дослідження.

• Масштабований нагляд за допомогою інструментів. ШІ шукає покликання на різні джерела, перевіряє дані за допомогою зовнішніх інструментів і знаходить відгуки користувачів.

• Інтеграція з офіційною перевіркою безпеки, надійності та заземлення. Щоб створити моделі ШІ, які можуть ґрунтовно розмірковувати про реальний світ, xAI планує розвивати навички їхньої роботи в неоднозначних ситуаціях. Це дає змогу оцінювати системи штучного інтелекту без зворотного зв’язку від людей. Одна із головних цілей компанії — формальне гарантування правильності коду, особливо щодо формально перевірених аспектів безпеки ШІ.

• Змагальна міцність. xAI прагне покращити LLM, моделі винагород і системи моніторингу.

• Мультимодальні можливості. Компанія обладнає Grok різними «органами чуття» , які допомагатимуть користувачам у реальному часі.

Ранній доступ до Grok

Певна кількість користувачів у США може випробувати прототип Grok і поділитися відгуками для покращення моделі ШІ. Наразі у програмі можуть взяти участь лише верифіковані користувачі X.

Найближчими місяцями xAI планує запровадити нові можливості та функції для Grok.

Розрізнювання зображень у Grok

У жовтні 2024 року xAI додав у Grok функцію розпізнавання зображень. Передплатники X можуть завантажувати зображення і ставити ШІ-боту запитання про них. 

Ілон Маск повідомив, що Grok може навіть пояснити сенс жарту завдяки новій функції. З його слів, функціонал перебуває на ранніх стадіях і ще вдосконалюватиметься.

У компанії додали, що Grok незабаром зможе розпізнавати й документи.