13 червня OpenAI оголосила про випуск нових версій GPT-3.5-turbo та GPT-4. Оновлення також включає керовані моделі API, можливості виклику функцій, довший контекст і нижчі ціни.

27 червня застосунки, які використовують стабільні назви моделей (GPT-3.5-turbo, GPT-4 та GPT-4-32k), автоматично оновляться до нових моделей.

Виклик функцій

Виклик функцій дає змогу розробникам більш надійно отримувати структуровані дані з моделі, оскільки він краще пов’язує можливості GPT із зовнішніми інструментами та API.

Наприклад, розробники можуть:

• Створювати чат-ботів, які відповідають на запитання, викликаючи зовнішні інструменти (наприклад, плагіни ChatGPT). Зокрема, перетворювати запити на кшталт «Яка погода в Бостоні?» на команду get_current_weather (location: string, unit: ‘celsius’ | ‘fahrenheit’).
• Перетворювати природну мову у виклики API або запити до бази даних. Зокрема запитання «Скільки замовлень зробила компанія Acme минулого місяця?» на SQL-запит за допомогою sql_query (query: string).
• Вилучення структурованих даних із тексту. Зокрема, функція extract_people_data (people: [{name: string, birthday: string, location: string}]), щоб витягти дані про всіх людей, згаданих у статті Вікіпедії.

Розширене вікно контексту

GPT-3.5-turbo має розширене вікно контексту. Вікно покликається на текст, який модель розглядає перед створенням будь-якого додаткового тексту. Моделі з невеликими вікнами контексту мають тенденцію «забувати» зміст навіть дуже недавніх розмов, що призводить до відхилень від теми. 

Оновлена модель також може обробляти приблизно 20 сторінок тексту за один раз.

Зниження ціни

Нова модель пропонує вчетверо більшу довжину контексту, ніж оригінальна модель, за вдвічі меншу ціну ($0.003 за 1000 вхідних токенів) та $0.004 за 1000 токенів, які генерує модель). 

Розробники тепер можуть використовувати модель за $0,0015 за 1000 вхідних токенів та $0,002 за 1000 вихідних токенів, що коштує приблизно 700 сторінок на долар.

Ціни також знижуються для text-embedding-ada-002, однієї з популярних моделей вбудовування тексту в OpenAI. Вбудовування тексту часто використовують для пошуку (де результати ранжуються відповідно до рядка запиту) та рекомендацій (де рекомендуються елементи з пов’язаними текстовими рядками). Тепер текстове вбудування Text-embedding-ada-002 коштує $0,0001 за 1000 токенів, що на 75 % менше за попередню ціну. 

OpenAI заявляє, що зниження ціни стало можливим завдяки покращенню ефективності її систем.