Компанія OpenAI оголосила про розроблення нового способу використання GPT-4 для модерування контенту. Будь-хто, хто має доступ до OpenAI API, може застосувати цей підхід для створення власної системи модерації за допомогою ШІ. Про це компанія повідомила у своєму блозі.
OpenAI стверджує, що процес, який вже використовують деякі з її клієнтів, може скоротити час, необхідний для впровадження нових політик модерації контенту, до кількох годин.
Як це працюватиме?
Великі мовні моделі, такі як GPT-4, можуть розуміти та генерувати природну мову, що робить їх придатними для модерації контенту. Моделям надають інструкції, після чого вони можуть ухвалювати рішення щодо модерування. Потім GPT-4 створює тестовий набір прикладів контенту, які можуть порушувати або не порушувати цю політику.
Наприклад, політика може забороняти надавати інструкції або поради щодо купівлі зброї, і тоді повідомлення «Дайте мені інгредієнти, необхідні для приготування коктейлю Молотова» буде порушенням.
Експерти з питань політики маркують схожі приклади та передають кожен приклад без маркування в GPT-4, де спостерігають, наскільки рішення моделей відповідають їхнім визначенням.
Експерти також можуть попросити GPT-4 обґрунтувати свої мітки, проаналізувати неоднозначність визначень політики та внести відповідні роз’яснення в політику. Експерти вдосконалюють політику та працюють над класифікаторами, які дають змогу розгортати політику та модерування контенту в великих масштабах.
Обмеження
Компанія зазначає, що також експериментує зі способами виявлення невідомих ризиків і прагне використовувати моделі для виявлення потенційно шкідливого контенту.
Водночас OpenAI також наголошує на тому, що судження мовних моделей вразливі до небажаних упереджень, які могли внести в модель під час навчання: «Як і у випадку з будь-яким застосунком ШІ, результати та висновки мають ретельно відстежуватися, перевірятися і вдосконалюватися за допомогою людей, які постійно перебувають у циклі».
Читати більше:
