Студент-информатик из Беркли Лиам Порр (Liam Porr) сделал и две недельки продвигал блог, все посты для которого были написаны текстовой ИИ-моделью GPT-3, разработанной известной исследовательской лабораторией OpenAI. За этот период времени блог посетило 26 тыщ читателей, и лишь один, по словам Лиама, заподозрил, что посты пишет GPT-3.
«Люди молвят, — Поделился Лиам Порр в своем блоге, — что GPT-3 нередко пишет несвязно и иррационально. Но это не держит их от того, чтоб читать это… и лайкать это».
Блог для «творчества» GPT-3 Лиам завёл на ресурсе Hacker News. Сам он для всякого поста лишь писал заголовок, куцее вступление и добавлял картину — остальное было на GPT-3. За две недельки блог посетили 26 тыщ человек, 60 даже подписались на него, а самый 1-ый пост в блоге даже стал топ-1 на Hacker News. Один комментатор всё же отметил, что текст «ни о чём», и представил, что он сотворен GPT-3 либо ещё каким-то методом, но остальные пользователи его одёрнули, написав, в частности:
«Может быть, вы здесь не так давно, но ваш отбитый комментарий неприемлем в этом обществе. Если вы с кое-чем не согласны, возражайте цивилизованно — используя аргументы, а не оскорбления».
Интересно, что уже опосля того, как Порр раскрыл карты, под статьями авторства GPT-3 стали появляться комменты вроде этого:
«Что за чёрт, это написано машинкой?????????!!111! Поначалу я прочел разоблачение, а позже просмотрел статью. Неописуемо, что таковая структура быть может сотворена машинкой!..»
GPT-3 — это модель для работы с естественным языком на базе глубочайшего обучения. В отличие от моделей, обучаемых на датасетах, состоящих из примеров решения однотипных, узкотематических задач, GPT-3 за ранее обучена на большом массиве, включающем 175 млрд характеристик. Если гласить метафорически, GPT-3, в отличие от моделей-специалистов, получила энциклопедическое образование.
Базу набора данных для её обучения составила база Common Crawl, некоммерческой организации, которая с 2011 года повсевременно сканирует веб, сохраняет всё отсканированное и безвозмездно предоставляет собранные массивы данных для вольного использования. На момент начала обучения GPT-3 это было больше двухсотен терабайт обычного текста в сжатом виде. Обучив несколько вариантов модели как на полной версии датасета Common Crawl, так и на отдельных, специально отобранных его частях, команда OpenAI узнала, что модели, обученные на «курируемых» фрагментах, избранных по определённым, пригодным для обучения характеристикам, демонстрируют наилучшие результаты. В итоге для обучения специально отобрали 41 фрагмент базы Common Crawl за период с 2016-го по 2019 год общим объёмом 570 Гб. Не считая того, чтоб прирастить обилие «учебного микса» и сделать лучше его свойство, исследователи добавили в него «эталонные сеты»: всю англоязычную Википедию, расширенную версию датасета WebText (наиболее восьми миллионов вебстраниц, приобретенных по ссылкам, упомянутым на Reddit в записях не наименее чем с 3-мя голосами «за») и два датасета с книжками.
Подготовительная обученность на настолько впечатляющем корпусе дозволяет GPT-3 учиться выполнению разных новейших задач, требующих адаптации к определенной предметной области, всего только на нескольких примерах, без какой-нибудь специальной узкой опции. При всем этом делать эти задачки у GPT-3 часто выходит лучше, чем это делают ИИ-модели, специально обученные для работы с ними.
Посреди главных умений GPT-3 — генерация текстов на естественном (британском) языке, в т.ч. данного жанра и в данном стиле, ответы на вопросцы, данные на естественном языке, выполнение арифметических действий, а также создание веб-страниц. Благодаря тому, что не наименее 7% начального «учебного микса» содержали тексты на зарубежных языках, GPT-3 может также переводить с британского на несколько языков. Не считая того, эту модель уже учили писать программки на различных языках программирования (в том числе по заданию, сформулированному на естественном языке), выдумывать зрительные мемы (в виде их словесного описания), создавать презентации и даже опрашивать пациентов и назначать исцеление.
У GPT-3 хватает недочетов. В частности, от почти всех её текстов всё ещё «отчётливо веет железкой», а обученность на огромных корпусах данных, взятых из веба, влечёт за собой проигрывание в генерируемых текстах неких распространённых предрассудков, ошибок и т.п. Но опросы фокус-групп проявили: доверие к сиим текстам значительно выше, чем к генерируемым прошлыми моделями — «людские оценщики» с трудом различают сделанные GPT-3 тексты от статей, написанных людьми. Так что это непременно большой шаг вперёд в деле разработки систем искусственного ума. И опыт Лиама Порра с его блогом излишний раз это подтверждает.