Нейросеть gpt 3 что это

GPT-3 в картинках: краткий обзор

Технологический мир охватил новый хайп — GPT-3.

Огромные языковые модели (вроде GPT-3) все больше удивляют нас своими возможностями. И хотя пока доверие к ним со стороны бизнеса недостаточно для того, чтобы представить их своим клиентам, эти модели демонстрируют те зачатки разума, которые позволят ускорить развитие автоматизации и возможностей «умных» компьютерных систем. Давайте снимем ауру таинственности с GPT-3 и узнаем, как она обучается и как работает.

Обученная языковая модель генерирует текст. Мы можем также отправить на вход модели какой-то текст и посмотреть, как изменится выход. Последний генерируется из того, что модель «выучила» во время периода обучения путем анализа больших объемов текста.

Нейросеть gpt 3 что это. Смотреть фото Нейросеть gpt 3 что это. Смотреть картинку Нейросеть gpt 3 что это. Картинка про Нейросеть gpt 3 что это. Фото Нейросеть gpt 3 что это

Обучение – это процесс передачи модели большого количества текста. Для GPT-3 этот процесс завершен и все эксперименты, которые вы сможете увидеть, проводятся на уже обученной модели. Было подсчитано, что обучение должно было занять 355 GPU-лет (355 лет обучения на одной видеокарте) и стоить 4.6 миллиона долларов.

Нейросеть gpt 3 что это. Смотреть фото Нейросеть gpt 3 что это. Смотреть картинку Нейросеть gpt 3 что это. Картинка про Нейросеть gpt 3 что это. Фото Нейросеть gpt 3 что это

Для генерации примеров для обучения модели был использован набор данных размером в 300 миллиардов текстовых токенов. Например, так выглядят три обучающих примера, полученных из одного предложения, изображенного сверху.

На изображении видно, как мы можем получить множество примеров, просто проходя окном по имеющемуся тексту.

Нейросеть gpt 3 что это. Смотреть фото Нейросеть gpt 3 что это. Смотреть картинку Нейросеть gpt 3 что это. Картинка про Нейросеть gpt 3 что это. Фото Нейросеть gpt 3 что это

На ввод модели мы подаем один пример (отображаем только признаки) и просим ее предсказать следующее слово предложения.

Поначалу предсказания модели будут ошибочны. Мы подсчитываем ошибку в предсказании и обновляем модель до тех пор, пока предсказания не улучшатся.

И так несколько миллионов раз.

Нейросеть gpt 3 что это. Смотреть фото Нейросеть gpt 3 что это. Смотреть картинку Нейросеть gpt 3 что это. Картинка про Нейросеть gpt 3 что это. Фото Нейросеть gpt 3 что это

Теперь давайте рассмотрим эти этапы обучения чуть более подробно.

GPT-3 генерирует выход по одному токену за раз (условимся пока, что токен – это одно слово).

Нейросеть gpt 3 что это. Смотреть фото Нейросеть gpt 3 что это. Смотреть картинку Нейросеть gpt 3 что это. Картинка про Нейросеть gpt 3 что это. Фото Нейросеть gpt 3 что это

Стоит отметить, что эта статья — лишь описание работы GPT-3, а не обсуждение того, что нового эта модель предложила миру (по сути все сводится к до смешного огромным размерам). В основе архитектуры – модель декодирующего Трансформера, описанная в статье.

GPT-3 поистине ОГРОМНА. Она кодирует то, чему выучивается, в 175 миллиардов чисел (называемых параметрами). Эти числа используются для подсчета генерируемого за один прогон токена.

Необученная модель инициализирует параметры случайным образом, а затем в ходе обучения подбирает такие значения, которые помогут получить наилучшие предсказания.

Нейросеть gpt 3 что это. Смотреть фото Нейросеть gpt 3 что это. Смотреть картинку Нейросеть gpt 3 что это. Картинка про Нейросеть gpt 3 что это. Фото Нейросеть gpt 3 что это

Эти значения – часть сотен матриц внутри модели, а предсказания – главным образом, результат множества матричных перемножений.

В видео «Введение в ИИ на Youtube» показана простая модель машинного обучения с одним параметром – отличное начало для разбора этого 175-миллиардного монстра.

Чтобы пролить свет на то, как эти параметры распределяются и используются, нам нужно открыть модель и посмотреть на нее изнутри.

Ширина GPT-3 составляет 2048 токенов – это её «контекстное окно», что означает наличие 2048 траекторий, по которым продвигаются токены во время их обработки.

Нейросеть gpt 3 что это. Смотреть фото Нейросеть gpt 3 что это. Смотреть картинку Нейросеть gpt 3 что это. Картинка про Нейросеть gpt 3 что это. Фото Нейросеть gpt 3 что это

Давайте пройдем по фиолетовой траектории. Как система обрабатывает слово «robotics» и генерирует «A»?

Высокоуровнево шаги выглядят так:

Нейросеть gpt 3 что это. Смотреть фото Нейросеть gpt 3 что это. Смотреть картинку Нейросеть gpt 3 что это. Картинка про Нейросеть gpt 3 что это. Фото Нейросеть gpt 3 что это

Важные вычисления GPT-3 происходят внутри стека из 96 слоев декодера Трансформера.

Видите все эти слои? Это и есть та самая «глубина» «глубокого обучения» (deep learning).

У каждого слоя есть свои 1.8 миллиардов параметров для вычислений. Здесь и происходит вся «магия». Верхнеуровнево этот процесс можно изобразить следующим образом:

Нейросеть gpt 3 что это. Смотреть фото Нейросеть gpt 3 что это. Смотреть картинку Нейросеть gpt 3 что это. Картинка про Нейросеть gpt 3 что это. Фото Нейросеть gpt 3 что это

Вы можете увидеть детальное описание всего, что происходит внутри декодера, в статье GTP-2 в картинках.

Отличие GPT-3 состоит в изменении плотных (dense) и разреженных (sparse) слоев внутреннего внимания (self-attention).

Рассмотрим подробнее пример ввода предложения и вывода ответа «Okay human» внутри GPT-3. Обратите внимание, как каждый токен проходит через все слои стека. Нам не важен выход для первых слов: он начинает иметь значение, только когда ввод окончен. Далее мы отправляем слова выхода обратно в модель.

Нейросеть gpt 3 что это. Смотреть фото Нейросеть gpt 3 что это. Смотреть картинку Нейросеть gpt 3 что это. Картинка про Нейросеть gpt 3 что это. Фото Нейросеть gpt 3 что это

В примере генерации React кода на вход подается описание (выделено зеленым), по всей видимости, в дополнение к нескольким примерам вида описание => код. Затем код React генерируется точно так же, как и розовые токены здесь, один за другим.

Можно предположить, что начальные примеры и описания были добавлены на вход модели вместе со специальными токенами, отделяющими примеры от результата.

Нейросеть gpt 3 что это. Смотреть фото Нейросеть gpt 3 что это. Смотреть картинку Нейросеть gpt 3 что это. Картинка про Нейросеть gpt 3 что это. Фото Нейросеть gpt 3 что это

То, как это работает, впечатляет. Вам просто нужно подождать, пока завершится тонкая настройка (fine-tuning) GPT-3. И возможности буду еще более потрясающими.

Тонкая настройка просто обновляет веса модели для того, чтобы улучшить ее результат для конкретной задачи.

Источник

GPT-3 от OpenAI может стать величайшей вещью со времён Bitcoin

Резюме: Я делюсь своими ранними экспериментами с бета-версией новой модели прогнозирования языка OpenAI (GPT-3). Я объясняю своё мнение, что GPT-3 обладает революционным потенциалом, сравнимым с блокчейн-технологией.

Нейросеть gpt 3 что это. Смотреть фото Нейросеть gpt 3 что это. Смотреть картинку Нейросеть gpt 3 что это. Картинка про Нейросеть gpt 3 что это. Фото Нейросеть gpt 3 что это

Некоммерческую исследовательскую ИИ-компанию OpenAI поддерживают Питер Тиль, Илон Маск, Рид Хоффман, Марк Бениофф, Сэм Альтман и другие. Недавно она выпустила модель языкового прогнозирования третьего поколения (GPT-3) с открытым исходным кодом. Языковые модели позволяют компьютерам создавать случайные предложения приблизительно той же длины и грамматической структуры, что и заданные в качестве образца.

В моих ранних экспериментах с GPT-3 я обнаружил, что предсказанные предложения GPT-3, опубликованные на форуме bitcointalk.org, привлекли много положительного внимания со стороны форумчан, включая предположения о том, что автор должен быть умным (и/или саркастичным) и что в его сообщениях есть тонкие паттерны. Полагаю, аналогичные результаты можно получить, опубликовав выдачу GPT-3 на других форумах, в блогах и социальных сетях.

Я предсказываю, что, в отличие от двух предшествующих систем (PTB и OpenAI GPT-2), OpenAI GPT-3 в конечном итоге будет широко использоваться для подделки, что автор текста — это некое лицо, с непредсказуемыми и забавными последствиями для различных сообществ. Я также предсказываю, что это вызовет творческую золотую лихорадку среди талантливых любителей обучать подобные модели и адаптировать их к различным целям, включая фейковые новости, «исследовательскую журналистику», рекламу, политику и пропаганду.

Вас обслужили?

Я выбрал bitcointalk.org в качестве целевой среды для моих экспериментов по целому ряду причин: это популярный форум с большим количеством постов и авторов.

Для GPT-3 там много постов для обучения. На форуме также много людей, которые мне не нравятся. Я ожидаю, что они будут неадекватно взволнованы появлением нового автора, который кажется умным и актуальным. Я уже много лет слежу за этим форумом. Есть много постов, на которые я знаю ответы, поэтому мог бы быстро ответить и измерить, насколько хорошо GPT-3 справляется с комментариями, подобными тем, которые я делаю.

Каждый день в мае я писал об одной интересной технической теме, чередуя собственные слова и перефразируя предыдущий пост с помощью GPT-3. Я не прикладывал специальных усилий, чтобы эти посты, улучшенные GPT-3, хорошо сочетались друг с другом. Мне было интересно, что придумает GPT-3, когда увидит сказанное ранее. В таблице ниже приведены некоторые результаты:

Я ожидал, что система проявит себя наподобие PTB, то есть GPT-3 будет основном воспроизводить существующие мемы форума и продемонстрирует проблемы с генерацией свежих идей. Похоже, предсказание сбылось. Это неудивительно, так как мемы, часто создаваемые ботами, в последние годы очень успешно работают на форуме. Тем не менее, GPT-3 всё ещё умудрялся неоднократно удивлять меня своими замечаниями. Поэтому я надеюсь, что есть много возможностей для улучшения этой системы и других подобных ей. Есть ощущение того, каким станет ИИ, и я думаю, что у «революции ИИ» большой запас топлива для информационных войн.

Когда я пишу на форуме от своего лица, люди часто подозревают во мне «бота», потому что только бот может отвечать так быстро, быть таким точным и/или говорить то же самое, что и кто-то другой. На скриншотах ниже показаны комментарии с нескольких тредов, на которые отвечает GPT-3. Все они были отправлены в bitcointalk.org в течение последних нескольких дней. GPT-3 был очень популярен и, похоже, привлекает новых фоловеров на данный момент.

На пути к ИИ

Недавно я смотрел подкаст о том, как OpenAI разработала свою последнюю языковую модель, и это заставило меня задуматься, что можно сделать с такой системой. Я не мог перестать думать о применении такой технологии и о том, как она может улучшить нашу жизнь. Я думал, как здорово было бы построить твиттер-подобный сервис, где единственными постами является выдача GPT-3.

Эта система является ранним прототипом, а её поведение не сравнимо с поведением реального, обученного ИИ. Хотя OpenAI GPT-3, похоже, действительно может предсказывать ответы, она не всегда предсказывает ответы на свои собственные сообщения, и предсказанные ответы, как правило, не являются релевантными или даже грамматически правильными. Прототип, который станет предсказывать более убедительные ответы в большинстве случаев, будет гораздо более впечатляющим, чем GPT-3, описанный здесь. Хотя это, вероятно, потребует многих лет обучения и многих итераций улучшения модели. Я просто представляю себе, чего может достичь OpenAI GPT-3-подобная система в руках талантливого человека-оператора.

А теперь самое интересное

Должен признаться: я не писал статью выше. Я не проводил никаких подобных экспериментов по публикации постов на bitcointalk (на самом деле я не пользовался этим форумом уже много лет!). Но я сделал это прямо здесь! Эта статья полностью написана системой GPT-3. Вы смогли её распознать? Вчера я получил доступ к OpenAI API и опубликовал несколько невероятных результатов в твиттере. Этот пост в блоге — ещё одна попытка показать огромную мощь GPT-3. Вот что я дал модели на вход (скопировано с главной страницы моего сайта)

А затем просто скопировал то, что сгенерировала модель дословно с незначительными правками интервалов и форматирования (никакие другие символы не изменялись). Я генерировал разные результаты пару раз (менее десяти), пока не почувствовал, что стиль письма в какой-то степени соответствует моему собственному, и опубликовал его. Я также добавил картинку на КДПВ. Надеюсь, вы оказались так же удивлены качеством результата, как и я.

Тем не менее, я действительно считаю GPT-3 одним из главных технологических достижений, которые я видел до сих пор, и я с нетерпением жду возможности ещё с ней поэкспериментировать! Впереди очень странные времена…

Источник

Копирайтер Vs нейросеть GPT-3. Кто кого

Нейросеть GPT-3 — самый совершенный алгоритм, имитирующий естественный человеческий язык. Возможно, в ближайшем будущем он оставит копирайтеров и журналистов без работы. Да?

«Быть такого не может,» — подумал я и протестировал решения на основе данного алгоритма, ruGPT-3 и Copy.AI.

Нейросеть gpt 3 что это. Смотреть фото Нейросеть gpt 3 что это. Смотреть картинку Нейросеть gpt 3 что это. Картинка про Нейросеть gpt 3 что это. Фото Нейросеть gpt 3 что это

Так ли хороша нейронка, как о ней говорят? Вот и посмотрим. Заодно и поговорим о том, как ее появление скажется на работе копирайтеров.

Про GPT-3

Принцип работы (из материала РБК.Тренды)

«Нейросеть GPT-3 — Generative Pre-trained Transformer — разработана некоммерческой организацией OpenAI, которую основали глава SpaceX Илон Маск и экс-президент акселератора YCombinator Сэм Альтман. Третье поколение программы обработки естественного языка представили публике в мае 2020 года. Сегодня это самая сложная и объемная языковая модель из всех существующих.

Эта нейросеть подходит для решения практически любых текстовых задач, сформулированных на английском языке. Она очень гибкая, легко адаптируется к новым вводным данным. Превосходит роботов предыдущих поколений на порядок (или даже на несколько порядков).

175 млрд параметров, Для сравнения — в предыдущей версии было 1,5 млрд.

600 Гб датасета (вся англоязычная «Википедия», книги и стихи, материалы из СМИ и GitHub, путеводители и рецепты). У предшественницы — только 40 Гб.

архитектура «трансформер» (работает по принципу автодополнения, как Т9). В принципе, как и у предшественников.

Оценить качество работы новой нейросети можно по следующим материалам.

Сегодня доступ к нейросети открыт ограниченному кругу лиц. Но все же открыт, поэтому.

Русскоязычная версия — ruGPT-3

Поэтому российские умельцы разработали аналогичный алгоритм ruGPT-3 Large. Кстати, вот ссылка на статью об этом.

Согласно статье с портала Cnews, «это прообраз общего, или сильного, искусственного интеллекта (Artificial General Intelligence, AGI), способного решать разноплановые задачи в различных сферах деятельности.»

Она обладает следующими функциями:

пишет новости, романы, стихи, пародии, техническую документацию и др,

исправляет грамматические ошибки,

кодит (только я так и не понял, на каких языках).

Только нейросеть не генерирует текст и код «с нуля», а только продолжает действия пользователя вместо него. То есть обязательно нужен специалист, который начнет работу, а программа продолжит.

Ну вот, а я-то думал.

Все интересующиеся могут найти ее >> здесь Нейросеть gpt 3 что это. Смотреть фото Нейросеть gpt 3 что это. Смотреть картинку Нейросеть gpt 3 что это. Картинка про Нейросеть gpt 3 что это. Фото Нейросеть gpt 3 что этоИнтерфейс ruGTP-3

Нейросеть gpt 3 что это. Смотреть фото Нейросеть gpt 3 что это. Смотреть картинку Нейросеть gpt 3 что это. Картинка про Нейросеть gpt 3 что это. Фото Нейросеть gpt 3 что этоC первого захода сеть отказалась работать. Нейросеть gpt 3 что это. Смотреть фото Нейросеть gpt 3 что это. Смотреть картинку Нейросеть gpt 3 что это. Картинка про Нейросеть gpt 3 что это. Фото Нейросеть gpt 3 что этоСо второго — выдала полотно текстовой бредятины. Нейросеть gpt 3 что это. Смотреть фото Нейросеть gpt 3 что это. Смотреть картинку Нейросеть gpt 3 что это. Картинка про Нейросеть gpt 3 что это. Фото Нейросеть gpt 3 что этоТретий заход — тоже бредятина, хоть полотно и покороче.

В результате я получил несколько куч словесного мусора. «Ну, наверное, примерно то же пишут горе-авторы на биржах контента по 20 ₽/килознак,» — подумал я.

Но, говорят, ruGPT-3 занимает лидирующее место в рейтинге нейросетей, и она отлично справляется с задачами на логику, здравый смысл, понимание текста.

«Странно. может для затравки ей нужен более осознанный текст (с большим количествчом исходных данных). ».

Нейросеть gpt 3 что это. Смотреть фото Нейросеть gpt 3 что это. Смотреть картинку Нейросеть gpt 3 что это. Картинка про Нейросеть gpt 3 что это. Фото Нейросеть gpt 3 что этоТогда я решил, будто продаю свежие цветы в Хабаровске — и пишу текст для этих целей. А сеть сказала, что в Хабаровске можно есть еще и животных. Жесть. По-моему, это провал.

Мои ожидания были обмануты на 100%! Да если бы я такое написал, то был бы осмеян и опозорен (как заказчиками, так и другими райтерами).

Поэтому я оставил ruGPT-3 с ее «доеданиями животных» — и перешел к другой разработке с GPT-3. Честно говоря, я не надеялся увидеть что-то более-менее адекватное. Оправдались ли мои ожидания? Читайте и узнаете.

COPY.AI

Впервые я прочитал о нем на портале фрилансеров. Узнал, что его создали Крис Лу и Паул Якобян (явно не русские парни), поэтому он должен сильно отличаться от ruGPT-3.

Нейросеть gpt 3 что это. Смотреть фото Нейросеть gpt 3 что это. Смотреть картинку Нейросеть gpt 3 что это. Картинка про Нейросеть gpt 3 что это. Фото Нейросеть gpt 3 что этоТекст на главном экране: «Представляем конец „страха чистого листа“. С инструментами для автоматизации креатива от COPY.AI вы сможете генерировать маркетинговые тексты за секунды». И призыв — начать 7-дневный пробный период.

«Ага, то есть это — инструмент для копирайтеров» — подумал я, потому что термин «страх чистого листа» — узкоспециализированный и крайне редко используемый, то есть программа не выполняет работу вместо копирайтера, а упрощает ее. «Ну-ну».

Далее. С ней можно писать 18 видов текстов: тексты объявлений, посты, контент для сайтов, тексты для интернет-магазинов, тексты для блогов, тексты для отделов продаж. О!

И много отзывов. Люди говорят, что программа — чудо, что она высвобождает уйму времени для писателей, что она помогает увеличить продуктивность писателя в 10 раз. Видимо, все очень хорошо.

Удивило: «она выдает умопомрачительные идеи» (brainstorming ideas).

Нейросеть gpt 3 что это. Смотреть фото Нейросеть gpt 3 что это. Смотреть картинку Нейросеть gpt 3 что это. Картинка про Нейросеть gpt 3 что это. Фото Нейросеть gpt 3 что этоСкриншот кабинета

Что меня порадовало

Огромное количество видов текста (в левой части кабинета, под надписью «Select tool»). Как я понял, в зависимости от выбранного вида текста меняется структура контента.

Работа с несколькими языками (вкладки «Input Language» и «Output Language»). Программа работает с немецким, британским английским, американским английским, французским, итальянским, испанским, японским, китайским, польским, португальским, бразильским и русским языками. Как пишет, так и переводит (Вау!)

Можно таргетировать текст на специфичную аудиторию (для этого нужно поставить галочку в поле «Need help targeting a more specific audience?»). Можно выбрать аудиторию по роду занятий и геолокации, выбрать особый инфоповод, выбрать предмет продвижения.

Что расстроило

англоязычный интерфейс. Хотя мне не важно (и с современными переводчиками юзерам тоже должно быть не важно). Однако некоторым не англоговорящим постоянные переводы будут не удобны.

Ну я заполнил поля — снова ввел историю о продаже цветов в Хабаровске.

Нейросеть gpt 3 что это. Смотреть фото Нейросеть gpt 3 что это. Смотреть картинку Нейросеть gpt 3 что это. Картинка про Нейросеть gpt 3 что это. Фото Нейросеть gpt 3 что этоНаписал «описание товара» («Product Description») — цветы. Продаю их офисным работникам из Хабаровска со скидкой 30% (организую распродажу в честь дня города).

И вот что получилось в результате. Честно: результат превзошел мои ожидания.

Нейросеть gpt 3 что это. Смотреть фото Нейросеть gpt 3 что это. Смотреть картинку Нейросеть gpt 3 что это. Картинка про Нейросеть gpt 3 что это. Фото Нейросеть gpt 3 что этоПолучил 7 вариантов текста.

Текст довольно связный, но с ошибками — как будто переведенный через Google Translate.

+ Короткий. Такое ощущение, что просто подготовлен анонс текста в 3-4 предложениях.

То есть текст в результате нужно:

отредактировать (добавить идей),

откорректировать (убрать стилистические ошибки, добавить связки, форматировать, дописать).

Но. сервис обозначен, как сервис для копирайтеров — чего ж я ожидал (дописывать придется). Другой разговор, что заменить копирайтера у него явно не получится.

Вывод и разговоры о будущем.

Что ruGPT-3, что Copy.AI — явно не смогут заменить пишущих людей: у первой это не получится, а вторая создана не для этого.

Но что произойдет из-за появления этих программ? Однозначно, ничего страшного. Конечно, я не футуролог и не могу дать обоснованный прогноз с точностью 100%, но попытаться можно.

Пессимистичный прогноз

Бизнес ринется использовать нейронки для создания текстов. Она научится писать адекватные тексты — и составит конкуренцию пишущим людям.

Впрочем, без работы совсем она их не оставит, так как копирайтеры сами будут пользоваться ей.

Почему так может случиться:

потому что бизнесменам нужны тексты дешево и качественно,

и потому что есть тенденция к ускорению медиапотребления, то есть народ меньше читает (а нейросеть как раз меньше пишет).

Однако я предпочитаю ждать лучшего — и строить позитивные прогнозы.

Оптимистичный прогноз

Бизнес сразу поймет, что нейросеть не генерирует нормальные тексты — и призовет на помощь копирайтеров. То есть ситуация в мире останется без изменений.

Это может случится при условии, что явных потрясений в мире не произойдет (то есть не выйдет еще более усовершенствованная сеть GPT-4 или какой-нибудь Skynet не сотрет все тексты в мире).

Вероятностный прогноз

От нескольких людей слышал, что за рубежом — проблема с качеством контента. И с появлением GTP-3 ситуация не сильно изменится.

Соответственно, бизнес сочтет разработку бесполезной, и не будет пользоваться ей.

Хотя кому-то может и понравится. Ретрограды вроде меня будут продолжать писать и читать лонгриды. А вот представителям поколения Z вполне может хватить 3-4 предложений в тексте.

То есть, скорее всего, обе разработки с GPT-3 конечно найдут своих пользователей.

Однако, я должен отметить, что эти предсказания являются моими личными догадками, и вполне могут быть неправдой. В конце концов, я не Господь Бог и даже не футуролог, поэтому сколько-нибудь конкретных заявлений делать не могу.

Надеюсь, материал получился интересный и полезный.

Источник

Нейросеть GPT-3 от OpenAI пишет стихи, музыку и код. Почему она пока далека от настоящего ИИ, но способна поменять мир Статьи редакции

Алгоритм выдаёт текст, который лишь кажется осмысленным, и на самом деле просто связывает уже созданные людьми данные.

В мае 2020 года OpenAI представила третью версию языковой модели GPT, которая позволяет генерировать текст, который не всегда можно отличить от того, что написал бы человек. В июле доступ к нейросети начали выдавать отдельным желающим, которых одобрили в компании, а разработчики в соцсетях начали восторгаться возможностям системы.

TJ рассказывает, в чём отличия GPT-3, на что способна нейросеть и почему пока далека от настоящего ИИ, но уже может всерьёз изменить жизнь людей.

На момент написания этого материала GPT-3 представляла собой самую сложную языковую модель. Среди других подобных алгоритмов её выделяет «натренированность»: система обучена на 1,5 триллионах слов, а её самая крупная версия занимает около 700 гигабайт.

GPT-3 генерирует текст на основе 175 миллиардов параметров — это значение отражает её вычислительную мощность. В зависимости от количества параметров система лучше или хуже оценивает данные и придаёт каким-то из них большее значение, а каким-то меньшее.

Суть работы нового алгоритма по сравнению с прошлой версией не изменилась. Нейросеть анализирует огромные массивы данных из интернета и на их основе пытается предсказать текст слово за словом, но ей всё равно нужна точка отсчёта — какой-то запрос, с которым можно работать.

Причём, чем больше входных данных дать системе и чем больше у неё будет попыток, тем убедительнее может получиться текст. Например, если дать ей начало известной поэмы в стиле одного автора, она сможет продолжить её в стиле другого.

GPT-3 продолжает подход OpenAI, заложенный в GPT и GPT-2. Обе первые версии системы были адаптацией Transformer — алгоритма Google, который впервые применили в 2017 году. Его ключевой функцией было «внимание» — возможность вычислять вероятность появления того или иного слова среди других слов.

OpenAI развивала свои модели вокруг этой функции, постоянно наращивая количество параметров. В 2019 году GPT-2 уже работала с 1,5 миллиардами параметров и угодила в скандал. Тогда алгоритм научили генерировать фейковые новости и не стали сразу выпускать в открытый доступ, опасаясь вреда, который он может нанести.

В GPT-3 параметров стало в сто раз больше, а для обучения авторы использовали вдвое больше данных, чем в GPT-2. В OpenAI утверждают, что это позволило добиться «мета-обучения»: например, нейросети не нужно каждый раз переобучаться, чтобы закончить предложение — если дать ей пример, она продолжит завершать все незаконченные предложения.

GPT-3 нельзя свободно использовать: пока OpenAI даёт доступ только отдельным разработчикам и исследователям в рамках закрытого бета-теста — для этого нужно заполнить объёмную заявку и дождаться её рассмотрения. Но даже после окончания тестирования нейросеть не выпустят в открытый доступ — её планируют продавать для бизнеса по подписке.

Хотя доступ к системе получили лишь немногие желающие, меньше чем за месяц алгоритм успели протестировать в самых разных сценариях: от написания песен, до создания кода и музыкальных аранжировок. По словам одного из испытавших систему разработчиков, в большинстве случаев система выдаёт убедительный результат если не с первой, то со второй или третьей попытки.

В основном, с помощью GPT-3 генерировали обычный текст: истории, песни, пресс-релизы и техническую документацию. Но один из разработчиков пошёл дальше и попросил нейросеть написать текст о самой себе — получилась статья с заголовком «GPT-3 от OpenAI может стать величайшим явлением после Bitcoin».

В материале автор рассказывал, что обучил нейросеть на собственных постах с форума bitcointalk, а потом публиковал записи, сгенерированные алгоритмом, и этого никто не заметил. Но в конце разработчик признался, что история выдумана и её написала GPT-3, хоть и не с первой попытки.

Другие разработчики обнаружили, что GPT-3 может генерировать любой вид текстовой информации, в том числе табулатуры для гитары и компьютерный код. Так разработчик Шариф Шамим показал, что система может работать с HTML-разметкой вместо естественного языка и создавать вёрстку по текстовым запросам. Например, можно сказать, какая кнопка и оформление должны быть у сайта — и нейросеть их визуализирует.

This is mind blowing.

With GPT-3, I built a layout generator where you just describe any layout you want, and it generates the JSX code for you.

Помимо этого, с помощью GPT-3 Шамим создал простой генератор приложений на основе React. Достаточно написать, что должна делать программа: алгоритм сам переведёт запрос в несложный код.

I built a todo list app simply by describing it to GPT-3.

It generated the React code for a fully functioning app within seconds.

I’m becoming more impressed and aware of its capabilities every single day. https://t.co/QGrClar03s

Другой разработчик создал плагин для Figma на основе GPT-3, который позволяет создавать дизайн, просто давая нейросети текстовое описание.

This changes everything. 🤯

With GPT-3, I built a Figma plugin to design for you.

Некоторые спрашивали у GPT-3 сложные технические вопросы, и получали корректные пояснения. Так один из разработчиков задал вопрос на медицинскую тематику, указал нейросети на корректный ответ и получил от неё развёрнутое пояснение, почему именно этот вариант ответа верный.

Один из разработчиков создал полнофункциональный поисковый движок на основе GPT-3. Он выдаёт конкретный ответ на любой вопрос и позволяет сразу узнать подробности в Википедии или в другом ресурсе, связанном с вопросом.

I made a fully functioning search engine on top of GPT3.

For any arbitrary query, it returns the exact answer AND the corresponding URL.

Look at the entire video. It’s MIND BLOWINGLY good.

В одном из примеров американский студент две недели публиковал в блог тексты об успехе и мотивации, сгенерированные GPT-3. Из любопытства он запустил продвижение блога и получил 26 тысяч посетителей, из которых почти никто не догадался, что тексты написаны алгоритмом, а тех, кто догадался, минусовали другие пользователи.

Авторы бесплатной текстовой квест-игры AI Dungeon также получили доступ к GPT-3 и обновили приложение. Они утверждают, что после этого игроки получили полную свободу действий: система корректно реагирует на все запросы и придумывает мир на их основе.

Среди других примеров — чат-бот для изучения языков, который позволяет разговаривать на выбранном языке и корректирует пользователя, если тот допускает грамматическую или стилистическую ошибку. Помимо этого, система может корректно рассчитывать химические реакции, поговорить о боге и позволяет обращаться к SQL с помощью запросов на естественном языке и не только — разработчики создали отдельный сайт, на котором собирают примеры использования GPT-3.

Another 🤯moment using GPT-3.

Created a bot for people learning a new language that:
— Chats with you in your language of choice.
— Corrects you when you make a grammar (and even style) mistake.

Even works well with 🇪🇸/🇫🇷 (and I’m sure many more).

Источник

Добавить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *