GPT-2
Дата релиза:
Компания-разработчик:
OpenAI
GPT-2 (Generative Pre-trained Transformer 2) — вторая версия языковой модели от OpenAI, выпущенная 14 февраля 2019 года. Она значительно превзошла своего предшественника по количеству параметров и возможностям генерации текста. Модель была обучена на большом корпусе данных, собранном из интернета, и продемонстрировала способность генерировать связные и осмысленные тексты, что вызвало обеспокоенность по поводу возможного злоупотребления технологией.
Таблица характеристик GPT-2:
| Параметр | Значение |
|---|---|
| Название модели | GPT-2 (Generative Pre-trained Transformer 2) |
| Дата релиза | 14.02.2019 |
| Компания-разработчик | OpenAI |
| Архитектура | Трансформер (48-слойный декодер) |
| Количество параметров | 1,5 миллиарда |
| Контекстное окно | 1024 токена |
| Обучающие данные | Корпус WebText (около 8 миллионов документов) |
| Формат ввода | Текст |
| Возможности мультимодальности | Отсутствуют |
| Метод обучения | Предварительное обучение без учителя на неразмеченных данных |
| Способы доступа | Исходный код и модель частично доступны; полный доступ ограничен из-за соображений безопасности |
| Специализированные версии | Версии с различным количеством параметров (117M, 345M, 762M, 1,5B) |
| Эффективность в задачах | Способна генерировать связные и осмысленные тексты, выполнять задачи перевода и суммаризации |
| Скорость отклика | Зависит от аппаратного обеспечения и реализации |
| Энергопотребление | Умеренное по сравнению с последующими моделями |
| Безопасность и ограничения | Возможность генерации недостоверной или вредоносной информации; ограниченный доступ к полной модели |
| Популярность и применение | Использовалась в исследовательских целях и для разработки приложений на основе генерации текста |
| Лицензия и доступ | Частично открытый доступ; полный доступ ограничен из-за соображений безопасности |
ChatGPT - ассистент OpenAI, который пишет и редактирует тексты, рисует и правит изображения, ищет в интернете, разбирает файлы и выполняет многошаговые задачи в агентном режиме ChatGPT Работа.