GPT-1
Дата релиза:
Компания-разработчик:
OpenAI
GPT-1 (Generative Pre-trained Transformer 1) стала первой крупной языковой моделью, разработанной OpenAI, основанной на архитектуре трансформеров, предложенной Google в 2017 году. Модель состояла из 12 слоев и имела 117 миллионов параметров. Она была обучена на корпусе BookCorpus, включающем более 7 000 неопубликованных книг различных жанров. GPT-1 продемонстрировала, что предварительное обучение на больших объемах неразмеченных данных с последующей тонкой настройкой на конкретные задачи позволяет достичь высоких результатов в обработке естественного языка.
Таблица характеристик GPT-1:
| Параметр | Значение |
|---|---|
| Название модели | GPT-1 (Generative Pre-trained Transformer 1) |
| Дата релиза | 11 июня 2018 года |
| Компания-разработчик | OpenAI |
| Архитектура | Трансформер (12-слойный декодер) |
| Количество параметров | 117 миллионов |
| Контекстное окно | 512 токенов |
| Обучающие данные | BookCorpus (более 7 000 неопубликованных книг) |
| Формат ввода | Текст |
| Возможности мультимодальности | Отсутствуют |
| Метод обучения | Предварительное обучение без учителя с последующей тонкой настройкой на конкретные задачи |
| Способы доступа | Исходный код и модель доступны на GitHub |
| Специализированные версии | Отсутствуют |
| Эффективность в задачах | Улучшение результатов в задачах понимания языка и порождения текста |
| Скорость отклика | Зависит от аппаратного обеспечения и реализации |
| Энергопотребление | Низкое по сравнению с последующими моделями |
| Безопасность и ограничения | Ограниченные возможности, отсутствие механизмов фильтрации контента |
| Популярность и применение | Использовалась в исследовательских целях для оценки потенциала трансформерных архитектур |
| Лицензия и доступ | MIT License, открытый доступ |
FREE/от $20
Нейросеть на архитектуре GPT, которая генерирует естественный и осмысленный текст, поддерживает сложные диалоги и обеспечивает высококачественную генерацию кода