Generative pre-trained transformer
Generative pre-trained transformer или GPT (рус. Генеративный предобученный трансформер) - это тип нейронных языковых моделей, впервые представленных компанией OpenAI, которые обучаются на больших наборах текстовых данных, чтобы генерировать текст, схожий с человеческим. Предобучение относится к начальному процессу обучения на корпусе, в результате которого модель учится предсказывать следующее слово в тексте и получает основу для успешного выполнения дальнейших задач, не имея больших объемов данных. GPT являются "трансформерами", которые представляют собой тип нейросетей, использующих механизм самосвязываемости для обработки последовательных данных. Они могут быть дообучены для различных задач обработки естественного языка (NLP), таких как генерация текста, машинный перевод и классификация текста.
Языковые модели GPT от OpenAI
11 июня 2018 года компания OpenAI опубликовала статью под названием "Improving Language Understanding by Generative Pre-Training", в которой был представлен Генеративный Предобученный Трансформер (GPT)[1]. До этого момента лучшие нейронные модели обработки естественного языка, в основном использовали обучение с учителем на больших объемах вручную размеченных данных. Это ограничивало их применение на недостаточно размеченных наборах данных, а также делало крайне дорогим и времязатратным обучение очень больших языковых моделей. Кроме того, многие языки (такие как суахили или гаитянский креольский) были трудны в переводе и интерпретации с помощью таких моделей из-за отсутствия достаточного количества текстов на данных языках. Предложенный OpenAI подход слабонадзорного ("полу-надзорного")[англ.] обучения на основе модели GPT включает два этапа:
- несобственное генеративное "предварительное" обучение, на котором устанавливаются начальные параметры путем обучения модели языковым моделированием
- собственное дискриминативное (различительное)[англ.] "дообучающее" обучение, на котором эти параметры адаптируются к конкретной задаче.
| Использование | Архитектура | Количество параметров | Тренировочные данные | Дата выпуска | |
|---|---|---|---|---|---|
| GPT-1 | Общее | 12-уровневый декодер-трансформер с 12 головками (без кодировщика), за которым следует линейный софтмакс. | 117 миллионов | BookCorpus?!: 4,5 ГБ текста из 7000 неизданных книг разных жанров.[2] | 11 июня 2018[3] |
| GPT-2[англ.] | Общее | GPT-1, но с измененной нормализацией[англ.]. | 1.5 миллиардов (▲1273000%) | WebText: 40 ГБ текста и 8 миллионов документов из 40 миллионов веб-страниц за которые проголосовали на Reddit. | 14 февраля 2019 |
| GPT-3 | Общее | GPT-2, но с изменениями для возможности масштабирования в большем объеме. | 175 миллиардов (▲11566%) | 570 ГБ обычного текста, 0,4 трлн токенов. В основном содержит данные из наборов данных CommonCrawl, WebText, английской Википедии, а также BookCorpus?!. | 11 июня 2020[4] |
| InstructGPT (GPT-3.5) | Разговор | GPT-3, тонко настроенный[англ.] для выполнения инструкций с использованием обратной связи с человеком. | 175 миллиардов[5] | Неизвестно | 4 марта 2022 |
| ChatGPT | Диалог | Использует GPT-3.5 и тонко настроенн[англ.] (подход к трансферному обучению[англ.]) как с обучением с учителем, так и с RLHF (Обучение с подкреплением на основе отзывов людей). | Неизвестно | Неизвестно | 30 ноября 2022 |
| GPT-4 | Общее | Также обучен на основе предсказания текста и основан на обучении с подкреплением. Принимает как текст, так и изображения. Дополнительные подробности не разглашаются.[6] | Неизвестно | Неизвестно | 14 марта 2023 |
Другие (производные) модели GPT
После того, как OpenAI выпустила свою модель GPT-3, EleutherAI выпустила ряд больших языковых моделей (LLM) с открытым исходным кодом, и ее модель GPT-J привлекла значительное внимание как альтернативная. С этих пор появляются новые языковые модели на основе GPT.
| Использование | Архитектура | Количество параметров | Тренировочные данные | Дата выпуска | Разработчик | |
|---|---|---|---|---|---|---|
| GPT-J | Общее | Параллельный декодер | 6 миллиардов | Набор данных объемом 825 ГБ с открытым исходным кодом (называемый «кучей») | 9 июня 2021 | EleutherAI |
| BLOOM | Общее | Трансформатор только для декодера | 176 миллиардов | Данные 46 естественных языков и 13 языков программирования; Всего 1,6 терабайт предварительно обработанного текста. | 6 июля 2022 | Hugging Face |
| BioGPT | Биомедицинский контент | Как GPT-2 Medium (24 слоев, 16 головок) | 347 миллионов | Непустые записи из PubMed (всего 1,5 миллиона). | 24 сентября 2022 | Microsoft |
Ссылки
- ↑ Salimans, Tim; Narasimhan, Karthik; Radford, Alec; Sutskever, Ilya. Improving Language Understanding by Generative Pre-Training 12. OpenAI (11 июня 2018). Дата обращения: 23 января 2021. Архивировано 26 января 2021 года.
- ↑ Zhu, Yukun; Kiros, Ryan; Zemel, Rich; Salakhutdinov, Ruslan; Urtasun, Raquel; Torralba, Antonio; Fidler, Sanja (2015). Aligning Books and Movies: Towards Story-Like Visual Explanations by Watching Movies and Reading Books. IEEE International Conference on Computer Vision (ICCV) 2015. pp. 19–27. arXiv:1506.06724. Архивировано 5 февраля 2023. Дата обращения: 7 февраля 2023.
- ↑ Salimans, Tim; Narasimhan, Karthik; Radford, Alec; Sutskever, Ilya. Improving Language Understanding by Generative Pre-Training 12. OpenAI (11 июня 2018). Дата обращения: 23 января 2021. Архивировано 26 января 2021 года.
- ↑ Language models are few-shot learners (амер. англ.). openai.com. Дата обращения: 21 марта 2023. Архивировано 21 марта 2023 года.
- ↑ Ouyang, Long; Wu, Jeff; Jiang, Xu; et al. (2022-03-04). Training language models to follow instructions with human feedback. arXiv:2203.02155.
{{cite journal}}: Cite journal требует|journal=(справка) - ↑ OpenAI. GPT-4 Technical Report (2023). Дата обращения: 16 марта 2023. Архивировано 14 марта 2023 года.
