GPT-1

GPT-1 ist das erste Generative Pre-trained Transformer (GPT) Sprachmodell von OpenAI. Es wurde 2018 veröffentlicht und nutzte einen Transformer-Decoder, um durch unüberwachtes Vortraining und anschließendes Fine-Tuning verschiedene NLP-Aufgaben zu lösen. Es legte den Grundstein für die Entwicklung nachfolgender, größerer GPT-Modelle und zeigte das Potenzial von Transfer Learning in der NLP auf.

openai.com/blog/language-unsupervised/ ↗