Originalarbeiterreichbar
BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding
Die Gegenrichtung zu GPT, aus demselben Baustein gebaut. BERT liest einen Satz von beiden Seiten und erzeugt daraus eine Darstellung, statt Text fortzusetzen. Ein großer Teil der Embedding-Modelle, die heute eine Suche in eigenen Dokumenten möglich machen, ist so gebaut.
geprüft 24.09.2026
Worauf sich diese Seite beruft, wörtlich, abgerufen am 04.09.2026:
BERT is designed to pre-train deep bidirectional representations from unlabeled text by jointly conditioning on both left and right context in all layers
bestätigt 24.09.2026the pre-trained BERT model can be fine-tuned with just one additional output layer to create state-of-the-art models for a wide range of tasks
bestätigt 24.09.2026
KI-GeschichteSelbstüberwachtes Lernen im Glossar02 Maschinelles Lernen03 Neuronale Netze und Deep Learning