[2018] BERT - Devlin et al. (Google)

El texto introduce BERT (Bidirectional Encoder Representations from Transformers), un innovador modelo de lenguaje diseñado para comprender texto mediante el análisis simultáneo de su contexto izquierdo y derecho. A diferencia de los enfoques tradicionales que leen en una sola dirección, esta arquitectura multicapa bidireccional se pre-entrena con datos no etiquetados utilizando tareas como la predicción de oraciones siguientes y la estimación de palabras enmascaradas. Posteriormente, el sistema puede adaptarse con mínimas modificaciones para resolver una amplia variedad de tareas complejas de procesamiento de lenguaje natural, logrando un rendimiento sobresaliente en múltiples pruebas comparativas.