Debemos tener en cuenta que los modelos de lenguaje como ChatGPT operan bajo principios de probabilidad. Esto implica que están diseñados para proporcionar la respuesta que se percibe como la más probable, lo que no implica que sea necesariamente la más correcta o precisa. Además, algunos modelos carecen de acceso a Internet, por lo que sus datos únicamente están actualizados hasta la fecha de su entrenamiento. Por estos motivos, modelos como ChatGPT tienden a generar gran cantidad de contenido inventado —lo que se conoce como “alucinaciones”—, que presentan de una forma peligrosamente veraz.
Por otro lado, los modelos de lenguaje tienen una memoria limitada, algo que puede derivar en repeticiones, bucles e incongruencias en las respuestas generadas, especialmente en interacciones prolongadas. Esta memoria se mide en tokens, la unidad mínima de significado para estos modelos. Por ejemplo, si nuestra instrucción contiene 100 tokens y la respuesta dada por la IA contiene 50, ya habríamos consumido un total de 150 tokens respecto al máximo de 4.096 a los que se limita el modelo GPT-3.5. Por lo tanto, en este caso, lo recomendable sería que nuestras conversaciones con ChatGPT 3.5 no llegasen a superar las 3.000 palabras. Las nuevas versiones comienzan a superar estas limitaciones, alcanzando una previsión de 128.000 tokens –lo que equivale a más de 100.000 palabras– para las últimas actualizaciones en GPT-4.
El entrenamiento previo también es un aspecto crucial para los modelos de lenguaje. Se entrenan con vastos conjuntos de datos que reflejan una amplia gama de información y perspectivas. Sin embargo, estos datos también pueden contener sesgos inherentes que, una vez aprendidos por el modelo, pueden reflejarse en las respuestas generadas. Estos sesgos pueden introducir desde elementos incorrectos hasta ideas basadas en prejuicios y discriminación, lo cual representa un desafío significativo en la aplicación ética de estas tecnologías.