La búsqueda global no está activada.
Salta al contenido principal
Foro

Foro de debate módulo 4

Hilo 3: Medidas para evaluar el rendimiento de un método en regresión / Thread 3: Measures to evaluate the performance of a regression method

Hilo 3: Medidas para evaluar el rendimiento de un método en regresión / Thread 3: Measures to evaluate the performance of a regression method

de María José Gacto - Número de respuestas: 2

En comparación con la clasificación, donde se evalúa la calidad de un método mediante la tasa de precisión, en regresión la evaluación puede ser más compleja. Esto se debe a que el rango de salida varía ampliamente entre los diferentes problemas. Además del Error Cuadrático Medio (MSE), ¿conoces otras medidas que se utilicen para evaluar el rendimiento de un método en regresión?

-----------------

Compared to classification, where the quality of a method is typically evaluated by the accuracy rate, in regression the evaluation can be more complex. This is because the output range can vary widely across different problems. In addition to Mean Squared Error (MSE), are you aware of other measures used to evaluate the performance of a regression method?


En respuesta a María José Gacto

Re: Hilo 3: Medidas para evaluar el rendimiento de un método en regresión / Thread 3: Measures to evaluate the performance of a regression method

de María José Gacto -
Para evaluar el rendimiento de un método en regresión, además del Error Cuadrático Medio (MSE), existen otras medidas importantes a considerar:
• Error Absoluto Medio (MAE): Esta medida calcula la media de las diferencias absolutas entre las predicciones del modelo y los valores reales. Es útil porque proporciona una idea de cuán cerca están las predicciones del valor real, sin considerar la dirección del error.
• Error Porcentual Absoluto Medio (MAPE): El MAPE calcula el promedio de los errores porcentuales absolutos entre las predicciones y los valores reales. Es una medida útil para evaluar el rendimiento del modelo en términos de precisión porcentual.
• Coeficiente de determinación (R²): Es una medida que indica la proporción de la varianza en la variable dependiente que es predecible a partir de la variable independiente (o variables). El R² varía de 0 a 1, donde 1 indica un ajuste perfecto del modelo a los datos y 0 indica que el modelo no explica la variabilidad de estos.
Estas medidas proporcionan una visión más completa del rendimiento de un modelo de regresión y son ampliamente utilizadas en la evaluación de algoritmos de aprendizaje automático.
-----------------------
When evaluating the performance of a regression method, in addition to Mean Squared Error (MSE), there are other important measures to consider:
• Mean Absolute Error (MAE): This measure calculates the mean of the absolute differences between model predictions and actual values. It is useful because it provides an idea of how close the predictions are to the actual value, without considering the direction of the error.
• Mean Absolute Percentage Error (MAPE): MAPE calculates the average of the absolute percentage errors between the predictions and the actual values. It is a useful measure to evaluate model performance in terms of percentage accuracy.
• Coefficient of determination (R²): R² is a measure that indicates the proportion of the variance in the dependent variable that is predictable from the independent variable(s). R² ranges from 0 to 1, where 1 indicates a perfect fit of the model to the data and 0 indicates that the model does not explain the variability in the data.
These measures provide a more complete view of the performance of a regression model and are widely used in the evaluation of machine learning algorithms.
En respuesta a María José Gacto

Re: Hilo 3: Medidas para evaluar el rendimiento de un método en regresión / Thread 3: Measures to evaluate the performance of a regression method

de Augusto Miguel Anguita Ruiz -
Gracias María José. Para tomar una decisión informada es vital no limitarse a una sola métrica, sino analizar varias de forma conjunta. En bioinformática, es especialmente importante entender la relación entre métricas relativas como el R2 y métricas de error absoluto, ya que podríamos encontrarnos con la situación aparentemente contradictoria de tener un R2 muy alto junto a un error inaceptablemente elevado. Este fenómeno puede ocurrir por diversas razones técnicas que debemos vigilar. Por ejemplo, en escenarios con datos de gran escala o alta varianza, el modelo puede seguir perfectamente la tendencia general (logrando un R2 excelente) pero fallar por márgenes de miles de unidades en sus predicciones individuales. También puede deberse a la presencia de valores atípicos (outliers) que disparan el error cuadrático medio mientras el resto de los datos mantienen un ajuste visualmente bueno, o incluso a un sobreajuste (overfitting) donde el modelo memoriza el ruido del entrenamiento logrando un ajuste teórico casi perfecto que se desploma al enfrentarse a la realidad de nuevos pacientes. Y en cuanto a intepretar el error... que es un error aceptable? bueno, al final, dependerá de si su precisión absoluta se mantiene dentro de los márgenes de seguridad que nuestra aplicación biológica requiere.


=================

Thank you, María José. To make an informed decision, it is vital not to rely on a single metric, but to analyse several of them together. In bioinformatics, it is particularly important to understand the relationship between relative metrics such as R2 and absolute error metrics, as we might encounter the seemingly contradictory situation of having a very high R2 alongside an unacceptably high error. This phenomenon can occur for various technical reasons that we must watch out for. For example, in scenarios with large-scale or highly variable data, the model may perfectly follow the general trend (achieving an excellent R$) but fail by margins of thousands of units in its individual predictions. It may also be due to the presence of outliers that cause the mean squared error to skyrocket whilst the rest of the data maintains a visually good fit, or even to overfitting, where the model memorises the noise from the training data, achieving a theoretically almost perfect fit that collapses when faced with the reality of new patients. And as for interpreting the error... what constitutes an acceptable error? Well, ultimately, it will depend on whether its absolute accuracy remains within the safety margins required by our biological application.