Allá por los años 30, el físico estadounidense Frank Benford descubrió que era mucho más probable que el primer dígito en ciertas listas de números fuera un 1 en vez de un 9. Puso a prueba la idea en varios conjuntos de datos distintos, como por ejemplo el área de superficie de ríos, una lista de constantes físicas e incluso las direcciones de calles de las primeras 342 entradas en American Men of Science.
En todos los casos, se encontró con el mismo patrón. El número 1 es el primer dígito el 30% de las veces, el número 2 ocupa el primer lugar un 18%, el número 3 un 13% y así sucesivamente, hasta llegar al número 9, que ocupa la primera posición sólo en un 5% de las ocasiones.
A partir de ahí, propuso la Ley de Benford: la distribución de los primeros números en muchos (aunque no todos) conjuntos de datos sigue el mismo patrón logarítmico. Resulta que esta propiedad es cierta cuando la información se refiere a cantidades físicas, pero no ocurre así con números generados al azar en los que la distribución de los primeros dígitos es uniforme.
Ahora, 60 años después, la ley de Benford ha alcanzado la fama. Su mejor aplicación es en el descubrimiento de fraudes. Eso es posible gracias a que la distribución de los primeros dígitos en las cuentas de una empresa resultan seguir la ley de Benford. Por tanto, cualquier desviación resulta buena evidencia de que alguien ha estado trastocando la contabilidad. Y esto ha llevado a la caída de varios estafadores.
Pero también plantea una pregunta interesante: ¿en qué otros casos podría funcionar la ley de Benford?
Aaron Slepkov desde la Universidad de Trent en Peterborough, Canadá, y un par de colegas nos presentan una sugerencia. Señalan que las respuestas a exámenes de física tipo test deben seguir la ley de Benford. Pero si las respuestas incorrectas son elegidas al azar, no siguen la ley.
Así que, ¿podría un estudiante avispado que entienda la ley de Benford, pero que sepa poco de física, aprovecharse de ello?
Para averiguarlo, Slepkov y su equipo crearon un examen tipo test con 5.000 preguntas simuladas. Para las respuestas correctas, utilizaron un conjunto de datos de números extraídos de respuestas reales a preguntas sobre física. Pero sacaron las respuestas incorrectas de un conjunto de datos de números aleatorios en los que las primeras cifras se distribuían de manera uniforme (es decir, la primera cifra tiene la misma probabilidad de ser cualquiera de los dígitos del 1 al 9).
La mejor estrategia en un examen tipo test como éste es elegir la respuesta con el primer dígito más bajo. Y cuando dos o más respuestas tienen el mismo dígito bajo, hay que elegir.
Y eso es lo que hicieron los investigadores al hacer el examen. Los resultados son concluyentes. En un examen tipo test con 3 respuestas posibles, esta estrategia produce una puntuación del 51%. Eso supone un claro aprobado, a pesar de haber escogido las respuestas sin tener ningún conocimiento del tipo de física que pone a prueba el examen.
En cierto sentido, no es algo realmente sorprendente. La Ley de Benford implica que las probabilidades de que el primer dígito sea un 1, 2 ó 3 superan el 50%, y esto produce una clara ventaja para alguien que sepa del tema.
Pero, ¿funciona esta estrategia con exámenes reales? El equipo también la probó en un conjunto de datos bien conocidos de exámenes de física tipo test y sus resultados son sorprendentes.
La estrategia sugerida por la ley de Benford no da ninguna ventaja. Descubrieron que era imposible aprobar un examen de física de esta manera.
¿Por qué? Los investigadores observaron con más detenimiento las respuestas correctas y las respuestas ficticias en estos exámenes y encontraron algo sorprendente. Las respuestas verdaderas siguen la ley de Benford, pero las respuestas incorrectas también. Al no existir ninguna diferencia en la distribución de los primeros dígitos, los estudiantes no pueden aprovecharse del método.
No está claro por qué las respuestas incorrectas siguen la ley de Benford. Obviamente no son números aleatorios, así que ¿cómo han podido ser elegidas? El equipo baraja una serie de posibilidades, y tal vez la más obvia sea que son respuestas a otras preguntas y, por tanto, son también cantidades físicas. Pero existen otras posibilidades.
Esto seguro que resulta decepcionante para las legiones de estudiantes de física que hayan leído este artículo esperando poder aprobar exámenes con poco o ningún conocimiento del temario.
Para estos estudiantes, los investigadores ofrecen cierta esperanza. Señalan que las probabilidades de conseguir una respuesta correcta ante una pregunta de física que empiece con los dígitos 1, 2 ó 3 es superior al 50%. Y, del mismo modo, las probabilidades de que la respuesta empiece por 7, 8 ó 9 son sólo del 15%.
Por tanto, concluyen así:
"Un pequeño consejo que podemos dar a los estudiantes es el siguiente: Al final de un examen con respuestas largas, si tienes poco tiempo para verificar las respuestas a todas las preguntas, dedica tiempo a las preguntas cuyas respuestas tengan los dígitos iniciales más altos. Las preguntas suelen tener respuestas que empiecen por 7, 8 ó 9 sólo el 15% de las veces".
¡Buena suerte!
Ref: arxiv.org/abs/1311.4787v1 : Benford's Law: Textbook Exercises and Multiple-choice Testbanks