Te va a interesar!

6/recent/ticker-posts

Machine Learning, ciencia y Automation


Resultado de imagen para machine learning
Bienvenidos, cómo se encuentran? Espero que bien! Hoy les quería compartir algunas reflexiones que surgieron a raíz de un artículo que leí esta semana, relacionado más que nada a Machine Learning, AI y cómo eso me hizo pensar en los procesos de Testing y Automation.


El artículo hablaba de la paranoia disruptiva que está causando el uso y abuso de machine learning para la predicción de modelos en el mundo científico. Si sonó demasiado nerd, lo voy a poner en otras palabras: Venían confiando en los resultados que los sistemas les daban para sus análisis y se dieron cuenta que muchas veces son incorrectos...de forma grosera. 

Resultado de imagen para una mente brillante

Uno de los principales problemas con los actuales algoritmos de Machine Learning es que buscan patrones incluso donde no los hay. Algo así como el muchacho de Una Mente Brillante (que ya sabemos cómo terminó).
El tema es que estas imprecisiones no son obvias hasta que no se comparan con otro set de datos más cercanos al mundo real, para lo cuál suele ser algo tarde y se usó lo erróneo como base para postular modelos. Además, muchas veces los algoritmos tienen comportamientos algo...perturbadores al elegir qué set de datos es relevante para el análisis y cuáles datos no lo son. Imaginen que uno de los análisis llevado a cabo decía que el 85% de la investigación en el área de biomedicina era una pérdida de tiempo.

Esto está llevando a la comunidad científica a preguntarse: No la estuvimos pifiando todo este tiempo que estuvimos usando Machine Learning con los descubrimientos que hicimos? Y si los análisis que tratan de anticipar impactos de meteoritos estaban mal? Y si las abejas se van a extinguir antes? Y si estábamos entrando en una nueva Era de Hielo y no sabíamos? Todo lo que se estuvo afirmando en los últimos años podría no ser tan así. Ahora entiendo por qué Sheldon no pegaba una al final con su intento de unificar la física cuántica con la física tradicional.

Resultado de imagen para machine learning

Todo ésto me llevó a pensar en Automation. Oh si señores...porque ésto es una página sobre Automation Testing después de todo (a pesar de que yo esté interesado y esté haciendo algunas cosas con AI). Cuántas veces vieron un proyecto automatizado que lanzaba resultados falsos? Un PASS que en realidad era un FAIL, o que no estaba probando verdaderamente lo que se suponía que probaba?
Cuántas veces vieron que un Manager dejó de confiar en las automatizaciones debido a hallazgos como el que menciono, para tirar al tacho completamente la idea de utilizar las herramientas de automation para mejorar el SDLC?

Sin duda ambos temas están relacionados, ahora...qué sigue? Lo primero, en mi opinión, sería establecer un par de normas sobre qué tanto se puede confiar en los resultados obtenidos según qué tantos pasos previos de revisión de calidad halla tenido lo que produce los mismos.

Normalmente, en Automation Testing (y programación en general), tenemos varios mecanismos para evitar que los resultados sean de mala calidad o, lisa y llanamente, falsos.

Peer Reviews, Pull Requests y el flujo de Source Control existen en cierta medida para prevenir este tipo de comportamientos erráticos e inexactos en la versión final del Software.
A lo que voy es...no deberíamos descartar la importancia enorme y la ayuda que los algoritmos de Machine Learning proveen a la comunidad científica por darnos cuenta que los resultados no estaban siendo correctamente producidos...deberíamos mejorar los procesos mediante los cuales estamos produciéndolos. El futuro sin dudas nos depara cosas muy interesantes en el sector de lo que las máquinas pueden hacer para mejorar nuestras vidas, pero creo que aún está algo verde y necesita de la mano humana para asistir el crecimiento en la dirección correcta.


Nunca dejen de aprender!


The Free Range Tester.

Publicar un comentario

0 Comentarios