cada producto antivirus o security suite promete protegerlo de una multitud de riesgos y molestias de seguridad. Pero, ¿realmente cumplen sus promesas? Al evaluar estos productos para su revisión, ponemos a prueba sus afirmaciones de muchas maneras diferentes. Cada revisión informa los resultados de nuestras pruebas, así como la experiencia práctica con el producto. Este artículo profundizará, explicando cómo funcionan estas pruebas.

Por supuesto, no todas las pruebas son apropiadas para cada producto., Muchas utilidades antivirus incluyen protección contra el phishing, pero algunas no. la mayoría de las suites incluyen filtrado de spam, pero algunas omiten esta función,y algunos productos antivirus La agregan como un bono. Cualesquiera que sean las características que ofrece un producto dado, las ponemos a prueba.

Testing Real-Time Antivirus

cada herramienta antivirus completa incluye un escáner bajo demanda para buscar y destruir las infestaciones de malware existentes y un monitor en tiempo real para defenderse de nuevos ataques., En el pasado, hemos mantenido una colección de máquinas virtuales infestadas de malware para probar la capacidad de cada producto para eliminar el malware existente. Los avances en la codificación de malware hicieron que las pruebas con malware en vivo fueran demasiado peligrosas, pero aún podemos ejercer la protección en tiempo real de cada producto.

cada año, a principios de la primavera, cuando la mayoría de los proveedores de seguridad han terminado su ciclo de actualización anual, recopilamos una nueva colección de muestras de malware para esta prueba. Comenzamos con un feed de las últimas URL de alojamiento de malware, descargamos cientos de muestras y las reducimos a un número manejable.,

analizamos cada muestra utilizando varias herramientas codificadas a mano. Algunas de las muestras detectan cuando se están ejecutando en una máquina virtual y se abstienen de actividades maliciosas; simplemente no las usamos. Buscamos una variedad de tipos diferentes, y para las muestras que hacen cambios en el sistema de archivos y el registro. Con un poco de esfuerzo, reducimos la colección a un número manejable y registramos exactamente qué cambios de sistema realiza cada muestra.

para probar las capacidades de bloqueo de malware de un producto, descargamos una carpeta de muestras del almacenamiento en la nube., La protección en tiempo Real en algunos productos se activa inmediatamente, eliminando el malware conocido. Si es necesario para activar la protección en tiempo real, hacemos un solo clic en cada muestra o copiamos la colección en una nueva carpeta. Tomamos nota de cuántas muestras elimina el antivirus a la vista.

a continuación, lanzamos cada muestra restante y observamos si el antivirus la detectó. Registramos el porcentaje total detectado, independientemente de cuándo ocurrió la detección.

la detección de un ataque de malware no es suficiente; el antivirus debe realmente prevenir el ataque., Un pequeño programa interno comprueba el sistema para determinar si el malware logró realizar cambios en el registro o instalar alguno de sus archivos. En el caso de los archivos ejecutables, también comprueba si alguno de esos procesos se está ejecutando realmente. Y tan pronto como se complete la medición, apagamos la máquina virtual.

si un producto impide la instalación de todos los rastros ejecutables por una muestra de malware, gana 8, 9 o 10 puntos, dependiendo de lo bien que evitó saturar el sistema con rastros no ejecutables. Detectar malware pero no impedir la instalación de componentes ejecutables obtiene la mitad de crédito, 5 puntos. Finalmente, si, a pesar del intento de protección del antivirus, uno o más procesos de malware se están ejecutando, eso vale solo 3 puntos. El promedio de todas estas puntuaciones se convierte en la puntuación final de bloqueo de malware del producto.,

Testing Malicious URL Blocking

El Mejor momento para aniquilar el malware es antes de que llegue a su computadora. Muchos productos antivirus se integran con sus navegadores y los alejan de las URL de alojamiento de malware conocidas. Si la protección no se activa en ese nivel, siempre hay una oportunidad de eliminar la carga útil del malware durante o inmediatamente después de la descarga.

mientras que la prueba básica de bloqueo de malware de OUE utiliza el mismo conjunto de muestras durante una temporada, las URL de alojamiento de malware que usamos para probar la protección basada en la Web son diferentes cada vez., Obtenemos una fuente de las URL maliciosas más recientes de MRG-Effitas, con sede en Londres, y normalmente usamos URL que no tienen más de un día de antigüedad.

Usando una pequeña utilidad especialmente diseñada, bajamos por la lista, lanzando cada URL a su vez. Descartamos cualquier que no apunte a una descarga de malware y cualquier que devuelva mensajes de error. Por lo demás, observamos si el antivirus impide el acceso a la URL, borra la descarga o no hace nada. Después de registrar el resultado, la utilidad salta a la siguiente URL de la lista que no está en el mismo dominio., Omitimos CUALQUIER archivo de más de 5 MB, y también omitimos archivos que ya han aparecido en la misma prueba. Nos mantenemos en ello hasta que hayamos acumulado datos de al menos 100 URL Verificadas de alojamiento de malware.

la puntuación en esta prueba es simplemente el porcentaje de URL para las que el antivirus impidió descargar malware, ya sea cortando el acceso a la URL por completo o eliminando el archivo descargado. Las puntuaciones varían ampliamente, pero las mejores herramientas de seguridad gestionan el 90 por ciento o más.,

Testing phishing Detection

¿Por qué recurrir a elaborados troyanos de robo de datos, cuando solo puedes engañar a la gente para que renuncie a sus contraseñas? Esa es la mentalidad de los malhechores que crean y administran sitios web de phishing. Estos sitios fraudulentos imitan bancos y otros sitios sensibles. Si ingresa sus credenciales de inicio de sesión, acaba de regalar las llaves del Reino. Y el phishing es independiente de la plataforma; funciona en cualquier sistema operativo que admita la navegación por la Web.,

estos sitios web falsos suelen quedar en la lista negra no mucho después de su creación, por lo que para las pruebas utilizamos solo las URL de phishing más recientes. Los recopilamos de sitios web orientados al phishing, favoreciendo a aquellos que han sido reportados como fraudes pero que aún no han sido verificados. Esto obliga a los programas de seguridad a utilizar análisis en tiempo real en lugar de depender de listas negras simplistas.

utilizamos cuatro máquinas virtuales para esta prueba, una por el producto que se está probando y otra por la protección contra el phishing integrada en Chrome, Firefox y Microsoft Edge., Un pequeño programa de utilidad lanza cada URL en los cuatro navegadores. Si alguno de ellos devuelve un mensaje de error, descartamos esa URL. Si la página resultante no intenta activamente imitar a otro sitio, o no intenta capturar datos de nombre de usuario y contraseña, la descartamos. Por lo demás, registramos si cada producto detectó o no el fraude.

en muchos casos, el producto bajo prueba ni siquiera puede funcionar tan bien como la protección incorporada en uno o más navegadores.,

probando el filtrado de Spam

en estos días, las cuentas de correo electrónico para la mayoría de los consumidores tienen el spam aspirado de ellas por el proveedor de correo electrónico o por una utilidad que se ejecuta en el servidor de correo electrónico. De hecho, la necesidad de filtrado de spam está disminuyendo constantemente. El laboratorio de pruebas austriaco AV-Comparatives probó la funcionalidad antispam hace unos años, encontrando que incluso Microsoft Outlook bloqueó casi el 90 por ciento del spam, y la mayoría de las suites lo hicieron mejor, algunas de ellas mucho mejor., El laboratorio ni siquiera promete continuar probando los filtros de spam orientados al consumidor, señalando que » varios proveedores están pensando en eliminar la función antispam de sus productos de seguridad para el consumidor.»

en el pasado, ejecutamos nuestras propias pruebas antispam utilizando una cuenta del mundo real que recibe spam y correo válido. El proceso de descargar miles de mensajes y analizar manualmente el contenido de la bandeja de entrada y la carpeta de spam tomó más tiempo y esfuerzo que cualquiera de las otras pruebas prácticas. Gastar el máximo esfuerzo en una característica de importancia mínima ya no tiene sentido.,

todavía hay puntos importantes para informar sobre el filtro de spam de una suite. ¿Qué clientes de correo electrónico admite? ¿Se puede utilizar con un cliente no compatible? ¿Está limitado a cuentas de correo POP3, o también maneja IMAP, Exchange o incluso correo electrónico basado en la Web? En el futuro, consideraremos cuidadosamente las capacidades antispam de cada suite, pero ya no descargaremos ni analizaremos miles de correos electrónicos.,

Testing Security Suite Performance

Cuando su suite de Seguridad Está buscando activamente ataques de malware, defendiéndose contra intrusiones de red, evitando que su navegador visite sitios web peligrosos, etc., claramente está utilizando parte de la CPU de su sistema y otros recursos para hacer su trabajo. Hace algunos años, security suites obtuvo la reputación de absorber tantos recursos de su sistema que el uso de su propia computadora se vio afectado. Las cosas están mucho mejor en estos días, pero todavía realizamos algunas pruebas simples para obtener una idea del efecto de cada suite en el rendimiento del sistema.,

el software de seguridad debe cargarse lo antes posible en el proceso de arranque, para que no encuentre malware que ya tenga el control. Pero los usuarios no quieren esperar más tiempo del necesario para comenzar a usar Windows después de un reinicio. Nuestro script de prueba se ejecuta inmediatamente después del arranque y comienza a pedir a Windows que informe el nivel de uso de la CPU una vez por segundo. Después de 10 segundos seguidos con un uso de CPU no superior al 5 por ciento, declara que el sistema está listo para su uso. Restando el inicio del proceso de arranque (según lo informado por Windows) sabemos cuánto tiempo tomó el proceso de arranque., Ejecutamos muchas repeticiones de esta prueba y comparamos el promedio con el de muchas repeticiones cuando no había ninguna suite presente.

en verdad, probablemente no reinicies más de una vez al día. Una suite de seguridad que ralentice las operaciones diarias de archivos podría tener un impacto más significativo en sus actividades. Para verificar ese tipo de desaceleración, cronometramos un script que mueve y copia una gran colección de archivos grandes a grandes entre unidades. Promediando varias ejecuciones sin suite y varias ejecuciones con la suite de seguridad activa, podemos determinar cuánto ralentizó la suite estas actividades de archivos., Un script similar mide el efecto de la suite en un script que comprime y descomprime la misma colección de archivos.

la ralentización media en estas tres pruebas por las suites con el toque más ligero puede ser inferior al 1 por ciento. En el otro extremo del espectro, muy pocas suites promedian el 25 por ciento, o incluso más. Es posible que en realidad note el impacto de las suites más pesadas.

probar la protección del Firewall

no es tan fácil cuantificar el éxito de un firewall, porque los diferentes proveedores tienen ideas diferentes sobre lo que un firewall debe hacer., Aún así, hay una serie de pruebas que podemos aplicar a la mayoría de ellos.

normalmente, un firewall tiene dos trabajos, protegiendo el equipo de ataques externos y asegurando que los programas no hagan mal uso de la conexión de red. Para probar la protección contra ataques, utilizamos un ordenador físico que se conecta a través del puerto DMZ del router. Esto da el efecto de un ordenador conectado directamente a Internet. Eso es importante para las pruebas, porque una computadora que está conectada a través de un enrutador es efectivamente invisible para Internet en general. Golpeamos el sistema de prueba con escaneos de puertos y otras pruebas basadas en la Web., En la mayoría de los casos nos encontramos con que el firewall oculta completamente el sistema de prueba de estos ataques, poniendo todos los puertos en modo oculto.

el Firewall de Windows integrado maneja stealthing todos los puertos, por lo que esta prueba es solo una línea de base. Pero incluso aquí, hay diferentes opiniones. Los diseñadores de Kaspersky no ven ningún valor en los puertos stealthing siempre y cuando los puertos estén cerrados y el firewall evite activamente el ataque.

El control del programa en los primeros firewalls personales era extremadamente práctico., Cada vez que un programa desconocido intentaba acceder a la red, el cortafuegos abría una consulta preguntando al Usuario si permitía o no el acceso. Este enfoque no es muy efectivo, ya que el usuario generalmente no tiene idea de qué acción es correcta. La mayoría lo permitirá todo. Otros harán clic en Bloquear cada vez, hasta que rompan algún programa importante; después de eso lo permiten todo. Realizamos una comprobación práctica de esta funcionalidad utilizando una pequeña utilidad de navegador codificada en hora, una que siempre calificará como un programa desconocido.,

algunos programas maliciosos intentan evitar este tipo de control de programas simple manipulando o haciéndose pasar por programas de confianza. Cuando nos encontramos con un firewall de la vieja escuela, probamos sus habilidades utilizando utilidades llamadas pruebas de fugas. Estos programas utilizan las mismas técnicas para evadir el control del programa, pero sin ningún tipo de carga maliciosa. Encontramos cada vez menos pruebas de fugas que aún funcionan en las versiones modernas de Windows.,

en el otro extremo del espectro, los mejores firewalls configuran automáticamente los permisos de red para programas buenos conocidos, eliminan programas malos conocidos y aumentan la vigilancia en desconocidos. Si un programa desconocido intenta una conexión sospechosa, el firewall se activa en ese punto para detenerlo.

el Software no es y no puede ser perfecto, por lo que los malos trabajan duro para encontrar agujeros de seguridad en los sistemas operativos, navegadores y aplicaciones populares. Diseñan exploits para comprometer la seguridad del sistema utilizando cualquier vulnerabilidad que encuentren., Naturalmente, el fabricante del producto explotado emite un parche de seguridad tan pronto como sea posible, pero hasta que realmente aplique ese parche, usted es vulnerable.

los firewalls más inteligentes interceptan estos ataques de exploit a nivel de red, por lo que ni siquiera llegan a su computadora. Incluso para aquellos que no escanean a nivel de red, en muchos casos el componente antivirus elimina la carga de malware del exploit. Utilizamos la herramienta de penetración de impacto central para golpear cada sistema de prueba con aproximadamente 30 exploits recientes y registrar qué tan bien el producto de seguridad los defendió.,

finalmente, ejecutamos una comprobación de cordura para ver si un codificador de malware podría desactivar fácilmente la protección de seguridad. Buscamos un interruptor de encendido / apagado en el registro y probamos si se puede usar para desactivar la protección (aunque han pasado años desde que encontramos un producto vulnerable a este ataque). Intentamos terminar los procesos de seguridad utilizando el Administrador de tareas. Y comprobamos si es posible detener o deshabilitar los servicios esenciales de Windows del producto.

Testing Parental Control

Parental Control and monitoring cubre una amplia variedad de programas y características., La utilidad de control parental típica mantiene a los niños alejados de sitios desagradables, monitorea su uso de Internet y permite a los padres determinar cuándo y durante cuánto tiempo se les permite a los niños usar Internet cada día. Otras características van desde limitar los contactos de chat hasta patrullar las publicaciones de Facebook en busca de temas riesgosos.

siempre realizamos una comprobación de cordura para asegurarnos de que el filtro de contenido realmente funciona. Como resultado, encontrar sitios porno para probar es muy fácil. Casi cualquier URL compuesta por un adjetivo de tamaño y el nombre de una parte del cuerpo normalmente cubierta ya es un sitio porno. Muy pocos productos fallan esta prueba.,

utilizamos una pequeña utilidad interna del navegador para verificar que el filtrado de contenido sea independiente del navegador. Emitimos un comando de red de tres palabras (no, No lo publicaremos aquí) que deshabilita algunos filtros de contenido simples. Y comprobamos si podemos evadir el filtro mediante el uso de un sitio web proxy anónimo seguro.

imponer límites de tiempo en la computadora o el uso de Internet de los niños solo es efectivo si los niños no pueden interferir con el cronometraje. Verificamos que la función de programación de tiempo funcione, luego intentamos evadirla restableciendo la fecha y la hora del sistema., Los mejores productos no dependen del reloj del sistema para su fecha y hora.

después de eso, es simplemente una cuestión de probar las características que el programa afirma tener. Si promete la capacidad de bloquear el uso de programas específicos, activamos esa función e intentamos romperla moviendo, copiando o renombrando el programa. Si dice que elimina las malas palabras del correo electrónico o la mensajería instantánea, agregamos una palabra aleatoria a la lista de bloqueo y verificamos que no se envíe. Si afirma que puede limitar los contactos de mensajería instantánea, configuramos una conversación entre dos de nuestras cuentas y luego prohibimos una de ellas., Cualquiera que sea el poder de control o monitoreo que promete el programa, hacemos todo lo posible para ponerlo a prueba.

interpretando las pruebas de laboratorio de Antivirus

no tenemos los recursos para ejecutar el tipo de pruebas de antivirus exhaustivas realizadas por laboratorios independientes de todo el mundo, por lo que prestamos mucha atención a sus hallazgos. Seguimos dos laboratorios que emiten certificaciones y cuatro laboratorios que publican resultados de pruebas puntuados de forma regular, utilizando sus resultados para ayudar a informar nuestras revisiones.

ICSA Labs y West Coast Labs ofrecen una amplia variedad de pruebas de certificación de seguridad., Seguimos específicamente sus certificaciones para la detección y eliminación de malware. Los proveedores de seguridad pagan para que sus productos sean probados, y el proceso incluye la ayuda de los laboratorios para solucionar cualquier problema que impida la certificación. Lo que estamos viendo aquí es el hecho de que el laboratorio encontró el producto lo suficientemente significativo para probar, y el proveedor estaba dispuesto a pagar por las pruebas.

con sede en Magdeburgo, Alemania, el Instituto AV-Test pone continuamente programas antivirus a través de una variedad de pruebas., En la que nos centramos es una prueba de tres partes que otorga hasta 6 puntos en cada una de las tres categorías: protección, rendimiento y usabilidad. Para obtener la certificación, un producto debe ganar un total de 10 puntos sin ceros. Los mejores productos se llevan a casa 18 puntos perfectos en esta prueba.

para probar la protección, los investigadores exponen cada producto al conjunto de referencia de AV-Test de más de 100,000 muestras y a varios miles de muestras extremadamente extendidas., Los productos obtienen crédito por prevenir la infestación en cualquier etapa, ya sea bloqueando el acceso a la URL de alojamiento de malware, detectando el malware usando firmas o evitando que el malware se ejecute. Los mejores productos a menudo alcanzan el 100 por ciento de éxito en esta prueba.

el rendimiento es importante-si el antivirus pone notablemente un lastre en el rendimiento del sistema, algunos usuarios lo apagarán. Los investigadores de AV-Test miden la diferencia en el tiempo requerido para realizar 13 acciones del sistema común con y sin el producto de seguridad presente., Entre estas acciones se encuentran descargar archivos de Internet, copiar archivos tanto localmente como a través de la red, y ejecutar programas comunes. Al promediar varias tiradas, pueden identificar cuánto impacto tiene cada producto.

la prueba de usabilidad no es necesariamente lo que pensarías. No tiene nada que ver con la facilidad de uso o el diseño de la interfaz de usuario. Más bien, mide los problemas de usabilidad que ocurren cuando un programa antivirus marca erróneamente un programa o sitio web legítimo como malicioso o sospechoso., Los investigadores instalan y ejecutan activamente una colección en constante cambio de programas populares, notando cualquier comportamiento extraño del antivirus. Una prueba separada de solo escaneo verifica que el antivirus no identifique ninguno de los más de 600,000 archivos legítimos como malware.

recopilamos los resultados de cuatro (anteriormente cinco) de las muchas pruebas publicadas regularmente por AV-Comparatives, que tiene su sede en Austria y trabaja en estrecha colaboración con la Universidad de Innsbruck. Las herramientas de seguridad que pasan una prueba reciben la certificación estándar; aquellas que fallan se designan como simplemente probadas., Si un programa va más allá del mínimo necesario, puede obtener la certificación Advanced o Advanced+.

la prueba de detección de archivos de AV-Comparatives es una prueba simple y estática que compara cada antivirus con aproximadamente 100,000 muestras de malware, con una prueba de falsos positivos para garantizar la precisión. Y la prueba de rendimiento, al igual que la de AV-Test, mide cualquier impacto en el rendimiento del sistema. Anteriormente, incluimos la prueba heurística / conductual; esta prueba ha sido eliminada.

consideramos que la prueba dinámica de producto completo de AV-Comparatives es la más significativa., Esta prueba tiene como objetivo simular lo más cerca posible la experiencia de un usuario real, permitiendo que todos los componentes del producto de seguridad tomen medidas contra el malware. Finalmente, la prueba de remediación comienza con una colección de malware que todos los productos probados son conocidos por detectar y desafía a los productos de seguridad para restaurar un sistema infestado, eliminando completamente el malware.

donde AV-Test y AV-Comparatives normalmente incluyen de 20 a 24 productos en las pruebas, se Labs generalmente informa sobre no más de 10. Eso es en gran parte debido a la naturaleza de la prueba de este laboratorio., Los investigadores capturan sitios web de alojamiento de malware del mundo real y utilizan una técnica de repetición para que cada producto se encuentre precisamente con la misma descarga u otro ataque basado en la Web. Es extremadamente realista, pero arduo.

Un programa que bloquea totalmente uno de estos ataques, gana tres puntos. Si tomó medidas después de que el ataque comenzó, pero logró eliminar todos los rastros ejecutables, eso vale dos puntos. Y si simplemente terminó el ataque, sin una limpieza completa, todavía obtiene un punto., En el desafortunado caso de que el malware se ejecute gratis en el sistema de prueba, el producto bajo prueba pierde cinco puntos. Debido a esto, algunos productos han puntuado por debajo de cero.

en una prueba separada, los investigadores evalúan qué tan bien cada producto se abstiene de identificar erróneamente el software válido como malicioso, ponderando los resultados en función de la prevalencia de cada programa válido y de cuánto impacto tendría la identificación falsa positiva. Combinan los resultados de estas dos pruebas y certifican productos en uno de los cinco niveles: AAA, AA, A, B y C.,

durante algún tiempo hemos utilizado un feed de muestras suministradas por MRG-Effitas en nuestra prueba práctica de bloqueo de URL maliciosas. Este laboratorio también publica resultados trimestrales para dos pruebas particulares que seguimos. La prueba de certificación 360 Assessment & simula la protección del mundo real contra el malware actual, similar a la prueba dinámica del mundo real utilizada por AV-Comparatives. Un producto que previene completamente cualquier infestación por el conjunto de muestras recibe la certificación de Nivel 1., La certificación de Nivel 2 significa que al menos algunas de las muestras de malware plantaron archivos y otros rastros en el sistema de prueba, pero estos rastros fueron eliminados en el momento del siguiente reinicio. La certificación de banca en línea prueba muy específicamente la protección contra malware financiero y botnets.

elaborar un resumen general de los resultados de laboratorio no es fácil, ya que los laboratorios no prueban la misma colección de programas. Hemos ideado un sistema que normaliza las puntuaciones de cada laboratorio a un valor de 0 a 10., Nuestro gráfico agregado de resultados de laboratorio informa el promedio de estas puntuaciones, el número de pruebas de laboratorio y el número de certificaciones recibidas. Si solo un laboratorio incluye un producto en las pruebas, consideramos que es información insuficiente para una puntuación agregada.

es posible que haya notado que esta lista de métodos de prueba no cubre las redes privadas virtuales o las VPN. Probar una VPN es muy diferente de probar cualquier otra parte de una suite de seguridad, por lo que hemos proporcionado una explicación separada sobre cómo probamos los servicios VPN.