Pensar mejor

¿Por qué dos analistas pueden observar las mismas evidencias y llegar a conclusiones diferentes? Las técnicas de análisis estructurado nacieron para introducir mayor rigor en este tipo de razonamientos. Desde el Analysis of Competing Hypotheses de Richards Heuer hasta nuestros dias, su evolución plantea una cuestión fundamental, cómo es mejorar nuestra forma de pensar y analizar la información para construir una inteligencia más rigurosa, crítica y fundamentada, capaz de cuestionar nuestras propias interpretaciones y reducir la influencia de los sesgos cognitivos.

Las evidencias que parecen hablar por sí solas

Imaginemos que una empresa descubre que alguien ha accedido a documentación confidencial y la ha transferido hacia servidores externos. Durante la investigación, el equipo de seguridad identifica herramientas y procedimientos utilizados anteriormente en campañas de ciberespionaje pero ,¿qué ocurre si esas herramientas están disponibles públicamente? ¿Y si las credenciales utilizadas fueron comprometidas por un grupo criminal? Incluso podría tratarse de un atacante que está intentando reproducir las técnicas de otro actor para dificultar su identificación. Las evidencias observadas pueden ser auténticas y, aun así, la interpretación resultar equivocada.

Este es uno de los desafíos centrales de la ciberinteligencia, donde su objetivo no consiste únicamente en recopilar indicadores de compromiso (IoC), analizar malware o identificar tácticas, técnicas y procedimientos (TTP), sino en transformar esas observaciones en conocimiento que permita comprender amenazas y tomar decisiones fundamentadas.

El problema es que nuestro cerebro tiende a buscar explicaciones coherentes, pues cuando una hipótesis parece convincente, comenzamos a interpretar la información a través de ella, favoreciendo aquello que respalda nuestras expectativas, a pesar de que no siempre somos conscientes de ese proceso y, en ocasiones, nuestra propia experiencia profesional puede reforzarlo.

Para afrontar estas dificultades, se han desarrollado metodologías que permiten hacer explícito el razonamiento, comparar explicaciones y cuestionar conclusiones.

¿Qué es realmente el análisis estructurado?

Son técnicas diseñadas para organizar el razonamiento analítico mediante procedimientos explícitos, documentables y revisables, con el objetivo de identificar supuestos, evaluar evidencias, considerar hipótesis alternativas y reducir las interferencias.

La diferencia respecto a un análisis exclusivamente intuitivo no está en que estas sustituyan el criterio profesional por fórmulas, sino en que obligan a explicar cómo se ha llegado a una conclusión.

Por ejemplo, si un analista atribuye una campaña a un determinado grupo de amenazas, debería poder justificar qué evidencias sustentan esa interpretación, qué explicaciones alternativas ha descartado y qué información podría obligarle a revisar su evaluación y, por eso, es importante entender que no existe un procedimiento único, si bien una de las referencias fundamentales es nace de A Tradecraft Primer: Structured Analytic Techniques for Improving Intelligence Analysis, publicado por el Gobierno estadounidense en 2009, donde se presentan doce técnicas organizadas en tres grandes categorías:

Las técnicas diagnósticas buscan examinar los fundamentos del análisis. 

  • Key Assumptions Check, por ejemplo, permite identificar las premisas que estamos dando por verdaderas
  • Quality of Information Check evalúa la procedencia, fiabilidad y consistencia de las fuentes
  • Indicators or Signposts of Change establece señales que permitirían detectar cambios en una situación.

Las técnicas de contraste intentan cuestionar las interpretaciones dominantes. 

  • Devil’s Advocacy obliga a construir argumentos contra una conclusión aparentemente sólida. 
  • Team A/Team B permite que equipos distintos elaboren evaluaciones alternativas, pues su objetivo es evitar que el consenso o las primeras impresiones sustituyan al examen crítico.

Finalmente, las técnicas imaginativas buscan ampliar las posibilidades consideradas durante una investigación. 

  • Structured Brainstorming: permite generar ideas e hipótesis de manera organizada, fomentando diferentes perspectivas y evitando descartar explicaciones prematuramente.
  • Outside-In Thinking: analiza una situación desde el contexto externo, considerando factores políticos, económicos, tecnológicos o sociales que pueden influir en el comportamiento de los actores.
  • Red Team Analysis: adopta la perspectiva de un adversario para comprender sus motivaciones, capacidades, objetivos y posibles líneas de actuación.
  • Alternative Futures Analysis: construye y compara diferentes escenarios futuros para explorar cómo podría evolucionar una situación y qué factores determinarían cada resultado.

Esta clasificación responde a la función principal de cada técnica, pero no significa que sean excluyentes, por lo que un mismo problema puede requerir examinar supuestos, generar explicaciones alternativas, contrastarlas y cuestionar la conclusión final.

¿Cómo se articula una investigación utilizando SAT?

Partiendo de aquí, pensemos en un equipo que debe determinar si varias intrusiones pertenecen a una misma campaña.

  • Definir la pregunta. En lugar de investigar genéricamente una amenaza, debemos establecer cuestiones concretas. ¿Las intrusiones detectadas forman parte de una misma campaña o responden a actividades independientes? ¿Qué relación existe entre los actores, las infraestructuras y las técnicas observadas? ¿Qué evidencias permitirían distinguir entre las distintas explicaciones?
  • Identificar los hechos y revisar las fuentes. Una vez recopiladas, el primer paso consiste en construir un registro de evidencias, donde cada observación se documenta individualmente, indicando su identificador, procedencia, fecha, contexto y nivel de verificación para que, a posteriori, descompongamos la información según su naturaleza y las relaciones que presenta, clasificando las observaciones por tipo —infraestructura, malware, comportamiento, identidad o actividad de red—, ordenándose cronológicamente para reconstruir la secuencia de los acontecimientos y representándose mediante grafos de relaciones que conecten direcciones IP, dominios, herramientas, sistemas comprometidos y campañas conocidas, los que permitan identificar patrones compartidos, contradicciones y elementos que requieren investigación adicional, sin asumir que una relación observada implica necesariamente una misma autoría.
  • Una vez estructurada, la información se somete a una evaluación de calidad en la que se examina la fiabilidad de las fuentes, la integridad de los datos, su corroboración independiente y las posibles inconsistencias.
  • Hacer explícitos los supuestos. La técnica se articula en cuatro fases. Primero, se formula explícitamente el juicio analítico que se pretende examinar. Después, se identifican todas las premisas, tanto declaradas como implícitas, que tendrían que ser ciertas para sostenerlo. A continuación, cada supuesto se somete a una revisión crítica: ¿qué evidencias lo respaldan?, ¿qué grado de confianza merece?, ¿en qué circunstancias dejaría de ser válido? Finalmente, se seleccionan los supuestos realmente críticos, es decir, aquellos cuya falsedad modificaría sustancialmente la conclusión.
  • Formular hipótesis alternativas. Una vez identificadas las evidencias y revisados los supuestos, el siguiente paso consiste en formular explicaciones alternativas que permitan responder a la pregunta inicial. El proceso comienza con una pregunta focal, formulada de manera neutral para evitar condicionar las respuestas estilo «¿Qué explicaciones podrían justificar las similitudes técnicas observadas entre varias intrusiones?». Posteriormente s abren dos fases:
    • Una divergente, donde cada participante propone posibles explicaciones sin que estas sean juzgadas o descartadas prematuramente, pues las ideas se registran individualmente y se presentan. El objetivo en esta fase no es determinar cuál parece más probable, sino ampliar el conjunto de posibilidades y evitar el cierre prematuro del análisis.
    • Una convergente donde las aportaciones se agrupan por similitud, se identifican relaciones entre ellas y se distinguen las explicaciones causales de los factores contextuales o de las simples observaciones. Las ideas redundantes pueden fusionarse y las que no encajan con las demás se revisan antes de descartarlas, ya que podrían revelar una perspectiva no considerada.
  • El resultado debe transformarse en un conjunto de hipótesis claras y contrastables, evitando formulaciones ambiguas o excesivamente generales, donde cada hipótesis debe describir una explicación concreta del problema e ir acompañada de las observaciones que esperaríamos encontrar si fuera correcta y de aquellas que podrían contradecirla.
  • Contrastar las hipótesis. Una vez formuladas las hipótesis alternativas, el siguiente paso consiste en contrastarlas sistemáticamente con las evidencias disponibles. Para ello puede utilizarse Analysis of Competing Hypotheses (ACH), una técnica desarrollada por Richards J. Heuer Jr. cuyo objetivo es identificar qué explicaciones resisten mejor el contraste con la información, prestando especial atención a las evidencias que las contradicen.
    • El procedimiento comienza construyendo una matriz de hipótesis y evidencias donde las hipótesis se sitúan en columnas y las observaciones en filas, conservando para cada una su referencia, procedencia y valoración de fiabilidad.
    • Cada relación se clasifica según su consistencia: evidencia fuertemente consistente (+2), consistente (+1), neutral (0), inconsistente (−1) y fuertemente inconsistente (−2). Estas valoraciones deben justificarse y pueden acompañarse de una evaluación separada de la credibilidad y relevancia de cada evidencia. Los valores son juicios comparativos, no probabilidades.
    • El siguiente paso consiste en evaluar la diagnosticidad, es decir, la capacidad de cada evidencia para distinguir entre hipótesis. Por ejemplo, el uso de malware público resulta compatible con las tres explicaciones y, por tanto, apenas ayuda a diferenciarlas, pero las coincidencias en identificadores operativos no públicos podrían tener mayor valor discriminatorio, siempre que se descarte su reutilización o exposición a terceros.
    • Una vez identificadas las evidencias más diagnósticas, se refina la matriz, revisando las valoraciones, las posibles dependencias entre fuentes y la necesidad de incorporar nuevas observaciones. Las evidencias no diagnósticas pueden retirarse de la matriz de contraste, aunque deben conservarse en el expediente de investigación.
    • Posteriormente, el analista examina cada hipótesis en conjunto, prestando especial atención a las inconsistencias considerando la credibilidad, independencia y relevancia de los datos, si bien hay que tener en cuenta que la hipótesis menos contradicha no queda automáticamente demostrada ni puede asociarse directamente con un porcentaje de probabilidad.
    • Finalmente, se realiza un análisis de sensibilidad para comprobar qué ocurriría si alguna evidencia crítica fuera falsa, engañosa o admitiera otra interpretación.
  • Cuestionar la evaluación. Una vez contrastadas las hipótesis, se revisa críticamente por un tercero fuera del razonamiento la conclusión provisional mediante dos técnicas complementarias como Devil’s Advocacy, que consiste en cuestionar la evaluación, revisando sus evidencias, supuestos y posibles contradicciones
  • Comunicar conclusiones y establecer indicadores de seguimiento. El producto final debe explicar qué hipótesis se considera más plausible, con qué confianza y qué nuevas observaciones podrían modificarla.

El resultado no es simplemente una conclusión, sino un razonamiento que puede reconstruirse y discutir.

Los sesgos cognitivos

Las técnicas surgieron, en parte, para afrontar las limitaciones del razonamiento humano. Richards J. Heuer Jr., en Psychology of Intelligence Analysis (1999), explicó cómo los modelos mentales, las expectativas y distintos sesgos pueden influir en la percepción, la evaluación de evidencias y la formulación de conclusiones, si bien eso no implica que se eliminen automáticamente ni que no aparezcan errores.

  • Sesgo de confirmación: Buscar indicadores que respalden una atribución previa e ignorar los contradictorios.
  • Sesgo de anclaje: Mantener una atribución inicial pese a nuevas evidencias.
  • Sesgo de disponibilidad: Considerar más probable una amenaza porque ha aparecido recientemente en numerosos informes.
  • Cierre prematuro: Detener la investigación cuando aparece la primera explicación satisfactoria.
  • Sesgo de representatividad: Atribuir un ataque porque sus técnicas se parecen a las de un grupo conocido.
  • Desatención a las tasas base: Ignorar la frecuencia general de una actividad al interpretar una coincidencia técnica.
  • Sesgo de viveza: Conceder demasiado peso a un indicador llamativo frente a información menos espectacular.
  • Perseverancia de las creencias: Mantener una conclusión incluso después de desacreditar una evidencia fundamental.
  • Sesgo de retrospectiva: Considerar evidente un ataque después de conocer su resultado.
  • Pensamiento grupal: Aceptar una interpretación porque todo el equipo parece compartirla.
  • Mirror Imaging: Suponer que un adversario actuaría según nuestra propia lógica y prioridades.
  • Error fundamental de atribución: Explicar una conducta por características del actor sin considerar suficientemente el contexto.
  • Ilusión de causalidad: Interpretar una coincidencia temporal como una relación causal demostrada.
  • Sesgo de encuadre: Llegar a conclusiones distintas según cómo se formule la pregunta.
  • Falacia del coste hundido: Mantener una atribución porque se han invertido muchos recursos en investigarla.

Assessment Tabling

Pero desde 2009 ha llovido y mucho y el mundo del análisis, si bien mantiene la base, ha seguido evolucionando y en 2024, Rad Miksa publicó en Intelligence and National Security el artículo Assessment tabling: an integrated structured analytic technique for improved intelligence analysis and reasoning visualisation.

La propuesta parte de una dificultad diferente a la que abordó originalmente Heuer, pues el problema ya no es solamente que los analistas tiendan a favorecer una hipótesis, sino que el mundo de las técnicas se puede volver complejo, algo que el Assessment Tabling pretende aliviar como una técnica integrada para reducir la fragmentación del análisis y hacer más visible cómo se construyen las evaluaciones.

Pero además, la propuesta puede utilizarse para analizar acciones futuras mediante tres factores:

  • Intención: si existen motivos o indicios de que un actor desea realizar una acción.
  • Capacidad: si dispone de las habilidades, conocimientos, recursos y herramientas necesarios.
  • Oportunidad: si tiene acceso al objetivo y se dan las circunstancias necesarias para ejecutar la acción.

La distinción entre capacidad y oportunidad es especialmente relevante, pues un actor puede disponer de medios técnicos para comprometer una infraestructura, pero no tener actualmente una vía de acceso. Del mismo modo, una vulnerabilidad expuesta puede representar una oportunidad sin que existan indicios de que un adversario concreto tenga interés en explotarla, por lo que el razonamiento no solo reconstruye, sino que permite distinguir situaciones que, de otro modo, podrían mezclarse en una afirmación demasiado general como «el atacante probablemente volverá».

Aun con los cambios, ¿es suficiente?

El estudio Effects of task structure and confirmation bias in alternativa hypotheses evaluation planteó una cuestión aparentemente sencilla: ¿la manera de organizar las evidencias en una matriz influye en cómo evaluamos las hipótesis?

La investigación comparó diferentes formas de presentar la información. En la matriz tradicional, las hipótesis aparecen en columnas y las evidencias en filas, si bien los investigadores también analizaron una disposición inversa, con las hipótesis en filas y las evidencias en columnas, y una presentación en forma de texto.

El primer experimento, realizado con 161 participantes, encontró que quienes utilizaron la matriz con hipótesis en filas mostraron una menor tendencia al sesgo de confirmación. En cambio, la disposición tradicional no produjo esa reducción en las condiciones estudiadas y tampoco mostró ventajas en la sensibilidad a la credibilidad de las evidencias.

El segundo estudio, realizado con 62 analistas militares neerlandeses, encontró que la mayoría no mostraba sesgo de confirmación en la tarea evaluada y sí tenía en cuenta la credibilidad de las evidencias.

Estos resultados son importantes por dos motivos porque muestran que un detalle aparentemente menor, como la orientación de una matriz, puede incluso influir en el razonamiento.

Esto no implica que debamos abandonar la matriz o invertir siempre sus tablas, sino que la eficacia de una técnica analítica debe estudiarse empíricamente, no darse por supuesta porque su procedimiento parezca lógico, así como que las técnicas pueden introducir problemas propios, por lo que el análisis estructurado moderno debería combinar procedimientos claros con evaluación científica de sus resultados.

El riesgo y el razonamiento estructurado

Pero esto es un blog de riesgos y no podía falta la conexión. Si examinamos las técnicas desde una perspectiva más amplia, encontramos un paralelismo interesante con las teorías del riesgo, pues ambas responden, en esencia, a un mismo problema, que es cómo construir conocimiento y tomar decisiones sobre una realidad que solo conocemos parcialmente.

De hecho, la analogía aparece en la propia construcción del análisis, pues con las técnicas formulamos hipótesis alternativas para explicar un acontecimiento y examinamos qué evidencias permiten diferenciarlas, mientras que en el análisis de riesgos construimos escenarios posibles, identificamos las condiciones que podrían hacerlos realidad y evaluamos su plausibilidad y sus consecuencias.

Es decir, en ambos casos trabajamos con representaciones simplificadas de la realidad, conscientes de que el modelo puede ser incompleto o estar equivocado, pero buscan organizar lo posible para poder razonarlo, sobre todo si distinguimos entre incertidumbre aleatoria, asociada a la variabilidad de los acontecimientos, e incertidumbre epistémica, derivada de lo que desconocemos o comprendemos de forma imperfecta, pues ambas pueden entenderse como mecanismos para examinar el propio riesgo epistemológico del análisis, que es la posibilidad de que nuestras conclusiones estén equivocadas.

Pero la conexión más importante probablemente sea que ninguno de los dos enfoques elimina la incertidumbre, pues sus modelos no son la realidad, sino representaciones provisionales que deben modificarse cuando cambian las evidencias o descubrimos que nuestros supuestos eran incorrectos.

Conclusión

En definitiva, las técnicas estructuradas de analisis nos recuerdan que el valor no reside únicamente en recopilar información, sino en saber interpretarla, pues una buena inteligencia no consiste en tener todas las respuestas, sino en saber cómo construirlas, cuestionarlas y revisarlas.