Metodología
Cómo se audita sin inventarse nada
El principio que gobierna todo lo demás: cuando un dato falta, el hueco se declara — no se rellena con una suposición optimista. Suena obvio y casi nunca se hace, porque un informe con huecos se vende peor que uno lleno.
Los cinco pilares
La nota sale de cinco bloques con peso distinto. Si uno no se puede medir con los datos aportados, los pesos se reparten entre los que sí, y el informe dice cuáles faltaron. Por debajo de la mitad del criterio no emitimos nota: puntuar con menos de la mitad de la evidencia sería inventarse la otra mitad.
| Pilar | Peso | Qué mide |
|---|---|---|
| Sobreajuste | 35 % | PBO, Sharpe corregido por búsqueda, walk-forward y sensibilidad. Es el diferenciador: mide si elegiste bien o tuviste suerte. |
| Riesgo | 20 % | Caída máxima sobre la equidad real y probabilidad de ruina. |
| Microestructura | 20 % | Realismo de los costes: spread, comisión, financiación, y qué pasa al triplicarlos. |
| Estrés | 15 % | Forma de la cola de pérdidas, pérdida esperada en los peores casos y reordenación de la historia. |
| Valor frente a no hacer nada | 10 % | Si la estrategia supera a comprar el activo y esperar. |
Las seis reglas que hacen creíble un «rechazado»
Sin esto, decir que una idea no funciona es solo una opinión. Es el mismo protocolo que aplicamos a nuestras propias hipótesis antes de aplicárselo a nadie.
- Anotar el experimento ANTES de correrlo: qué se prueba, qué se espera y qué contaría como éxito. Fijar el criterio antes de ver el resultado es lo único que impide mover la portería después.
- Mínimo 100 operaciones por celda. Con menos se anota, pero no se concluye.
- Umbral vecino: una señal real sobrevive en los valores de al lado. Si solo funciona en el número exacto que probaste, es ruido con forma de señal.
- Positivo dentro y fuera de muestra, nunca solo en el total combinado.
- Un resultado bonito en un script aparte no cuenta hasta que corre en el motor de verdad.
- El periodo congelado fuera de muestra es el juez final, no otro reajuste sobre los mismos datos ya gastados.
El certificado se puede comprobar sin fiarse de nosotros
Cada informe lleva un identificador y una firma digital Ed25519, con la clave pública publicada. Cualquiera puede verificar que el documento salió de aquí y que no se ha tocado una cifra después.
Y es reproducible: partiendo del mismo historial de operaciones, el análisis genera exactamente los mismos resultados y el mismo identificador. Si dos auditorías del mismo fichero no coinciden, una de las dos está mal, y se puede demostrar cuál.
Qué NO hacemos
No ejecutamos tu bot. No te decimos cómo mejorarlo, ni te damos una lista de indicadores que probar: eso convertiría al auditor en parte de tu búsqueda, y cada prueba adicional sobre los mismos datos consume tu suerte estadística. Es el mismo conflicto de interés que separó la auditoría de la consultoría contable después de Enron.
Tampoco damos asesoramiento de inversión. Un veredicto favorable dice que un programa se sostiene estadísticamente sobre el historial aportado. No dice que vaya a ganar dinero.