Backtest : méthodologie & comment le mettre en place

Depuis quelques jours j'échange avec Riteam en MP sur les backtests. Pour en faire profiter tout le monde et avoir des avis différents, je vais énumérer ici les principes que j'ai pu acquérir.
Il serait bon de compléter cette liste avec vos remarques.

Donc pour qu'un backtest soit satisfaisant, il faut :

- qu'il soit valable sur toutes les UT (du monthly au 30mn => surtout le 30mn )
- il doit être réalisé sur des milliers d'actions,

Bon, j'avoue que c'est maigre, mais c'est un début

raster a écrit:

................. Donc pour qu'un backtest soit satisfaisant, il faut : - qu'il soit valable sur toutes les UT (du monthly au 30mn => surtout le 30mn ) - il doit être réalisé sur des milliers d'actions, Bon, j'avoue que c'est maigre, mais c'est un début

Bonjour raster,

Je ne fais pas de backtest mais suis simplement mes trades pour déterminer mes failles. Alors je ne peux pas apporter une grande aide puisque mes seules tentatives faites le furent avec un logiciel un peu trop buggé. Mais j'ai acquis aves quelques lectures en plus une certaine perception de la chose.

As tu plus d'explication sur les conclusions relatives à ces deux points ?

1 valable sur toutes les UT et surtout le 30mn. Pour avoir fait quelques expériences en analyse dynamique (cela est très probablement vrai avec d'autres méthodes) j'ai noté comme tous qu'à mesure que l'UT se réduit H vers 30" puis en dessous, le nombre de signaux augmente plus vite mais aussi semble donner de plus en plus de faux signaux et ce pour des gains pas très élevés (même sans des frais de courtage) . Mais de la à conclure que ce qui marche en 30" est bon pour l'hebdomadaire je n'en suis pas convaincu (ni du contraire).

2 la taille de l'échantillon.
Plus que le nombre de titres testés je dirais la quantité de trades réalisés et mesurés est importante.
Maintenant une méthode peut être ciblée sur un indice CAC, MID 100 voir même quelques titres bien particulier (très forte volatilité par exemple) .
Je veux dire par là que je n'attends pas qu'une méthode soit universelle bien au contraire mais très ciblée et avec les paramétrage de ce ciblage (autrement dit des restrictions ou des modification de paramétres fonction des titres ou Ut ou autre encore)


En complément je dirais que certains travaux dans ce sens de backtest (le terme ne devait pas exister à cette époque des années 1980_1990 ) des mesures ont été réalisées par certains américain comme Morris sur les Chandeliers et Bulkowski sur les figures chartistes. Les deux travaillant sur des échelles à niveau hulain de l'époque les jours et semaine vu que l'informatique n'atait pas ce que nous avons actuellement.
Dans la revus S&C 5Stocks & Commodities) j'ai souvent vu des méthodes très pointues mais limités à l'indice DJ, Nas ou S&P500 et un seul des trois. Et là des stats à la pelle.

Je n'ai pas trouvé de statistiques plus récentes sur de tels travaux et appliquées à des périodes plus courtes, c'est dommage.

En conclusion donc je pense qu'une argumentation des éléments annoncés soit réalisables et que ces résultats ne soient pas une liste sans plus

Merci d'avoir amorcé cette discussio qui devrait en interesser certains

Salut raster et jcd,
J'ai pas l'impression que tant de gens que ca backtestent..

- Je vais rajouter que le système ne doit pas être testé avec une erreure post-dictive ( on utilise les données MM, range de la journée alrs qu'on est pas suposé la connaitre)

- Les historiques doivent êtres on ne peut plus clean

- Le niveau optimisation doit être restraint, normalement un système trop optimisé ne devrait de toutes facons pas reussir le tests sur des support variés et nombreux

[quote="arsneufe"]Salut raster et jcd,
J'ai pas l'impression que tant de gens que ca backtestent..

..............quote]

Bonjour arsneufe,

Perso je pense que le terme de backtest et [b]TRES utilisé par les vendeurs de logiciels [/b]qui ont cette fonctionnalité et en plus ils ont des modéles ou exemples fulgurants jusqu'à des 1000 % ou plus l'an.

En fait j'ai abandonné de regarder cela suite à des découvertes de bug dans le logiciel que j'utilisé d'une part et d'autre par l'impossibilité matériel de mettre en musique le système une fois testé. Il faudrait passer les ordres automatiquement et en aveugle.

Mais ces outils évoluerons certainement à terme et la position sera probablement à revoir.

Le premier problème à résoudre pour faire du backtest, est de posséder un logiciel qui peut tester la stratégie sur la totalité du marché, et ça PRT ne le fait pas.

Je n'ai réalisé du backtest que sur metastock, et là c'est encore restreint car on ne peut backtester que sur une liste d'actions importée.

J'ai testé sur WealthLab et là on peut screener tout le marché, mais quel cauchemar pour programmer ça.

Il parait que tradestation peut le faire. Il y en a surement bien d'autres

avec metastock le backtest est bugged => il faut utiliser un plugin

http://www.compuvision.com.au/index.htm
celui là par exemple

bah je vais prepared un truc , des que je retrouve un peu de tps

Je ne connaissais pas la solution de wealthlab !
Y a t'il d'avantage de programmation qu'avec tradesim ? j'imagine qu'il faut avoir un compte chez eux ..

je confirme Metastock + tradesim est assez correct sinon qu'il manque la mesure de la max DD instantanée. pour exemple je l'utilise là http://daily-bourse.fr/forum-BACKTEST_Sell_in_may_and_go_aw-vtptc-3228.php

wealthlab est buggué =>

Il ne faut pas nécessairement etre positif sur toutes les time frames, ni tester sur un millier d'actions, enfin, si tu arrives à trouver une perle pareille, je pense que tu peux y aller les yeux fermés.

Déjà, tu trouveras rarement quelque chose d'exploitable en dessous de 15 min d'ut, celà est général et vaut aussi bien pour les discrétionnaires. Ensuite, il est rare de trouver un support dont les mouvements sont identiques en intraday et en daily, mais ce n'est pas pour celà que la solution qui marche en daily n'est pas bonne...Il faut juste vérifier pour une solution 30 min que 15 min et 60 min sont positifs.

Ensuite, pour backtester un millier d'action, mis à part que tu risques d'avoir un message du type" estimated time to completion = 346678899 minutes ", les backtests servent justement à chercher les meilleurs supports et une centaine de supports apparait déjà important. Plus tu utilises un portfolio large, moins les resultats sont bons...car la sélection des supports est plus importante que le système lui meme.

Pour la plateforme, j'utilise TradeStation, la plus fiable mais qui ne permet pas le backtest de portfolio. Sinon, amibroker est bien et il parait que tradersstudio est une bombe.

Si tu veux en savoir plus sur les backtests, viens sur mon nouveau site : http://www.autotradingforums.com
salut

Bonjour,

Quelques réflexions sur le backtest.
Le bon résultat d'un backtest est fonction des critères de déclenchement des ordres(LAPALISSADE). Si le choix de conditions est de bonne facture l'on peut affirmer que l'on tirera le maximun du support traité. Dans tous les cas nous aurons des résultats positifs quel que soit le support, les pourcentages obtenus étant trés variables ( écart de 1 à 30).
J'ai vérifié la crédibilité du module de backtest de mon logiciel en créant un script de similation (de backtest), les résultats sont identiques lorsqu'on applique le même système de profit. Cette approche m'a permis de faire le calcul des rendements cumulé et en apport fixe.

On peut affirmer qu'à partir d'un système efficace (> 90% des trades gagnants) plus on choisit une période courte plus on gagne. Toutefois à ce niveau là on est confronté suivant le support choisi ,au décalage du passage d'ordre, au frais par rapport au gain, à son assiduité face à la plateforme. Il n'en demeure pas moins que les futures exigent un timing rapide mais les actions un timing beaucoup plus long.Il est beaucoup moins difficile de faire du scalping sur l'indice que de vouloir faire des trades rapides sur les actions.
Personnellement j'envisage sur le marché des actions des trades de MOYEN TERME et LONG TERME car je n'ai jamais sû m'en sortir en COURT TERME.
Chercher à automatiser le passage des ordres nécessite un système de profit ayant un excellent rapport théorique pour n'en retirer qu'une partie dans la pratique suffisamment correcte pour être rentable . Cette perte en ligne entre théorie et pratique provient du fait que le l'approche finale est dynamique, on est confronté à des ordres qui sont remis en cause (invalidations dûes aux variations de marché), il nous faut donc patienter et entrer sur le marché avec certaines garanties, l'une des meilleures est la théorie d'ELLIOTT qui en obéissant à une fractalisation permet de gérer le futur.Cette théorie bien que trés séduisante est difficile car le comptage des vagues est assujeti au concept de calcul des vagues . Ce modéle doit obéir aux régles fondalentales de la théorie d'ELLIOTT sinon on est hors sujet.
La bienfait de toute théorie réside par son application dans la pratique qui révélera si le modèle est viable (je suis encore en expérimentation de mon modèle, donc je ne peux pas encore affirmer si les résultats escomptés sont bons mais ils paraissent prometteurs et fiables).

ce qui importe le plus en backtest => il faut que ce soit réalisable .
pour un systeme daily => entrée à j+1 ,sortie à j+1 => sinon c'est trop simple.
calculer la taille de la position par rapport aux volumes sur le support.( dans le cas des actions)


le but n'est pas de faire une equity curve qui grimpe vite,
mais de faire une equity curve qui gagne => c'est pas pareil

90% de reussite n'est pas necessaire pour que le systeme soit rentable
=> il faut un mini de 70% pour rester viable.

enfin ,un systeme moderne s'adapte aux conditions du marché
=> volatilité, tendance globale, detection de range, cas typiks, exceptions, coup de bol, ....

il est preferable de comprendre ce que l'on utilise.
par exemple si vous utilisez un rsi et un momentum dans le même systeme
=> vous zavez raté une etape

on en reparlera courrant decembre...

euh Riteam,

>pour un systeme daily => entrée à j+1 ,sortie à j+1 => sinon c'est trop simple.
il faut forcement considerer qu'on travail sur un système EOD ?
non par ce qu'on peut imaginer exploiter l'info open, min max du jour en cours quand même
pour ouvrir ou cloturer un pos ?

> il faut un mini de 70% pour rester viable.
tiens pour quoi ca , 70 % net de frais c'est canon non ?

D'ici quelques temps je vais faire quelques backtests en daily, je me demande jusqu'à combien
de rendement je jetterais un système potable ..