5.4. Построение надежной системы тестирования

При построении системы бэктестинга разработчиком решаются две основные задачи: всесторонняя оценка прибыльности тестируемой стратегии (этой теме посвящен раздел 5.5) и оценка вероятности того, что прибыльность, установленная на исторических данных, будет сохраняться в будущей реальной торговле. На самом деле оценить такую вероятность в терминах формальной теории вероятности не представляется возможным. Поэтому правильнее будет сформулировать вторую задачу разработчика как максимизацию вероятности того, что показатели стратегии не будут существенно ухудшаться при ее использовании в реальной торговле.

Для того чтобы создать надежную систему тестирования, необходимо опираться на следующие взаимосвязанные принципы:

• обоснованное соотношение исторического периода, на котором производится оптимизация стратегии (in-sample period), и периода непосредственного тестирования стратегии (out-of-sample period);

• возможность повторных оптимизаций, осуществляемых по мере продвижения стратегии по ценовой истории (адаптивная оптимизация);

• адекватные средства предотвращения заоптимизированности (overfitting);

• специальные механизмы тестирования устойчивости (robustness) системы тестирования.