一句话:毁掉回测的无非两把刀,偷看未来和漏算成本。先冻结规则、按时间连续收样本、保留段只看一次、把成本写进规则;事后扒出来的规律只是待验假设,当不得证据。
本文是《交易决策与训练系统》30 课的第 25 课。
本课结构图
图的文字版: ① 动手前先冻结环境、触发、排除、入场、失效、退出、成本七项字段。② 按时间顺序连续收样本,剔除的也写明理由。③ 开发段允许改规则,每改一次升版本号。④ 保留段等规则冻结后才拆封,只看一次。⑤ 扣净成本算净期望值。⑥ 净期望值与样本量都过关,移交第 26 课前向测试;不过关则另立新版本,换一段新保留数据。
开场:几百个小时,换来一个“薄”字
有位交易员聊起,他认识的人里能长年靠体育博彩稳赚钱的只有一个朋友。
这朋友从不凭直觉下注,砸了好几百个小时攒出一套量化模型,回测了好多年。模型专吃大众的一个盲区,爱把随机当规律:某支球队连胜时他倾向反押,另一支连败时他也倾向反押,但严卡极具体的条件,每条都有数据撑腰。
跑上实盘,模型确实稳稳赚钱,给他挣出一份不错的副业收入,却也就止步于此了。刨掉庄家抽水与盘口差价,剩下的优势薄得吓人;他得押大注、硬扛深回撤才抠得出那点利润,规模几乎放不大。
倘若当初回测忘了扣抽水,这条曲线会美得让人冲动辞职。正因为他把成本一分不少算进了账,最后才老老实实得出一个“薄”字。
回测场上有两把暗刀:漏算成本这一刀他躲过了,另一把更隐蔽的叫偷看未来。这一课两把一块拆。
原理
偷看未来,不只是把图往后翻了一页
不少人以为偷看未来只是回放时手滑多翻了一根 K 线,真正在回测里漏风的入口隐蔽得多。
入口一:拿事后结果倒推事前定义。 新手爱干事后诸葛亮:赚了的单子都叫“本来该做的”,亏了的自动归为“过度交易”。所谓过度交易只看守没守事前写好的手册,命门在“事先”二字;定义挪到结果之后,什么账都圆得回来。
入口二:线画得够多,总有一条看着聪明。 第 4 课讲过斐波那契思想实验:把图上下颠倒重画一遍,照样能撞上“有效价位”。随便抓一批股票,把随手画的水平线挨个拉去回测,筛出来的本来就大半是噪声。
入口三:用了当时盘面拿不到的信息。 最典型的是新闻:有重大新消息时行情倾向顺势走,没消息却急拉猛砸更该博回归。回测若不分有无新闻,就像统计扑克输赢却遮住公共牌,整批数据全被污染了:两种环境概率截然不同,硬揉在一起平均,搞不好会把一套在新闻突破里本来能打的策略当废品扔掉。
这里藏着两重坑:一是漏记这变量,二是标签贴晚了。“入场时有没重大新消息”必须站在进场那一刻就能答出,不能看完走势再回头补。
入口四:挑样本。 凡符合预设条件的形态都要尽量收进表,不能为了好看挑肥拣瘦。
入口五:同一批数据既调参又验证。 试了十几组参数只端出冠军,跟翻着答案做题没两样。只要规则是盯着结果改出来的,这批数据就不再是新数据了。
事后拆图:产生假设的好办法,但不是证据
第 11 课那道 NQ 识图题就是很漂亮的事后拆图:带着结果挑出四个关键交易日,逐天写理由。顺这路数翻回 2008 年、2015 年 8 月、2024 年 8 月那几轮恐慌抓转折日,能给趋势判断攒素材。
但读理由时要劈成两类:当天收盘就能看到的(跌速、均线偏离度、成交量、连跌天数),能写进规则;后来才知道的(几天后才出的新闻、次日跳空),只能当背景。
第 5 课那位期货交易员花一整年每天标出“回调到 VWAP 的容易单”,也是同类事后标注。拿它练眼力认形态没问题;怕就怕下一步拿着这批事后圈出的图直接宣布“这套规则胜率八成”,把训练素材冒充成证据。
想要真证据,就得把答案藏起来:定死规则再翻底牌。
回测和前向测试,各自回答什么
回测是翻过去同类案例,算胜率和平均盈利,看这批历史样本能不能赚钱;前向测试是从今天起挂模拟或小仓位蹲守预设条件,边打边算。两者守着同一个前提:条件必须在揭晓结果前定死。
回测胜在数据现成,代价是容易偷看;前向测试想偷看也看不了,因为未来还没发生(第 26 课)。
方法
一、先冻结七项字段
收样本前先写死并存档:
- 环境:什么市场、时段、大盘气候才算(第 5 课)。
- 触发:具体发生什么才进场。
- 排除:哪些情形明文不做。
- 入场:怎么进。
- 失效:破哪个价位或条件算错。
- 退出:怎么出。
- 成本:每笔点差、手续费、滑点各估多少。
每动一次规则就升新版本号,旧版结果原样留底,绝不能把 v1 和 v2 拼成一条曲线。
二、连续收样本,被排除的也要记
截图建库是基本功:按形态归类存进笔记软件,起码攒够十几张、最好远多于此,再抠变量和买卖点。有分量的风险额度只给有数据撑腰的形态。
外加两条硬纪律:按时间连续收,不跳着挑“漂亮的”;每剔掉一笔排除项都写清理由,否则亏了就赖“那笔不算”,赚了又吹“肯定会做”。
三、开发段和保留段
把数据切成两段:开发段拿来摸索修改规则,每次记版本;保留段等规则冻结后才拆封,只看一次。
若保留段表现差你又回头调参,它就不再算“没见过的数据”了。想重测可建新版本、换新保留段,但旧验证作废这笔账得认。
四、把成本扣干净
拿一组我们自拟的数字算笔账(期望值算法见第 3 课)。一套突破规则,70% 的时候每笔赚 9 美元,30% 的时候亏 15 美元。毛期望值:
0.70 × 9 − 0.30 × 15 = 6.30 − 4.50 = +1.80 美元
设每笔往返成本 0.8 美元,点差、手续费、滑点全算在内(此数仅作量级演示,不对应任何券商报价;换成你账单上的真实数字,算法不变)。
成本笔笔照付:赢单变成 9 − 0.8 = 8.2 美元,亏单变成 15 + 0.8 = 15.8 美元。
- 净期望值 = 0.70 × 8.2 − 0.30 × 15.8 = 5.74 − 4.74 = +1.00 美元
- 直接扣也一样:1.80 − 0.80 = 1.00。每笔 0.8 美元成本吃掉了 44% 的优势。
成本还会垫高盈亏平衡胜率。不计成本时,p × 9 = (1 − p) × 15,p = 15 ÷ 24 = 62.5%;计入成本后,p × 8.2 = (1 − p) × 15.8,p = 15.8 ÷ 24 ≈ 65.8%。70% 胜率离平衡线的安全垫从 7.5 个点缩到 4.2 个点:回测胜率只要高估 5 个点,扣完费就是亏的。
把成本再往上推几档:
| 每笔成本(假设) | 净期望值 | 盈亏平衡胜率 |
|---|---|---|
| 0 美元 | +1.80 美元 | 62.5% |
| 0.4 美元 | +1.40 美元 | 约 64.2% |
| 0.8 美元 | +1.00 美元 | 约 65.8% |
| 1.8 美元 | 0 | 70.0% |
成本到 1.8 美元净期望值归零,优势全送给了券商和对手盘。优势薄到一定份上,成本就是裁判:开场那位朋友的模型就活在这张表下半截。
五、业绩要能被独立核实
回测给自己看,实盘业绩才给外人看。旁人的业绩至少得占一条:掏得出真实券商对账单,或经第三方独立核实与审计。如今不少日志工具支持表格导入,光甩截图什么也证不了。主张越惊人,证据越得硬。
更多真实案例
好得不可能的曲线
第 3 课拆过一份热议业绩:利润因子 26,胜率近九成。尺子还是那条:异常高的利润因子值得核对样本量、成本与完整性,但没有哪个通用数值能单独判造假。利润因子 = 盈利笔数 ÷ 亏损笔数 × 平均盈利 ÷ 平均亏损(平均亏损取绝对值;无亏损时该比值不定义);保本单占比和平均盈亏比固定时,胜率越高利润因子越高。一位经验证的顶尖日内交易员交过底:他吃不准自己胜率过没过六成,利润因子肯定不到 5。
拿这把尺子给自家回测体检:哪天跑出利润因子 20 的曲线先别庆祝,回头把五个入口挨个查一遍,看踩了哪一个。
想被写进访谈集,先交全部交易记录
一位日内交易员入选知名交易者访谈集。开聊前先过完整审计:公司席位加个人账户的全部交割记录一张不漏上交,汇总拉表估算年化收益;据他所知,对方硬门槛是至少十年实盘,稳健型或高波高弹性型都认。
最细的一环是拉齐口径:他在公司按购买力打单,和外人理解的“本金”两码事,得逐项换算调整。审计过关才开机访谈。
别人怎么验你的实盘,你就该怎么验自己的回测:全量记录、周期够长、口径拉齐。
九成胜率,后来变薄了
第 13 课那位做“首个阴线日”空头的交易员,早年在这形态上打得极猛。他靠图形识别、回测和自有统计摸准它九成以上奏效,果断放大下注,也从中练熟了动态仓位。
聊完他补了句实话:如今大家多少都摸透了,威力小了不少。
样本永远属于过去,市场天天在变。历史上有九成胜率,不保今天还有(第 27 课)。
一条“新闻标签”怎么污染整批数据
拿自拟数字推演一份回测:100 次“无消息急跌后反弹”抄底胜率 60%,混进 40 次“带重大坏消息的急跌”抄底胜率仅 30%。揉一块算,140 次胜率约 51%(72 ÷ 140),看着跟抛硬币差不多,差点让你把整套好规则扔掉。
反过来的错一样常见:看完走势再回头补“有无消息”,反弹的标“没消息”,跌到底的标“有消息”:标签本身偷瞄了结局,“没消息组”胜率自然虚高。
两头毛病同一剂药:标签在进场前定死,写进排除条件。
最容易错的地方
1. 只存成功的截图。 光摆赢单看着总像有规律。改法:凡够上预设条件的都进库,连排除项和止损单一起收进同一张表。
2. 拿事后标签卡事前入场。 “当天有重磅新闻”是看完跌势才贴的吗?每枚标签都得过一遍“进场那一刻我知不知道”这道筛子。
3. 同一批数据既调参又验证。 改规则留在开发段,保留段拆封只看一次,动过参数就换新保留段。
4. 漏扣成本。 前头算例里每笔 0.8 美元的假设成本就啃掉了 44% 的优势;冻结字段时必须把成本写死,没例外。
5. 猛调参数却不记试错次数。 试十几组只端冠军等于把运气当本事;每次改动记下版本号与累计次数,拿试错分母折算证据强度。
6. 把事后拆图当铁证。 挑关键日本身就带主观滤镜,出题人自己也认;事后拆图只产假设,写进下一版规则拿生数据验。
适用边界
回测只回答这套明文规则在过去那段数据上表现如何,既证不了未来必灵,也替不了前向测试(第 26 课);市场气候一变(第 27 课),旧结论随时打折。
样本薄把握就得降,十几张图只是起点,远没到合格线。
靠一次性独门传闻做的单子在历史里找不到对应物,回测毫无意义;要么缩仓要么不做,硬凑曲线纯属自欺。
做外汇和差价合约要多查两样:一是回测点差多取均值或最低值,而实盘在数据发布、周一开盘和清淡时段点差成倍放大,成本栏须按实际出手时段填;二是隔夜掉期利息天天扣加,持仓几天的策略漏算它,期望值必虚高。
练习:二十节点盲回放
第 0 步:热身
找一段不熟的历史下跌,带着结果挑四个关键交易日各写一句理由,再标明每句属当天收盘能看到(速度、均线偏离、成交量、破位),还是事后才知道(后续新闻、次日跳空)。数数四天里有几天借了后视镜的光。
正式练习
- 挑一段还没记熟的历史区间。
- 冻结环境、触发、排除、入场、失效、退出、成本七项字段,存成带时间戳的文件。
- 逐根盲拉回放抓 20 个信号节点,每次揭晓结果前先存好截图、判断与版本号。
- 前 12 个作开发段,允许据此改规则并升版本号;后 8 个作保留检查,拆封后不许再改规则。
- 写结论:v1 在该区间的净期望值、最大不确定项,接下来建 v2 还是转前向测试。
参考写法: 先报数:开发段各版本分别报样本量与净期望值,最终冻结版在保留段 8 个节点上的净期望值记为 Y;若开发段改过规则,绝不能把 20 个节点拼成同一版成绩。再报风险:样本仅 20 个,成本可能估低了。最后拍去向:进前向测试,v2 先不建。严禁写成“已经证明有效”。
评分(满分 15):
- 3 分:开始前冻结规则,带时间戳。
- 3 分:20 个节点连续,排除项可追溯。
- 3 分:判断均先于结果,零补写。
- 2 分:成本和漏单都进了记录。
- 2 分:开发段与保留段切开,保留段只看一次。
- 2 分:每次改规则均升版本号。
补写入场、删失败样本、反复偷瞄保留段,犯任一条本练习不通过。
把胜率和平均盈亏代入期望值计算器比对计费前后;再把净期望值放进蒙特卡洛模拟器,看看 20 个节点的小样本光靠随机波动能甩偏多远。
用得上的工具
模拟器边界: 当前工具按固定胜率、固定盈亏比及每笔当前权益的一定比例生成独立交易;它不是逐笔历史收益重采样,也不直接输出本课固定美元算例的均值置信区间。固定美元算例应按文中公式或单独脚本验算;模拟只展示假设下的路径,不能验证真实优势。
和其他课的关系
- 上游:第 3 课拿样本算期望值,第 5 课写形态定义与排除条件,本课把两样装进“不偷看”的流程;第 22 课遮住结果做复盘守的是同一条纪律。
- 下游:第 26 课前向测试接手通过保留段的规则,用未来行情接着验;第 27 课识别策略漂移,对付规则随时间变薄。
用 NQ Replay 练这一课
回放不能倒带,配上“未练过”选择器专挑生面孔日子,偷看未来最常漏风的两个口子就堵死了。NQ Replay 是我们自己做的应用,可在模拟环境逐笔回放过去的纳指期货(NQ)交易日,带括号单、prop 式亏损限额和逐笔复盘。可申请 7 天免费试用,需自备有授权的 NQ 逐笔数据。
上一课和下一课
- 上一课:第 24 课:评分表和每周复盘
- 下一课:第 26 课:前向测试和最小样本量
本文仅作交易教育用途,不构成任何投资建议,也不承诺任何收益。真实案例中的股票代码、日期和行情来自公开资料;文中交易者的个人盈亏与统计数字经过调整;示意算例的数字为作者自拟。交易有亏损风险,请按自己的情况独立判断。
在计算器里验证
成本扣完,优势还剩多少?
算进往返成本以后,期望值和打平胜率变成多少?
例(数字自拟):70% 的盈利单每笔 +9 美元,亏损单 -15 美元,毛期望 +1.80 美元。每笔成本 0.80 美元后降到 +1.00 美元,打平胜率从 62.5% 升到约 65.8%。
打开期望值计算器