模型表現 Model performance 模型表现

Sigma Quant 模型表現:縮放、模型與時間切分 Sigma Quant model performance: scaling, models and time splits Sigma Quant 模型表现:缩放、模型与时间切分

模型表現不只看結果數字,也取決於特徵如何縮放、使用哪類神經網路,以及訓練/驗證/測試如何按時間切分。Sigma Quant 以時間滾動方式評估:測試段緊接在訓練段之後,並用訓練段建立服務測試段所需的歷史資料庫。 Performance is not only about headline numbers. It also depends on feature scaling, which neural structures you use, and how train / validation / test blocks are cut in time. Sigma Quant evaluates with a time-roll: each test block sits immediately after its training block, and the training block builds the history database that serves that test block. 模型表现不只看结果数字,也取决于特征如何缩放、使用哪类神经网络,以及训练/验证/测试如何按时间切分。Sigma Quant 以时间滚动方式评估:测试段紧接在训练段之后,并用训练段建立服务测试段所需的历史数据库。

MinMax 與標準化(Normal)縮放

不同特徵的量綱差異很大(例如評分、檔位、賠率與路程)。若不先縮放,模型容易被數值範圍較大的欄位主導。

MinMax 縮放把數值映射到固定區間(常見為 0 至 1),適合有清楚上下界的特徵;標準化(亦稱 z-score/normal scaling)則把特徵調到接近零均值、單位方差,適合分佈較接近鐘形、或需要穩定梯度的神經網路訓練。

  • MinMax:保留相對順序,並把尺度壓到固定範圍
  • 標準化:減少極端量綱差異,讓不同特徵更可比較
  • 縮放參數只應由訓練段估計,再套用到驗證與測試,避免洩漏

MDN 與 BNN 模型

Mixture Density Network(MDN)以混合分佈輸出結果,適合表達賽馬結果的多峰與不確定性,而不是只給單一點估計。

Bayesian Neural Network(BNN)把權重視為分佈,能反映參數不確定性;當資料稀疏或場況罕見時,輸出可更保守。

  • MDN:以機率混合描述多種可能結果
  • BNN:以權重不確定性表達模型信心
  • 兩者都服務於可校準的機率輸出,而非保證賽果

訓練、驗證與測試的時間滾動切分

賽馬資料是時間序列:較晚的賽事不應混入較早的訓練段。Sigma Quant 採用時間滾動(time-roll)切分——每一折的測試資料都緊接在對應訓練資料之後,而不是隨機打散日期。

實務上,每一折會先用訓練段建立歷史資料庫與特徵統計,再服務緊隨其後的測試段;驗證段用於調參與早停,測試段只作最終評估。這樣可模擬真實部署:先用過去賽日學到的資訊,再預測下一段尚未見過的賽日。

  • 時間順序:訓練 →(驗證)→ 測試,測試緊接訓練之後
  • 訓練段:建立歷史庫、縮放參數與模型權重
  • 測試段:只用訓練段已可得的資訊作評估,避免未來洩漏
  • 多折滾動:沿賽季向前推進,重複同樣規則以檢查穩定性

回測、樣本外與即場預測仍須分開

即使切分正確,回測、樣本外測試與即場預測的資料可用性仍不同,不能合併成一個看似更好的百分比。過往表現從不保證下一場結果。

MinMax and normal (standard) scaling

Features sit on very different scales — ratings, draws, odds and distances. Without scaling, large-range columns can dominate the model.

MinMax maps values into a fixed range (often 0–1) and suits features with clear bounds. Standardisation (z-score / normal scaling) centres features near zero mean and unit variance, which often stabilises neural-network training. Scaling statistics must be fit on the training block only, then applied to validation and test.

  • MinMax: keep rank order while compressing scale
  • Standardisation: reduce extreme unit differences across features
  • Fit scalers on train only — never on the future test block

MDN and BNN models

A Mixture Density Network (MDN) outputs a mixture distribution, which suits multi-modal racing outcomes better than a single point estimate.

A Bayesian Neural Network (BNN) treats weights as distributions, so parameter uncertainty is part of the answer — useful when data are sparse or conditions are rare.

  • MDN: mixture probabilities over possible outcomes
  • BNN: weight uncertainty as a confidence signal
  • Both support calibrated chance — not guaranteed results

Time-roll train / validation / test splits

Racing data are a time series: later meetings must not leak into earlier training. Sigma Quant uses a time-roll split — for each fold, the test block sits immediately after the training block instead of shuffling dates at random.

In practice, each fold builds its history database and feature statistics from the training block, then serves the following test block. Validation is used for tuning and early stopping; the test block is reserved for final scoring. That mirrors deployment: learn from past race days, then score the next unseen stretch.

  • Order: train → (validation) → test, with test right after train
  • Train block: history DB, scaler stats and model weights
  • Test block: score only with information available from train
  • Rolling folds: advance along the season under the same rules

Keep backtest, out-of-sample and live tips apart

Even with a correct split, backtest, out-of-sample and live pre-race tips still differ in data availability. Do not blend them into one prettier percentage. Past results never guarantee the next race.

MinMax 与标准化(Normal)缩放

不同特征的量纲差异很大(例如评分、档位、赔率与路程)。若不先缩放,模型容易被数值范围较大的字段主导。

MinMax 缩放把数值映射到固定区间(常见为 0 至 1),适合有清楚上下界的特征;标准化(也称 z-score/normal scaling)则把特征调到接近零均值、单位方差,适合分布较接近钟形、或需要稳定梯度的神经网络训练。

  • MinMax:保留相对顺序,并把尺度压到固定范围
  • 标准化:减少极端量纲差异,让不同特征更可比较
  • 缩放参数只应由训练段估计,再套用到验证与测试,避免泄漏

MDN 与 BNN 模型

Mixture Density Network(MDN)以混合分布输出结果,适合表达赛马结果的多峰与不确定性,而不是只给单一点估计。

Bayesian Neural Network(BNN)把权重视为分布,能反映参数不确定性;当资料稀疏或场况罕见时,输出可更保守。

  • MDN:以概率混合描述多种可能结果
  • BNN:以权重不确定性表达模型信心
  • 两者都服务于可校准的概率输出,而非保证赛果

训练、验证与测试的时间滚动切分

赛马资料是时间序列:较晚的赛事不应混入较早的训练段。Sigma Quant 采用时间滚动(time-roll)切分——每一折的测试资料都紧接在对应训练资料之后,而不是随机打散日期。

实务上,每一折会先用训练段建立历史数据库与特征统计,再服务紧随其后的测试段;验证段用于调参与早停,测试段只作最终评估。这样可模拟真实部署:先用过去赛日学到的信息,再预测下一段尚未见过的赛日。

  • 时间顺序:训练 →(验证)→ 测试,测试紧接训练之后
  • 训练段:建立历史库、缩放参数与模型权重
  • 测试段:只用训练段已可得的信息作评估,避免未来泄漏
  • 多折滚动:沿赛季向前推进,重复同样规则以检查稳定性

回测、样本外与即场预测仍须分开

即使切分正确,回测、样本外测试与即场预测的资料可用性仍不同,不能合并成一个看似更好的百分比。过往表现从不保证下一场结果。

常見問答 FAQ 常见问答

常見問題 Frequently asked questions 常见问题

為甚麼有些資料是空值(null)?

空值通常來自資料來源缺失,或經人工核對後確認來源輸入有誤。我們會保留為 null,不擅自填入猜測值;到模型階段再用研究過的方法處理或填補,並確保該方法只使用當下可得的資訊。

命中率越高是否代表模型越好?

不一定。只選熱門馬通常可以提高命中率,但回報未必改善。模型應同時評估機率是否校準及相對基準是否有增量資訊。

Sigma Quant 是否保證任何回報?

不保證。所有賽馬及投資活動均涉及風險,過往或回測表現並非未來回報的可靠保證。

Why are some data null?

Nulls usually mean the source field was missing, or a human check found a wrong input from the data provider. We keep those values null rather than inventing a fill at ingest time. At modelling time we apply researched methods to handle or impute nulls, using only information available at that cut-off.

Does a higher hit rate mean a better model?

Not necessarily. Betting only favourites can raise hit rate without improving returns. Judge models on probability calibration and whether they add information versus a clear baseline.

Does Sigma Quant guarantee returns?

No. All racing and investment activity carries risk. Past or backtest figures are not a reliable promise of future returns.

为什么有些数据是空值(null)?

空值通常来自数据来源缺失,或经人工核对后确认来源输入有误。我们会保留为 null,不擅自填入猜测值;到模型阶段再用研究过的方法处理或填补,并确保该方法只使用当下可得的信息。

命中率越高是否代表模型越好?

不一定。只选热门马通常可以提高命中率,但回报未必改善。模型应同时评估概率是否校准及相对基准是否有增量信息。

Sigma Quant 是否保证任何回报?

不保证。所有赛马及投资活动均涉及风险,过往或回测表现并非未来回报的可靠保证。