【華泰金工林曉明團隊】基于CSCV框架的回測過擬合概率——華泰人工智能系列之二十二

摘要

基于CSCV框架計算三組量化研究案例的回測過擬合概率

本文基于組合對稱交叉驗證(CSCV)框架,以三組量化研究為案例展示回測過擬合概率(PBO)的計算流程,發現兩組多因子選股模型的PBO較低,擇時模型的PBO較高。案例1為7種機器學習模型的多因子選股策略,指數增強組合PBO大多在15%~50%,“XGBoost表現最佳”的結論大概率不是回測過擬合。案例2為6種交叉驗證方法的多因子選股策略,多空組合PBO在20%~50%,“分組時序交叉驗證表現最佳”的結論大概率不是回測過擬合。案例3為雙均線50ETF擇時策略,PBO在50%~90%,“參數組合[11,30]和[11,24]表現最佳”的結論可能為回測過擬合。

 

過擬合可分為兩個層次:訓練過擬合和回測過擬合

華泰人工智能系列多項研究探討過擬合。過擬合可分為訓練過擬合和回測過擬合兩個層次。訓練過擬合是機器學習語境下偏狹義色彩的過擬合,是指機器學習模型在訓練集表現好,在測試集表現差,產生原因是模型超參數選擇不當或者模型過度訓練,解決方案是采用合理的交叉驗證方法選擇模型超參數或迭代次數。回測過擬合是量化研究語境下偏廣義色彩的過擬合,是指量化模型在回測階段表現好,在實盤階段表現差,產生原因是市場規律發生變化,或者對回測期數據噪音的過度學習。回測過擬合難以根除,相對合理的解決方案是借助量化指標檢驗回測過擬合程度。

 

核心思想是計算“訓練集”夏普比率最高的策略在“測試集”的相對排名

CSCV框架下回測過擬合概率的核心思想是:計算“訓練集”夏普比率最高的策略,在“測試集”中的相對排名,如果相對排名靠前,代表回測過擬合概率較低,反之則代表回測過擬合概率較高。“訓練集”和“測試集”的劃分基于組合的思想,將全部回測時間劃分成S份,任取其中S/2份拼接得到“訓練集”,剩余S/2份拼接得到“測試集”,分別計算各條策略的夏普比率,進而得到相對排名,并重復多次,將相對排名大于50%即排在后一半的概率視作回測過擬合概率。回測過擬合概率的計算相對簡單,不僅適用于機器學習策略,還能推廣到其它類型的量化策略。

 

探討回測過擬合概率計算過程中的各項細節

回測過擬合概率的計算過程中包含多項細節。將長度為T的全部回測時間劃分成S份,每份回測時間長度為T/S。T/S越小,組合次數越大,計算時間開銷越大;T/S越大,組合次數越小,策略排名結果受偶然性因素影響更大,實際使用時建議采用較小的T/S比。對策略進行排名時一般采用夏普比率,也可以根據實際需要選擇其它評價指標,例如本文的指數增強組合采用信息比率進行排名更為合理。

 

風險提示:多因子選股和擇時等量化模型都是對歷史投資規律的挖掘,若未來市場投資環境發生變化,則量化投資策略存在失效的可能。回測過擬合概率是將歷史回測表現的時間序列經過簡單打亂重排計算得到,忽略回測的路徑依賴特性,存在過度簡化的可能。


研究背景

回測(Backtesting)是量化策略研究中必不可少的環節,也是量化投資和傳統主動投資的重要區別之一。回測的本質是將某種可被精確刻畫的投資策略,在歷史中進行推演和復現,通過該策略在歷史上的表現,推測它在未來的表現,進而對多組策略加以取舍,形成最終的投資決策。回測這一研究手段的前提假設是歷史會在未來重演。

 

那么,歷史會重演嗎?這個問題恐怕沒有人能回答。如果未來金融市場的規律發生改變,那么歷史回測表現好的投資策略,在未來可能變差。投資策略在未來表現弱于歷史回測表現的現象稱為“回測過擬合”(Backtest Overfitting)。市場規律發生變化是回測過擬合的原因之一。

 

如果市場規律不變,歷史回測表現好的策略在未來表現就會好嗎?如果投資策略在歷史回測表現好,僅僅源于捕捉到個別股票、個別因子或者個別時間段的極端收益,相當于捕捉到數據中的噪音,那么該策略在未來表現很可能出現退化。模型對回測期數據噪音的過度學習是回測過擬合的另一個原因。

 

平心而論,回測并不是“科學”的研究手段。和自然科學的研究相比,如果想要探究溫度、光照對植物光合作用的影響,那么可以采用控制變量法,控制其它影響因素不變,僅改變溫度或光照,比較實驗組和對照組的反應產物含量并得出結論。然而,社會科學尤其是金融領域的研究難以開展實驗,很多時候只能基于歷史挖掘規律。歷史上的規律以及基于規律開發的投資策略完全有可能由隨機因素促成,就像是中彩票,相同的號碼在未來會有多少概率再次中獎呢?

 

盡管回測這一研究手段存在過擬合的風險,無法得出“科學”的研究結論,對于量化策略開發者來說,它仍然是最好的研究工具之一。回測一定程度上反映了策略的優劣,在實踐中我們通常根據回測結果評估策略表現,或是比較不同策略的回測結果來選擇模型或選擇參數組合。

 

此時,認識和測量回測過擬合的風險就顯得尤為重要。在華泰金工《人工智能19:重采樣技術檢驗過擬合》(20190422)中,我們借助Bootstrap重采樣技術構建A股市場“平行世界”,并提出兩種回測過擬合概率的測量方法。本文我們將采用另一種思路,基于Bailey、Borwein、López de Prado和Zhu在2017年發表的論文《The Probability of Backtest Overfitting》中提出的組合對稱交叉驗證(CSCV)框架,系統性地介紹回測過擬合概率的測量方法,并且以實例展示不同類型量化策略的回測過擬合風險。


回測過擬合概率

過擬合的兩個層次:訓練過擬合和回測過擬合

華泰人工智能系列的多項研究探討“過擬合”。在不同語境下,“過擬合”的含義有所不同。我們認為過擬合可以分為兩個層次:訓練過擬合和回測過擬合。

 

訓練過擬合是機器學習語境下偏狹義色彩的過擬合。它是指機器學習模型在訓練集表現好,在測試集表現差,如下圖所示。訓練過擬合的產生原因是模型超參數選擇不當(如樹集成模型),或者模型過度訓練(如神經網絡模型)。訓練過擬合的問題可被解決,解決方案是采用合理的交叉驗證方法選擇模型超參數或者迭代次數。交叉驗證方法在《人工智能14:控制過擬合:從時序交叉驗證談起》(20181128)和《人工智能16:再論時序交叉驗證控制過擬合》(20190218)中有詳細論述。



回測過擬合是量化研究語境下偏廣義色彩的過擬合。它是指量化模型在回測階段表現好,在實盤階段表現差,如下圖所示。回測過擬合的產生原因在研究背景中已有論述,主要是市場規律發生變化,或者源于模型對回測期數據噪音的過度學習。回測過擬合的問題難以根除,相對合理的解決方案是測量回測過擬合的概率,以檢驗回測過擬合的程度。

 


在華泰金工《人工智能19:重采樣技術檢驗過擬合》(20190422)中,我們基于Bootstrap重采樣技術,提出兩種測量方法:1)“平行世界”中各策略回測指標的單因素方差分析的P值;2)“真實世界”最優策略在“平行世界”表現最優的概率。然而,上述兩種測量方法存在兩處缺陷:1)計算過程依賴重采樣得到“平行世界”,計算量相對較大;2)只適用于機器學習選股框架,無法推廣到其它類型的量化策略。

 

本文基于Bailey、Borwein、López de Prado和Zhu在2017年發表的論文《The Probability of Backtest Overfitting》中提出的組合對稱交叉驗證(CSCV)框架,介紹回測過擬合概率的另一種測量方法。


回測過擬合概率PBO的定義

PBO(Probability of Backtest Overfitting)是定量衡量回測過擬合風險的指標,計算方式基于Bailey、Borwein、López de Prado和Zhu在2017年提出的組合對稱交叉驗證(Combinatorially-Symmetric Cross-Validation,簡記為CSCV)框架。假設以夏普比率(Sharpe Ratio,簡記為SR)作為框架中的策略評價指標,那么PBO可按如下方式定義:

                                        

其中,SR表示“測試集”各組策略的夏普比率,n*表示“訓練集”表現最好(夏普比率最高)的那組策略,ME表示中位數。注意到這里的“交叉驗證”、“訓練集”和“測試集”并不完全等價于機器學習傳統意義上的相關概念,但是有異曲同工之處。



上述定義的含義是:“訓練集”夏普比率最高的策略n*,在“測試集”的夏普比率也應該較高,表現至少應優于一半的策略。如果策略n*的測試集夏普比率排名在后50%,那么很有可能屬于回測過擬合。回測過擬合的概率,即為最優策略n*的測試集夏普比率排名位于后50%的概率。

 

PBO的定義引申出新的問題:對于量化策略,尤其是非機器學習策略,通常不存在“訓練集”和“測試集”的概念。PBO是如何根據回測結果劃分“訓練集”和“測試集”呢?下面我們展示PBO的計算步驟:




PBO的計算框架包含以下優點:

1. 保證“訓練集”和“測試集”樣本量相同,使得夏普比率具有可比性;

2. 各組策略關系對等,排除其它影響夏普比率因素的干擾;

3. 劃分數據時將回測時間T劃分為S個子集,每個子集內部保留原始時序。

4. 該框架為非參模型,無需過多假設。

5. 具備靈活性,可以根據實際情況將夏普比率換成其它策略評價指標。


方法

我們針對三組量化研究案例計算回測過擬合概率。三組案例的基本信息如下表所示。



案例1基于華泰金工《人工智能選股周報》。我們跟蹤Stacking、SVM、樸素貝葉斯、隨機森林、XGBoost、邏輯回歸、神經網絡7條機器學習策略在月頻多因子選股的表現。對于每一種機器學習方法,首先將選股模型在每個月末截面期對每只股票的打分視作單因子,進行單因子分層測試;其次根據打分構建中證500指數增強組合,在全部A股中選股,組合構建時相對于中證500指數進行行業中性和市值中性處理。

 

案例1的回測起始日期為2011年2月1日,為了保證回測月份T包含盡可能多的偶因數從而便于劃分子矩陣,我們取回測結束日期為2019年1月31日,即包含完整的96個月共8年數據。此時,子矩陣包含月份T/S可以取6、8、12、16、24、48。在這8年的回測區間內,XGBoost模型在單因子回測和指數增強組合上的表現均優于其余6條策略,如下面四張圖所示。我們將檢驗“XGBoost策略表現最優”結論的回測過擬合概率。


案例2基于華泰金工《人工智能16:再論時序交叉驗證對抗過擬合》(20190218)。我們比較時序、分組時序、K折以及三種基線模型(訓練集折半的K折、亂序遞進式、亂序分組遞進式)共6條策略在月頻多因子選股的表現。這6條策略均為邏輯回歸或均為XGBoost模型,區別在于使用的交叉驗證調參方法不同。對于每一種交叉驗證方法,我們進行單因子分層測試。

 

案例2的回測起始和結束日期和案例1相同,回測區間均為2011年2月1日~2019年1月31日共96個完整月份。子矩陣包含月份T/S取6、8、12、16、24、48。在這8年的回測區間內,無論是邏輯回歸還是XGBoost,分組時序交叉驗證的多空組合表現均優于其余5條策略,XGBoost模型下分組時序交叉驗證的優勢更明顯,如下面兩張圖所示。我們將檢驗“分組時序交叉驗證策略表現最優”結論的回測過擬合概率。


案例3考察基于不同參數組合的50ETF雙均線擇時模型。擇時標的為華夏上證50ETF基金(510050.OF)。擇時信號根據短均線、長均線的關系確定:若以T日收盤價計算的短均線自下而上穿過長均線,并且當前狀態為空倉時,則以T 1日收盤價開倉做多;若以T日收盤價計算的短均線自上而下穿過長均線,并且當前狀態為開倉時,則以T 1日收盤價平倉。

 

案例3的雙均線擇時模型包含兩個關鍵參數:短均線長度和長均線長度。我們采用兩條方案確定參數:1)任選7組備選參數([5,6]、[7,12]、[9,20]、[11,30]、[15,26]、[19,30]、[29,30]),從中選擇回測夏普比率最高的那組參數;2)對短均線長度=5,7,…,29和長均線長度=6,8,…,30進行網格搜索,其中短均線長度需小于長均線長度,共91組備選參數,從中選擇回測夏普比率最高的那組參數。

 

案例3的回測區間為2005年4月1日~2019年3月29日共168個完整月份。子矩陣包含月份T/S取12、14、21、28、42。交易費率為單邊萬二點五。在這14年的回測區間內,參數組合[11,30]在7組備選參數中表現最優,如下圖所示;參數組合[11,24]在91組備選參數中表現最優。我們將分別檢驗上述兩項結論的回測過擬合概率。


這里需要說明的是,案例1、2的回測區間長度和案例3不同。原因在于案例1、2的機器學習多因子選股模型需要72個月的訓練數據,從而導致回測起始日期只能從稍晚的 2011年2月初開始,到2019年1月底為止,包含完整的8年;而案例3的擇時模型最長只需要1個月的數據用來計算長均線,因此回測起始日期可以從較早的2005年4月初開始,到2019年3月底為止,包含完整的14年。



結果

案例1:基于不同機器學習算法的多因子選股模型

我們展示不同T/S比(子矩陣包含月份)下,訓練集最優策略在測試集的相對排名ω的分布情況,ω越小說明測試集表現越好。例如ω=12.5%代表訓練集最優策略在測試集7條策略中排名第1(最優情況),ω=87.5%代表訓練集最優策略在測試集7條策略中排名第7(最差情況)。

 

圖中不同T/S比以不同顏色表示,例如T/S=6代表將96個回測月份以連續6個月為一組劃分成16組,任取其中8組為訓練集,剩余8組為測試集,共12870種組合方式;T/S=48代表將96個回測月份以連續48個月為一組劃分成2組,任取其中1組為訓練集,剩余1組為測試集,共2種組合方式。

 

左下圖展示單因子分層測試多空組合的訓練集最優策略在測試集的相對排名分布。對于各種T/S比,相對排名集中在12.5%的水平,說明訓練集多空組合排名第1的策略在測試集大概率也排名第1,單因子分層測試多空組合的回測過擬合可能性較低。

 

右下圖展示單因子分層測試Top組合的訓練集最優策略在測試集的相對排名分布。對于T/S比為6、8、12、16、24這五種情形,相對排名集中在12.5%和25.0%的水平,說明訓練集Top組合排名第1的策略在測試集大概率排在第1或第2,單因子分層測試Top組合的回測過擬合可能性較低。

 

對于T/S比為48的情形,相對排名50%的概率落在25.0%水平,50%的概率落在87.5%水平。實際上,T/S比為48時,訓練集和測試集的組合方式只有兩種,換言之訓練集多空組合排名第1的策略在測試集一次落在第2,一次墊底。考慮到組合方式過少時,策略排名結果可能受偶然性因素影響更大,得到的結論未必客觀。后面的分析中我們將不考慮T/S比為48的情況。


左下圖展示中證500增強組合凈值的訓練集最優策略在測試集的相對排名分布。對于除T/S=48外的各種T/S比,相對排名分布相對均勻,說明中證500增強組合凈值看似存在回測過擬合的可能。然而,對于指數增強組合而言,凈值的夏普比率并不是好的評價指標,指數增強的目標是在獲得超額收益的同時控制跟蹤誤差,信息比率(相當于超額收益凈值的夏普比率)是更合理的評價指標。

 

右下圖展示中證500增強組合超額收益凈值的訓練集最優策略在測試集的相對排名分布。此時,對于除T/S=48外的各種T/S比,相對排名集中在25.0%和37.5%的水平,說明訓練集信息比率排名第1的策略在測試集大概率排在第2或第3,指數增強組合的回測過擬合可能性相對較低。


總的來看,對于單因子分層回測的多空組合和Top組合,以及構建的中證500指數增強組合,回歸過擬合可能性均較低。我們統計相對排名大于等于50%的概率,得出回測過擬合概率PBO,結果如下表所示。排除指數增強組合夏普比率PBO以及T/S=48這兩種情形,其余各評價指標的PBO整體較低。當T/S=8時,多空組合的PBO為7.4%,Top組合的PBO為20.6%,指數增強組合超額收益凈值的PBO為34.5%。這表明案例1的結論“XGBoost策略表現最優”有較大的概率不是回測過擬合。



案例2:基于不同交叉驗證方法的多因子選股模型

左下圖展示邏輯回歸模型單因子分層測試多空組合的訓練集最優策略在測試集的相對排名分布。對于各種T/S比,相對排名分布相對均勻,整體偏向50%的左側,說明訓練集多空組合排名第1的策略在測試集大概率排名前50%,邏輯回歸模型單因子分層測試多空組合的回測過擬合可能性較低。

 

右下圖展示XGBoost模型單因子分層測試多空組合的訓練集最優策略在測試集的相對排名分布。對于各種T/S比,相對排名集中在28.6%的水平,說明訓練集多空組合排名第1的策略在測試集大概率排名第2,XGBoost模型單因子分層測試多空組合的回測過擬合可能性較低,并且比邏輯回歸模型的回測過擬合程度更低。


我們統計相對排名大于等于50%的概率,得出回測過擬合概率PBO,結果如下表所示。總的來看,除T/S比為48的情形外,邏輯回歸多空組合夏普比率PBO在20%~50%之間,XGBoost多空組合夏普比率PBO在10%~40%之間,兩者的回測過擬合概率均較低,這表明案例2的結論“分組時序交叉驗證策略表現最優”有較大概率不是回測過擬合。同時,XGBoost的回測過擬合概率低于邏輯回歸,這也和此前的研究結論相符,邏輯回歸本身不易發生訓練過擬合,因此分組時序交叉驗證為邏輯回歸帶來的提升有限。

 


案例3:基于不同參數組合的50ETF雙均線擇時模型

左下圖展示在7組備選參數下的訓練集最優策略在測試集的相對排名分布。對于各種T/S比,相對排名集中在62.5%和75.0%的水平,說明訓練集多空組合排名第1的擇時參數在測試集大概率排名第5或第6(即倒數第3或倒數第2),回測過擬合可能性較高。


右上圖展示在全部91組備選參數下的訓練集最優策略在測試集的相對排名分布。對于各種T/S比,相對排名較為均勻,整體偏向50%右側,說明訓練集多空組合排名第1的擇時參數在測試集大概率排名后50%,回測過擬合可能性較高。

 

我們統計相對排名大于等于50%的概率,得出回測過擬合概率PBO,結果如下表所示。除T/S為42的情形外,7種參數選擇方式下的PBO在70%~90%之間,91種參數選擇方式下的PBO在50%~70%之間,兩者的回測過擬合概率均較高。這表明案例3的結論“參數組合[11,30]在7組備選參數中表現最優”和“參數組合[11,24]在91組備選參數中表現最優”有較大的概率是回測過擬合。案例3的擇時模型相比于案例1、2的多因子選股模型更容易出現過擬合,這也和人們的認知相符。



總結與討論

本文基于組合對稱交叉驗證(CSCV)框架,以三組量化研究為案例展示回測過擬合概率(PBO)的計算流程,發現兩組多因子選股模型的回測過擬合概率較低,擇時模型的回測過擬合概率較高。案例1為7種機器學習模型的多因子選股策略,指數增強組合PBO大多在15%~50%之間,“XGBoost模型表現最佳”的結論大概率不是回測過擬合。案例2為6種交叉驗證方法的多因子選股策略,多空組合PBO在20%~50%之間,“分組時序交叉驗證方法表現最佳”的結論大概率不是回測過擬合。案例3為雙均線50ETF擇時策略,PBO在50%~90%之間,“參數組合[11,30]和[11,24]表現最佳”的結論大概率是回測過擬合。

 

華泰人工智能系列多項研究探討過擬合。過擬合可分為訓練過擬合和回測過擬合兩個層次。訓練過擬合是機器學習語境下偏狹義色彩的過擬合,是指機器學習模型在訓練集表現好,在測試集表現差,產生原因是模型超參數選擇不當或者模型過度訓練,解決方案是采用合理的交叉驗證方法選擇模型超參數或迭代次數。回測過擬合是量化研究語境下偏廣義色彩的過擬合,是指量化模型在回測階段表現好,在實盤階段表現差,產生原因是市場規律發生變化,或者對回測期數據噪音的過度學習。回測過擬合難以根除,相對合理的解決方案是借助量化指標檢驗回測過擬合程度。

 

CSCV框架下回測過擬合概率的核心思想是:計算“訓練集”夏普比率最高的策略,在“測試集”中的相對排名,如果相對排名靠前,代表回測過擬合概率較低,反之則代表回測過擬合概率較高。“訓練集”和“測試集”的劃分基于組合的思想,將全部回測時間劃分成S份,任取其中S/2份拼接得到“訓練集”,剩余S/2份拼接得到“測試集”,分別計算各條策略的夏普比率,進而得到相對排名,并重復多次,將相對排名大于50%即排名后一半的概率視作回測過擬合概率。回測過擬合概率的計算相對簡單,不僅適用于機器學習策略,還能推廣到其它類型的量化策略。

 

回測過擬合概率的計算過程中包含多項細節。將長度為T的全部回測時間劃分成S份,每份回測時間長度為T/S。T/S越小,組合次數越大,計算時間開銷越大;T/S越大,組合次數越小,策略排名結果受偶然性因素影響更大,實際使用時建議采用較小的T/S比。對策略進行排名時一般采用夏普比率,也可以根據實際需要選擇其它評價指標,例如本文的指數增強組合采用信息比率進行排名更為合理。

 

附錄

案例1方法

案例1中,我們跟蹤Stacking、SVM、樸素貝葉斯、隨機森林、XGBoost、邏輯回歸、神經網絡7條機器學習策略在月頻多因子選股的表現。涉及的機器學習模型的詳細介紹,可參見華泰人工智能系列報告。機器學習模型運用到多因子選股的流程如下:

1. 數據獲取:

a) 股票池:全A股。剔除ST股票,剔除每個截面期下一交易日停牌的股票,剔除上市3個月內的股票,每只股票視作一個樣本。

b). 訓練樣本長度: 72個月。


2. 特征和標簽提取:每個自然月的最后一個交易日,計算70個因子暴露度,作為樣本的原始特征;計算下一整個自然月的個股超額收益(以滬深300指數為基準),作為樣本的標簽。因子池如下表所示。


3. 特征預處理:

a) 中位數去極值:設第T期某因子在所有個股上的暴露度序列為D_i,D_M為該序列中位數,D_M1為序列|D_i-D_M|的中位數,則將序列中所有大于D_M 5D_M1的數重設為D_M 5D_M1,將序列中所有小于D_M-5D_M1的數重設為D_M-5D_M1;

b) 缺失值處理:得到新的因子暴露度序列后,將因子暴露度缺失的地方設為中信一級行業相同個股的平均值。

c) 行業市值中性化:將填充缺失值后的因子暴露度對行業啞變量和取對數后的市值做線性回歸,取殘差作為新的因子暴露度。

d) 標準化:將中性化處理后的因子暴露度序列減去其現在的均值、除以其標準差,得到一個新的近似服從分布的序列。


4. 訓練集和交叉驗證集的合成:

a) 分類問題:在每個月末截面期,選取下月收益排名前30%的股票作為正例(y=1),后30%的股票作為負例(y=0)。將訓練樣本合并,隨機選取90%的樣本作為訓練集,余下10%的樣本作為交叉驗證集。

b) 回歸問題:直接將樣本合并成為樣本內數據,同樣按90%和10%的比例劃分訓練集和交叉驗證集。


5. 樣本內訓練:使用機器學習模型對訓練集進行訓練。


6. 交叉驗證調參:模型訓練完成后,使用模型對交叉驗證集進行預測。選取交叉驗證集AUC(或平均AUC)最高的一組參數作為模型的最優參數。


7. 樣本外測試:確定最優參數后,以T月月末截面期所有樣本預處理后的特征作為模型的輸入,得到每個樣本的預測值f(x)。使用預測值進行單因子分層測試,并構建中證500行業市值中性的全A選股組合。回測中的交易費用為單邊千分之二。

 

單因子分層測試的方法如下:

1. 股票池:全A股,剔除ST股票,剔除每個截面期下一交易日停牌的股票,剔除上市3個月以內的股票。


2. 回測區間:2011-02-01至2019-01-31。


3. 換倉:在每個自然月最后一個交易日核算因子值,在下個自然月首個交易日按當日收盤價換倉,交易費用以單邊千分之二計。


4. 分層方法:因子先用中位數法去極值,然后進行市值、行業中性化處理(方法論詳見上一小節),將股票池內所有個股按因子從大到小進行排序,等分N層,每層內部的個股等權配置。當個股總數目無法被N整除時采用任一種近似方法處理均可,實際上對分層組合的回測結果影響很小。


5. 多空組合收益計算方法:用Top組每天的收益減去Bottom組每天的收益,得到每日多空收益序列r1,r2,...,rn,則多空組合在第n天的凈值等于(1 r1)(1 r2)...(1 rn)


6. 評價方法:全部N層組合年化收益率(觀察是否單調變化),多空組合的年化收益率、夏普比率、最大回撤等。



案例2方法

案例2中,我們比較時序、分組時序、K折以及三種基線模型(訓練集折半的K折、亂序遞進式、亂序分組遞進式)共6條策略在月頻多因子選股的表現。這6條策略均為邏輯回歸模型或均為XGBoost模型,區別在于使用的交叉驗證調參方法不同。所涉及的交叉驗證方法如下圖所示,詳細介紹可參見華泰人工智能系列報告。



案例2的選股流程中,前3步數據獲取、特征和標簽提取、特征預處理以及第7步樣本外測試與案例1相同;4~6步略有區別,具體方法如下:

 

4. 滾動訓練集和驗證集的合成:采用年度滾動訓練方式,全體樣本內外數據共分為八個階段。例如預測2011年時,將2005~2010年共72個月數據合并作為樣本內數據集;預測T年時,將T-6至T-1年的72個月合并作為樣本內數據。根據不同的交叉驗證方法,劃分訓練集和驗證集,交叉驗證的折數均為12。對于分組時序交叉驗證,每次訓練集長度均為6個月的整數倍,驗證集長度均等于6個月。對于K折交叉驗證和訓練集折半的K折交叉驗證,驗證次數為12次;對于其余四種交叉驗證方法,驗證次數為11次。凡涉及將數據打亂的交叉驗證方法,隨機數種子點均相同,從而保證打亂的方式相同。

5. 樣本內訓練:使用邏輯回歸或XGBoost基學習器對訓練集進行訓練。

6. 交叉驗證調參:對全部超參數組合進行網格搜索,選擇驗證集平均AUC最高的一組超參數作為模型最終的超參數。不同交叉驗證方法可能得到不同的最優超參數。


單因子分層測試方法同案例1。


參考文獻

Bailey, D. H., Borwein, J., López de Prado, M., & Zhu, Q. J. (2014). Pseudo-mathematics and financial charlatanism: The effects of backtest overfitting on out-of-sample performance. Notices of the American Mathematical Society, 61(5), 458-471.

 

Bailey, D. H., Borwein, J., Lopez de Prado, M., & Zhu, Q. J. (2017). The probability of backtest overfitting. Journal of Computational Finance, 20(4), 39-70.

 

López de Prado, M. L. (2018). Advances in Financial Machine Learning. John Wiley & Sons.


免責申明

本公眾平臺不是華泰證券研究所官方訂閱平臺。相關觀點或信息請以華泰證券官方公眾平臺為準。根據《證券期貨投資者適當性管理辦法》的相關要求,本公眾號內容僅面向華泰證券客戶中的專業投資者,請勿對本公眾號內容進行任何形式的轉發。若您并非華泰證券客戶中的專業投資者,請取消關注本公眾號,不再訂閱、接收或使用本公眾號中的內容。因本公眾號難以設置訪問權限,若給您造成不便,煩請諒解!本公眾號旨在溝通研究信息,交流研究經驗,華泰證券不因任何訂閱本公眾號的行為而將訂閱者視為華泰證券的客戶。


本公眾號研究報告有關內容摘編自已經發布的研究報告的,若因對報告的摘編而產生歧義,應以報告發布當日的完整內容為準。如需了解詳細內容,請具體參見華泰證券所發布的完整版報告。


本公眾號內容基于作者認為可靠的、已公開的信息編制,但作者對該等信息的準確性及完整性不作任何保證,也不對證券價格的漲跌或市場走勢作確定性判斷。本公眾號所載的意見、評估及預測僅反映發布當日的觀點和判斷。在不同時期,華泰證券可能會發出與本公眾號所載意見、評估及預測不一致的研究報告。


在任何情況下,本公眾號中的信息或所表述的意見均不構成對客戶私人投資建議。訂閱人不應單獨依靠本訂閱號中的信息而取代自身獨立的判斷,應自主做出投資決策并自行承擔投資風險。普通投資者若使用本資料,有可能會因缺乏解讀服務而對內容產生理解上的歧義,進而造成投資損失。對依據或者使用本公眾號內容所造成的一切后果,華泰證券及作者均不承擔任何法律責任。


本公眾號版權僅為華泰證券股份有限公司所有,未經公司書面許可,任何機構或個人不得以翻版、復制、發表、引用或再次分發他人等任何形式侵犯本公眾號發布的所有內容的版權。如因侵權行為給華泰證券造成任何直接或間接的損失,華泰證券保留追究一切法律責任的權利。本公司具有中國證監會核準的“證券投資咨詢”業務資格,經營許可證編號為:91320000704041011J。


林曉明

執業證書編號:S0570516010001


華泰金工深度報告一覽

金融周期系列研究(資產配置)

【華泰金工林曉明團隊】二十載昔日重現,三四年周期輪回——2019年中國與全球市場量化資產配置年度觀點(下)

【華泰金工林曉明團隊】二十載昔日重現,三四年周期輪回——2019年中國與全球市場量化資產配置年度觀點(上)

【華泰金工林曉明團隊】周期輪動下的BL資產配置策略

【華泰金工林曉明團隊】周期理論與機器學習資產收益預測——華泰金工市場周期與資產配置研究

【華泰金工林曉明團隊】市場拐點的判斷方法

【華泰金工林曉明團隊】2018中國與全球市場的機會、風險 · 年度策略報告(上)

【華泰金工林曉明團隊】基欽周期的量化測度與歷史規律 · 華泰金工周期系列研究

【華泰金工林曉明團隊】周期三因子定價與資產配置模型(四)——華泰金工周期系列研究

【華泰金工林曉明團隊】周期三因子定價與資產配置模型(三)——華泰金工周期系列研究

【華泰金工林曉明團隊】周期三因子定價與資產配置模型(二)——華泰金工周期系列研究

【華泰金工林曉明團隊】周期三因子定價與資產配置模型(一)——華泰金工周期系列研究

【華泰金工林曉明團隊】華泰金工周期研究系列 · 基于DDM模型的板塊輪動探索

【華泰金工林曉明團隊】市場周期的量化分解

【華泰金工林曉明團隊】周期研究對大類資產的預測觀點

【華泰金工林曉明團隊】金融經濟系統周期的確定(下)——華泰金工周期系列研究

【華泰金工林曉明團隊】金融經濟系統周期的確定(上)——華泰金工周期系列研究

【華泰金工林曉明團隊】全球多市場擇時配置初探——華泰周期擇時研究系列

行業指數頻譜分析及配置模型:市場的周期分析系列之三

【華泰金工林曉明團隊】市場的頻率——市場輪回,周期重生

【華泰金工林曉明團隊】市場的輪回——金融市場周期與經濟周期關系初探


FOF與金融創新產品

【華泰金工】生命周期基金Glide Path開發實例——華泰FOF與金融創新產品系列研究報告之一


因子周期(因子擇時)

【華泰金工林曉明團隊】市值因子收益與經濟結構的關系——華泰因子周期研究系列之三

【華泰金工林曉明團隊】周期視角下的因子投資時鐘--華泰因子周期研究系列之二

【華泰金工林曉明團隊】因子收益率的周期性研究初探


擇時

【華泰金工林曉明團隊】A股市場低開現象研究

【華泰金工林曉明團隊】華泰風險收益一致性擇時模型

【華泰金工林曉明團隊】技術指標與周期量價擇時模型的結合

【華泰金工林曉明團隊】華泰價量擇時模型——市場周期在擇時領域的應用


行業輪動

【華泰金工林曉明團隊】“華泰周期輪動”基金組合改進版——華泰行業輪動系列報告之七

【華泰金工林曉明團隊】“華泰周期輪動”基金組合構建——華泰行業輪動系列之六

【華泰金工林曉明團隊】估值因子在行業配置中的應用——華泰行業輪動系列報告之五

【華泰金工林曉明團隊】動量增強因子在行業配置中的應用——華泰行業輪動系列報告之四

【華泰金工林曉明團隊】財務質量因子在行業配置中的應用——華泰行業輪動系列報告之三

【華泰金工林曉明團隊】周期視角下的行業輪動實證分析——華泰行業輪動系列之二

【華泰金工林曉明團隊】基于通用回歸模型的行業輪動策略——華泰行業輪動系列之一


Smartbeta

【華泰金工林曉明團隊】Smart Beta:乘風破浪趁此時——華泰Smart Beta系列之一

【華泰金工林曉明團隊】Smartbeta在資產配置中的優勢——華泰金工Smartbeta專題研究之一


多因子選股

【華泰金工林曉明團隊】桑土之防:結構化多因子風險模型——華泰多因子系列之十二

【華泰金工林曉明團隊】華泰單因子測試之海量技術因子——華泰多因子系列之十一

【華泰金工林曉明團隊】因子合成方法實證分析 ——華泰多因子系列之十

【華泰金工林曉明團隊】華泰單因子測試之一致預期因子 ——華泰多因子系列之九

【華泰金工林曉明團隊】華泰單因子測試之財務質量因子——華泰多因子系列之八

【華泰金工林曉明團隊】華泰單因子測試之資金流向因子——華泰多因子系列之七

【華泰金工林曉明團隊】華泰單因子測試之波動率類因子——華泰多因子系列之六

【華泰金工林曉明團隊】華泰單因子測試之換手率類因子——華泰多因子系列之五

【華泰金工林曉明團隊】華泰單因子測試之動量類因子——華泰多因子系列之四

【華泰金工林曉明團隊】華泰單因子測試之成長類因子——華泰多因子系列之三

【華泰金工林曉明團隊】華泰單因子測試之估值類因子——華泰多因子系列之二

【華泰金工林曉明團隊】華泰多因子模型體系初探——華泰多因子系列之一

【華泰金工林曉明團隊】五因子模型A股實證研究

【華泰金工林曉明團隊】紅利因子的有效性研究——華泰紅利指數與紅利因子系列研究報告之二


人工智能

【華泰金工林曉明團隊】基于遺傳規劃的選股因子挖掘——華泰人工智能系列之二十一

【華泰金工林曉明團隊】必然中的偶然:機器學習中的隨機數——華泰人工智能系列之二十

【華泰金工林曉明團隊】偶然中的必然:重采樣技術檢驗過擬合——華泰人工智能系列之十九

【華泰金工林曉明團隊】機器學習選股模型的調倉頻率實證——華泰人工智能系列之十八

【華泰金工林曉明團隊】人工智能選股之數據標注方法實證——華泰人工智能系列之十七

【華泰金工林曉明團隊】再論時序交叉驗證對抗過擬合——華泰人工智能系列之十六

【華泰金工林曉明團隊】人工智能選股之卷積神經網絡——華泰人工智能系列之十五

【華泰金工林曉明團隊】對抗過擬合:從時序交叉驗證談起

【華泰金工林曉明團隊】人工智能選股之損失函數的改進——華泰人工智能系列之十三

【華泰金工林曉明團隊】人工智能選股之特征選擇——華泰人工智能系列之十二

【華泰金工林曉明團隊】人工智能選股之Stacking集成學習——華泰人工智能系列之十一

【華泰金工林曉明團隊】宏觀周期指標應用于隨機森林選股——華泰人工智能系列之十

【華泰金工林曉明團隊】人工智能選股之循環神經網絡——華泰人工智能系列之九

【華泰金工林曉明團隊】人工智能選股之全連接神經網絡——華泰人工智能系列之八

【華泰金工林曉明團隊】人工智能選股之Python實戰——華泰人工智能系列之七

【華泰金工林曉明團隊】人工智能選股之Boosting模型——華泰人工智能系列之六

【華泰金工林曉明團隊】人工智能選股之隨機森林模型——華泰人工智能系列之五

【華泰金工林曉明團隊】人工智能選股之樸素貝葉斯模型——華泰人工智能系列之四

【華泰金工林曉明團隊】人工智能選股之支持向量機模型— —華泰人工智能系列之三

【華泰金工林曉明團隊】人工智能選股之廣義線性模型——華泰人工智能系列之二


指數增強基金分析

【華泰金工林曉明團隊】再探回歸法測算基金持股倉位——華泰基金倉位分析專題報告

【華泰金工林曉明團隊】酌古御今:指數增強基金收益分析

【華泰金工林曉明團隊】基于回歸法的基金持股倉位測算

【華泰金工林曉明團隊】指數增強方法匯總及實例——量化多因子指數增強策略實證


基本面選股

【華泰金工林曉明團隊】華泰價值選股之相對市盈率港股模型——相對市盈率港股通模型實證研究

【華泰金工林曉明團隊】華泰價值選股之FFScore模型

【華泰金工林曉明團隊】相對市盈率選股模型A股市場實證研究

【華泰金工林曉明團隊】華泰價值選股之現金流因子研究——現金流因子選股策略實證研究

【華泰金工林曉明團隊】華泰基本面選股之低市收率模型——小費雪選股法 A 股實證研究

【華泰金工林曉明團隊】華泰基本面選股之高股息率模型之奧軒尼斯選股法A股實證研究


基金定投

【華泰金工林曉明團隊】大成旗下基金2018定投策略研究

【華泰金工林曉明團隊】布林帶與股息率擇時定投模型——基金定投系列專題研究報告之四

【華泰金工林曉明團隊】基金定投3—馬科維茨有效性檢驗

【華泰金工林曉明團隊】基金定投2—投資標的與時機的選擇方法

【華泰金工林曉明團隊】基金定投1—分析方法與理論基礎


其它

【華泰金工林曉明團隊】A股市場及行業的農歷月份效應——月份效應之二

A股市場及行業的月份效應——詳解歷史數據中的隱藏法則


文章評論
點擊加載更多
嗨牛財經 版權所有 © 2014-2017 粵公網安備44010402001139   粵ICP備14041788號-1
用戶登錄 關閉
還沒有嗨牛賬號?立即注冊
嗨牛財經公眾平臺 關閉
可在嗨牛財經微信端獲得更多精彩內容
河北20选5最新开奖结果