似然自适应惩罚变量选择方法的研究.pdf

摘要者高维的稀疏凸蛘咦钪账惴ú皇樟病⒒蛘呤樟驳讲皇茄细窬植孔钣诺奈榷ǖ恪⒒基于似然惩罚的变量选择方法是一种应用广泛的统计方法。其中常用的凸惩罚如岭回归、俣瓤欤饬鞘怯衅ǖ模荒茏鲋罸性质,稀疏性不能满足或需要很强的条件;而只有非凸惩罚才能具有性质,但在凹度过大时,由于多个局部最优值的出现而导致相对稳定性不够,且不容易找到好的算法进行局部最优值的选择。所以我们需要控制凹惩罚的凹度。凹度过大,不能做到只有一个全局最优值者多个局部最优值不能渐近到一点,从而相对稳定性较差;凹度过小瓾,有可能选择不出稀疏的变量,或估计的偏差相对较大。我们将在满足性质的前提下,将惩罚的凹度约束条件最弱化,以期在其中找到一个合适的模型,使其在具有预测最好的前提下,尽可能做到选出的变量最少。这里所说的相对稳定性由『所定义,即在数据发生很小的扰动时,预测不发生大的变化。相对稳定性在实际应用中受算法本身的稳定点的性质影响,即是否只存在一个全局最优解、高维下在稀疏的子模型中是否只存在一个全局最优解∈柰、迭代的每一步都是凸的从而算法收敛、解的连续性、多个局部最优解是否渐近趋向于一点、路径上每一个解都是严格局部凸的等。我们通过附加这些算法稳定点性质的限制条件,以间接达到相对稳定的目的。这些条件是对惩罚的凹度的约束。本文中针对各种常用的似然函数,提出一种自适应惩罚函数,其光滑性和头函数和似然函数的巫聪蹩梢越虾玫仄胶饨獾南∈栊院拖喽晕榷ㄐ裕彝本有性质。本文的主要内容是提出基于参数或半参数似然函数的自适应惩罚变量选择方法,研究其低维和超高维情形下的理论性质及其应用。针对广义线性回归这一参数模型,本文给出了似然自适应惩罚函数的具体形式,并在低维下建立了相应的理论性质,也就是相合性、稀疏性、性质,在高维下建立了弱性质;针对低维度的情形本文提出了渐近稳定的概念,并证明了惩罚满足渐近稳定的条件;通过严格局部凸的条件的研究,本文发现似然自适应惩罚的形状消减性质;结合算法、惴ā⒌尤ㄗ钚《撕推ɡ牒纳瓒ǎ疚母隽艘恢中型的算法,并证明了一定条件下的算法收敛性;通过低维度下的模拟,本文验证了似然自适应惩罚的性质和形状消减性质,并和其他已有惩罚在选择准确程度,拟合误差、对自变量和交叉验证分割的敏感程度等方面做了比较;我们将似然自适应惩罚代入
超高维度下的真实数据验证,结果表明,新的惩罚函数对于该数据能够在相同的预测误差下选出更少的变量,或在选出相同的变量下,具有更小的预测误差。对于半参数模型,本文主要考虑基于回溯性抽样的计数凳模型。我们为这种模型基于剖面似然建立了惩罚似然,给出了对应的似然自适应惩罚的形式;给出了惩罚剖面似然存在局部最优值、具有等理论性质所需的条件;我们通过模拟显示了回溯性抽样和前瞻性抽样模型下的变量选择最终解的区别,给出了计数模型在回溯性抽样下的变量选择可以视作前瞻性抽样的变量选择的条件一一该计数模型为逻辑型模型,且对于该模型,它的似然自适应惩罚形式与它对应模型在前瞻性抽样下保持一致;我们还提到了另外一种建立惩罚似然的思想,也就是基于剖面似然的泰勒展开形式建立惩罚似然,并提出在回溯性抽样的情形下的算法修正。本文以参数模型为主提出的似然自适应惩罚是一族惩罚,对于广义线性回归绝大部分为凹惩罚。该族惩罚具有某种意义的贝叶斯解释,且比一般的惩罚具有更多好的性质,如算法的有效性,估计量的相合性、稀疏性、性质、低维下的渐近稳定性、高维下的弱性质、对应于似然的形状消减性、惩罚函数的无限可导性。通过随机模拟和实际数据应用,发现新提出的惩罚函数在高维和低维下均有良好的表现。综上所述,新的惩罚具有相当好的理论性质和实际应用价值。关键词:变量选择,惩罚似然,渐近稳定,性质,似然自适应惩罚,负绝对值独立先验,形状消减,:
;,,瓽,,,.甎琧琽,;:,瑆,,.琲,痶猚——
甒,琱猟,:甌:瑂琽,—;粀琇琁琣癡”瑆;.—粀:.,.簍琧,,猟篴.,.琾,琽;一··—畇—
:,,瑀.:一
§芯勘尘第一章前言问题,详见,.高维指的是变量选择中回归自变量的维数大于样本量的情形。变量选择实质是在到急碏梅椒ㄍü治鲎幽P偷木讲畹玫搅搜≡衲P偷淖荚颉N南譡通过后通过假定参数的先验分布,从墓鄣愕玫搅吮匆端棺急磎。其他类型的准则包括琑,等等。它们均可以视作在优化目标函数时施以了三。惩罚淞扛鍪囊桓鱿咝院。其他方法还包括交叉验证、广义交叉验回归、—、⒌酝鳾选择⒆允应等。它们将高维度子集组合问题降解为两维以内的连续路径径上解的选择,所有解更加稳定。和算法的出现使得其计算问题得随着近些年来计算科学和其他现代科技的迅速发展,人们所能收集到的用于研究的数据越来越丰富,高维度数据变得越来越普遍,这给模型选择和变量选择带来了相当大的挑战。在一些前沿学科,包括工程学、遗传学、医学、金融经济等,存在大量的高