272009

据数据检验总体的分布在我看来几乎没有什么用处,不过历史上已经出现了无数种关于分布的检验,例如Chi-square检验、KS检验、Shapiro正态性检验等等。我觉得检验没有实际用处的原因有二:

一、若拒绝零假设,即数据不服从某种分布,那么往往会使得下面要做的工作的前提假设不成立——这显然会很惨;

二、若不拒绝零假设——这几乎是无用的结论,因为不拒绝这个零假设,不代表能拒绝其它零假设,因此你仍然不知道数据是什么分布——这显然更惨;

所以我们要把自己的眼睛捂上,假装看不见,像数理统计学家那样,我们假定X服从帕累托分布,然后咋地咋地。

附1:本文是回答Renxiang Yan同志的邮件,因为我写了好半天,然后点“Reply”,发现从163返回了错误信息,说收件人拒绝收信,真是气人。我也不知道是Yan同学自己邮箱设置有问题,还是163有时候会拒绝Gmail的邮件。估计后者可能性大一些。

附2:还要补充说明一点,关于分布的假设检验中,零假设往往是确定的分布,而不是带有未知参数的笼统的分布,即分布的参数都是确定的值。只有少数几个关于正态分布的检验除外,因为它们有渐近性质。因此,提问时最好不要抽象地问怎么检验样本是否是广义极值分布。

爷还想看:

11 Responses to “统计分布的检验”

Comments (10) Pingbacks (1)
  1. cloud_wei 说:

    网易的邮箱为了防止垃圾邮件做了很多“额外的”工作,令人很是郁闷:我之前的一个网易邮箱就只接受通讯录上人的邮件,其他一律拒绝,我也搞不清楚是什么原因。

  2. cherry 说:

    那如果当统计方法对分布特别敏感的时候(我比较白痴 不知道有没有这种方法的存在) 我们又应该怎么做? 闭上眼就不是个好办法了吧?
    我觉得应该可以从数据图和额外信息中得到足够的信息是否数据服从某个特定分布 如果没有的话 把他归类到正态也就不是特别没有道理了

    • 谢益辉 说:

      我说捂上眼睛意思是数理统计的某些工作不靠谱,提出一个不能验证的前提假设,对于实践来说不知意义何在。个人意见当然是不能捂上眼睛假装看不见:)

  3. yzhizhi 说:

    所以只有当验证不服从某分布的时候才显得有丁点儿意义,但要验证数据不服从某种分布,这种做法无异于做“无用功”。。。。。。所以统计分布的检验看起来真的效力有限

  4. 冰儿 说:

    那我们得到一组数据,需要知道它的分布才能处理,那该怎么办?
    总不能自己假设它服从什么分布吧!

    • 谢益辉 说:

      (1)如果你不能忍受闭着眼睛假设总体分布,那么你可以假设前人不全是傻子,意即:历史经验是有一定作用的。如计数型数据经常服从泊松分布,寿命数据往往和帕累托分布有关,误差分布常显示出正态特征,等等;

      (2)如果前人没有做过相关研究,那么可以先探索一下,例如直方图、密度估计等,看看分布的形状,感觉一下像什么分布;

      (3)有些统计方法与分布无关。

  5. 冰儿 说:

    阿里嘎多!grin

  6. Li quanbao 说:

    初学计量经济学,门限自回归模型(TAR)中零假设成立时,则不存在门限效应。这个和您讲的不是一类东西吧?不过看您的博客几篇文章,还是给我很大启发,Thank you!

Leave a Reply

(required)

(required)

WWW.YIHUI.NAME XIE@YIHUI.NAME © 2007 - 2010 by Yihui Xie