这论文呢，自我评价可以给个80分。最大的问题在于没有花时间去整理文章的结构，所以构架上稍微有点散乱（俗称“意识流”）。内容上熟悉我的博客的客官一眼就能看出来，其实都是些博客文章的汇总，只不过用LaTeX让它们变得“人模狗样”一些而已，好在本小子平时也积攒了这些鸡零狗碎的东西，动过自己的脑子。我觉得群众大学的毕业论文，很多都是一个套路：经济/金融数据套一个神奇的模型，直到最后整个世界一片和谐，读者在最后一章都能隐约看到上帝老爷子在朝你挥手。其实也没啥，找工作不容易，地球人也都知道写论文就是忽悠——漫漫人生路上一道工序。

由于本小子是个小人（小小的活人），所以总关心小人关心的事情（俗称“人本主义”）。这论文嘛，窃以为也没什么上下高低之分，说出你怎么想的就可以了，而不要总说“他们”怎么想怎么做。一定要有数学上的创新？一定要有人家看不懂的公式才是好论文？一定要有综述？一定要有长长的参考文献列表才是好论文？一定要板起脸？不能写八卦？不准幽默？……嗨，作茧自缚。几年前看到一篇好文章，颇具恶搞性质，建议各位客官收藏：How to write Consistently Boring Scientific Literature。

言归正传：本文是厌倦八股文和数学理论的产物，从理论角度来说，几乎没什么价值，不过这篇文章是用Sweave写的，完全具有可重复性和100%透明度，对文中结果有怀疑的客官可以自行运行代码；其次，统计模拟和图形的声音在界内太微弱，大家都很忙，有人在忙着推公式，有人在忙着编数据，有人在忙着把公式用到不知道是不是编出来的数据上，本小子跟着瞎掺和了点别的东西，仅此而已。甭管有用没用，敬请拍砖。

－－－－－－－－－－外一篇：坛霸是怎样练成的－－－－－－－－－－

曾经有童鞋称呼在下为“坛霸”，这个……有时候确实有那么点意思，无图无真相（两个多月没怎么回帖了，一鼓作气）：

坛霸是怎样练成的

接下来我会陆续写第三届中国R语言会议、《现代统计图形》书稿和useR! 2010，若时间允许，我考虑一下电视剧《九阴真经》（93版）。

爷还想看：

• 2010/05/23 -- 通知两则：第三届R会议培训及统计人才招聘 (12)
• 2010/05/19 -- 渐近理想国：McNemar检验的两种统计量 (0)
• 2010/04/15 -- 知识与常识：分析大学生挂科因素？ (17)
• 2010/04/14 -- 统计计算与数学推导及逻辑分析 (2)
• 2007/11/13 -- Type III Error（第三类错误） (2)

近日来收到邮件少了，但各个问题都不太好直接回答。比如这则关于McNemar检验的问题：McNemar检验可以有两种形式的统计量，一为(b – c)²/(b + c)，一为2b*log(2b/(b+c)) + 2c*log(2c/(b+c))，其中b和c是列联表非对角线上的频数。前者是McNemar检验本身的统计量，可以根据渐近正态分布得来（然后平方得到卡方），后者是似然比统计量（不带约束的似然除以带约束的，取对数，乘2）。McNemar检验看似复杂，实际上可以简化为检验b = c，或等价于检验一个n = b+c的二项分布中，是否p = 1/2（观察到X = b或c）。现在的问题是，这两种统计量有没有优劣之分？

作为一个懒得推公式的人，我向来喜欢用模拟回答问题，因为模拟的结果非常直截了当。我的考虑是，要看渐近统计量的优劣，那就看随着n增大，统计量和渐近分布有多接近好了。一个自然而然的想法当然是对若干统计量的观测值做分布检验了，比如KS检验。我们知道这两个统计量都是自由度为1的卡方分布，剩下的事情就是计算：

set.seed(123)
nmax = 1000
p = matrix(nrow = nmax, ncol = 2)
for (n in 2:nmax) {
    # 生成服从二项分布的随机数，分别计算两种统计量并作KS检验、记录P值
    b = rbinom(500, n, 0.5)
    x1 = (b - (n - b))^2/n
    x2 = 2 * b * log(2 * b/n) + 2 * (n - b) * log(2 * (n - b)/n)
    p[n, 1] = ks.test(x1, "pchisq", df = 1)$p.value
    p[n, 2] = ks.test(x2, "pchisq", df = 1)$p.value
}
# 调整一下数据格式，画图：随着n增大，P值如何变化？
library(ggplot2)
d = melt(p, varnames = c("n", "method"))
d$method = factor(d$method, labels = c("McNemar", "LRT"))
colnames(d)[3] = "p.value"
qplot(n, p.value, data = d, shape = method, geom = c("smooth", "point")) +
    scale_shape_manual(values = c(2, 3))

McNemar检验统计量与卡方分布拟合的好坏

实际上，两种统计量与卡方分布的接近程度几乎是一样的，对于每一个n，KS检验得到的P值都差不多，可以看见图上两种方法检验得到的P值基本上是重叠的（其实也意味着统计量的值差不多），而n过了200之后，统计量基本上和卡方分布拟合比较好，即P值较大，但这种关系并不严格。

渐近理想国（asymptotia），来自Little (2006)在The American Statistician的文章，这词在英语词典中查不到，我将它翻译为“渐近理想国”。该文章是讲频率学派与贝叶斯学派的争论，提到人们对“渐近”的无奈：一个步履蹒跚的旅人，心想这理想国嘛时候才能到达呢？

至少在McNemar检验中，这个问题有了一个模糊的答案。

爷还想看：

• 2010/07/30 -- 统计图形和模拟视角下的模型理论解析 (3)
• 2010/04/14 -- 统计计算与数学推导及逻辑分析 (2)

Ripley从1999年加入R核心团队，从上图可以看出，他显然是不需要睡觉的——每个小时都可能有commit。时间分布呈双峰：早上7点到10点、下午3点到6点。看看其他人的工作时间，很容易发现Martin倾向于早起干活，而Peter倾向于每天晚上12点之后干活。

Romain的博客中有SVN的日志数据可以下载，感兴趣的同志们可以继续分析R core的工作行为。

上周上课，我们老爷子又说SAS is extremely powerful，SAS很靠谱，就差明说SAS没有Bug了。我正在整理课程笔记，SAS的事情，我改天要去找老爷子好好谈一谈。R从不说自己能担保什么，大家拼命找bug，拼命改进，这是开源软件的共同特征——没有人付钱，但就是有一群疯子半夜3点还在写代码。商业软件一向说自己能保证什么，可是一个bug二十年都没人会去修正（例），还好我们看不见源代码，要是能看见，后果不堪设想。

爷还想看：

• 2009/12/08 -- 最近跟R core们经常打照面 (9)
• 2008/08/22 -- 数据导入/导出的通用方法 (0)
• 2010/01/05 -- t检验方差不齐有多重要 (6)
• 2009/12/31 -- 统计之都新年构想（杂碎篇） (33)
• 2009/12/04 -- 2009第一场雪和第二届中国R语言会议 (43)

效果是这样的：

（通过RSS阅读的童鞋们请打开原文链接在浏览器中观看，否则啥都看不到）

爷还想看：

• 2009/05/30 -- 用Google Chart API展示简单的数据以及WordPress示例 (5)
• 2009/02/18 -- R社区实现了共产主义…… (0)
• 2009/01/18 -- R的那些事儿 (2)
• 2008/09/11 -- 人生何处不相逢 (0)
• 2008/06/07 -- 转义符：从R到JavaScript到HTML (0)

我只好提醒他回忆中学的描点法。R里面的gamma()和curve()函数是现成的，把数学公式写成相应的代码就可以了：

curve((sqrt(2) * gamma(x/2) * 2)/(sqrt(x - 1) * gamma(x - 1)), 2, 50)
# 当然，如果你非要按照x = seq(2, 50, ...)然后计算f(x)然后plot(x, f(x), type = "l")
# 那也可以，只不过curve()就是干这事的，不必麻烦分两步走了

描点法画函数曲线

如同某些网文说人一辈子的守则在幼儿园都已经教完了，就看你长大还记不记得。所以每当面对一个貌似复杂的问题时，首先要想想幼儿园有没有学过。

“武功再高，也怕菜刀”绝对是真理，哈哈。

爷还想看：

• 2010/01/05 -- t检验方差不齐有多重要 (6)
• 2009/12/08 -- 最近跟R core们经常打照面 (9)
• 2009/12/04 -- 2009第一场雪和第二届中国R语言会议 (43)
• 2009/10/10 -- R的第五万次SVN修改：看看R大佬们的工作时间分布 (9)
• 2009/06/10 -- 用R语言和Flash以及JavaScript生成标签云 (7)

话说两个月前，我介绍了一下John Chambers软件奖，当时并没有指望获奖，只是打探打探情况，搞明白之后等我明年好好琢磨一个靠谱的软件之后再正式参加。结果，不知是美国人民都忙着对付金融危机了，还是一共就我一个人参加，或是怎么的，今日打开邮箱，发现我被通知得奖（中奖？）了。我愣了半天，觉得这是在做梦。

好吧，两个月前说了要请客，那么那篇日志底下的观众朋友们请赶紧拿出小本本记下，“谢某人欠俺一顿大餐”。

做动画都能获奖……敢问谱在何方啊……管它呢，反正是美国人的钱，俺遵旨，8月去华盛顿领钱，顺便领奖。

爷还想看：

• 2009/02/27 -- John Chambers软件奖 (16)
• 2008/12/25 -- 金狗宝金狗宝金狗饿了喂 (4)
• 2008/11/04 -- 利用Google可视化API展示布朗运动 (7)
• 2008/10/19 -- Java比R更容易表达连续型动画 (2)
• 2008/09/27 -- 有谁在课上用统计动画 (3)

PDF图形文件下载链接

频数文件：

CSV频数文件下载链接

x = read.csv("contacts.csv", stringsAsFactor = FALSE)
y = gsub("^.*@", "", x$E.mail.Address)
y = sort(table(y))

rho=0的文章：

• 2007/10/03 -- 自由度与自由 (9)
• 2007/10/09 -- 黑猫警长 · 洗澡花 (4)
• 2007/11/13 -- Type III Error（第三类错误） (2)
• 2007/11/12 -- 关于动画包接下来要做的几件事情 (4)
• 2008/09/05 -- 娇客二则：（1）不明白你为什么明白（2）光合作用 (1)

north.arrow = function(x, y, h) {
    polygon(c(x, x, x + h/2), c(y - h, y, y - (1 + sqrt(3)/2) *
        h), col = "black", border = NA)
    polygon(c(x, x + h/2, x, x - h/2), c(y - h, y - (1 + sqrt(3)/2) *
        h, y, y - (1 + sqrt(3)/2) * h))
    text(x, y, "N", adj = c(0.5, 0), cex = 4)
}
par(mar = rep(0, 4))
plot(1, type = "n", ylim = c(0, 1), axes = FALSE,
    ann = FALSE)
north.arrow(1, 0.8, 0.4)

不过这种基础性练习带来的坏处就是，你总觉得用R的基础图形元素什么图都可以画，从而不愿学习新的作图系统。

爷还想看：

• 2010/01/05 -- t检验方差不齐有多重要 (6)
• 2009/12/08 -- 最近跟R core们经常打照面 (9)
• 2009/12/04 -- 2009第一场雪和第二届中国R语言会议 (43)
• 2009/10/10 -- R的第五万次SVN修改：看看R大佬们的工作时间分布 (9)
• 2009/06/10 -- 用R语言和Flash以及JavaScript生成标签云 (7)

一个更明显的例子是美国的大选，若用红蓝标示各州的选举情况，似乎红方麦凯恩大胜了，而事实是麦凯恩获胜的州都是人口稀少的地方，总账算下来，仍然是奥巴马那小子赢了（比如他拿下了人口众多的加州）。看看以下两幅地图的对比：

Duncan Temple Lang几年前写了一个包叫Rcartogram，发在Omegahat上，不过不幸的是，Windows用户不能使用。它是基于一个C程序的，而这个程序里面的算法又涉及到另一个做快速傅里叶变换（FFT）的软件包，因此在Windows下编译起来很复杂（我花了很长时间也没搞清楚）。

Cartogram的一种算法可以参见”Diffusion-based method for producing density-equalizing maps“一文。

爷还想看：

• 2009/12/08 -- 最近跟R core们经常打照面 (9)
• 2008/12/25 -- 金狗宝金狗宝金狗饿了喂 (4)
• 2008/12/02 -- SVGAnnotation：从R图形到SVG的（全面）支持 (0)
• 2008/10/07 -- 用R画中国地图并标注城市位置 (19)
• 2007/09/15 -- 终于搞定了中国分省市地图 (40)

##################################################################
# a demo for zooming and panning in R graphics
# by Yihui Xie, Feb 20, 2009
##################################################################
# a large number of points
plot(x <- rnorm(5000), y <- rnorm(5000), xlab = "x", ylab = "y")
xylim <- c(range(x), range(y))
zoom <- function(d, speed = 0.05) {
   rx <- speed * (xylim[2] - xylim[1])
   ry <- speed * (xylim[4] - xylim[3])
   # global assignment '<<-' here!
   xylim <<- xylim + d * c(rx, -rx, ry, -ry)
   plot(x, y, xlim = xylim[1:2], ylim = xylim[3:4])
   NULL
}
# Key `+`: zoom in; `-`: zoom out
# Left, Right, Up, Down: self-explaining
# `*`: reset
# Press other keys to quit
keybd <- function(key) {
   switch(key, `+` = zoom(1), `-` = zoom(-1), Left = zoom(c(-1,
       1, 0, 0)), Right = zoom(c(1, -1, 0, 0)), Up = zoom(c(0,
       0, 1, -1)), Down = zoom(c(0, 0, -1, 1)), `*` = plot(x,
       y), "Quit the program")
}
getGraphicsEvent(onKeybd = keybd)
##################################################################

上图仅限于Windows下操作，因为getGraphicsEvent()函数仅限于Windows图形设备使用。通过键盘上的加（放大）减（缩小）乘（恢复）和上下左右键可以很容易实现图形的动态缩放和平移。

不过后来Simon Urbanek老大发话了，Yihui你这不叫交互式图形；Simon老大说得对，不过俺只是为了说明R并不是像Oleg老大讲的那样不能实现缩放和平移。

爷还想看：

• 2008/10/20 -- 动态连接图形（iplots包） (4)
• 2008/10/15 -- R语言打灯笼 (2)

set.seed(1234)
devAskNewPage(ask = TRUE)
par(pch = 20)
dat = iris[, 1:2]
n = nrow(dat)
for (k in 2:30) {
    ch = integer()
    cl = kmeans(dat, k, 50)$cluster
    plot(dat, main = paste("k =", k))
    for (i in unique(cl)) {
        idx = chull(tmp <- dat[cl == i, ])
        ch = c(ch, as.integer(rownames(tmp[idx, ])))
        polygon(tmp[idx, ], border = NA, col = rgb(0, 0, 0, 0.2))
    }
    plot(dat, main = paste("Polygon shape when k =", k))
    polygon(dat[ch, ], col = rgb(0, 0, 0, 0.2))  # need to be ordered
}

通过选择不同的k，可以逐步描述出点的外形，不过这种方法太粗略，而且最后找出来的多边形的顶点也没有排序，因此不是太好的解决方案。Alpha Shape的算法之一是用某个固定半径的圆去“套”一对一对的点，当一对点都刚好落在圆上而且圆内不包含任何其它点的时候，这两个点就是形状的边界点。通过这样的方法找出所有的边界点，便描述出了Alpha Shape。有兴趣的看官可以把这几句话转化为R代码试试。注意圆的半径是可变的参数，不同的半径对形状的描述精确程度有不同，显然当半径很大时，算法找出的就是闭包。

写出代码的看官请不吝分享一下：）

爷还想看：

• 2008/01/09 -- 统计没有义务下结论 (5)

不信客官您试试plot(density(rep(0, 1000)))看密度估计图形是啥样的。英文版参见这里：When “Bell-shaped” is Far Far Away from Gaussian。

本例要说明的是小学里的道理，不能学小蝌蚪找妈妈，逮着钟形曲线就说正态。

对搞统计的人来说，务必谨慎对待那些经过处理的数据，若有可能，尽量画出原始数据，而不要仅仅给出综合信息。

爷还想看：

• 2009/02/25 -- 正态分布与统计教条主义 (9)
• 2009/02/19 -- 正态分布变量和均匀分布变量分别的累加有什么关系 (4)
• 2008/10/19 -- Java比R更容易表达连续型动画 (2)
• 2007/10/03 -- 自由度与自由 (9)

类似的还有“用R唱歌”、“用R跳舞”、“用R检验老年痴呆症”等等。不再透露剧情了，不然会议没啥好玩的了。遗憾的是，演讲的人还是少了点。不过很多盆友（无论是小盆友还是大盆友）都很卖力准备这次会议，在此表示俺最深的感谢！

爷还想看：

• 2009/12/04 -- 2009第一场雪和第二届中国R语言会议 (43)
• 2009/02/26 -- 啊（R），辽阔的非洲草原！（一个生态模拟） (12)
• 2008/12/18 -- R语言会议结束之后 (10)
• 2008/12/13 -- 第一届中国R语言会议第一天 (28)
• 2008/10/19 -- Java比R更容易表达连续型动画 (2)

SVGAnnotation包参见：http://www.omegahat.org/SVGAnnotation/

感兴趣的朋友注意使用Firefox浏览示例页面，对于SVG动画，Firefox还不太能支持，尚在努力开发中，所以如果想看动画，还是Opera吧。

爷还想看：

• 2009/12/08 -- 最近跟R core们经常打照面 (9)
• 2008/12/25 -- 金狗宝金狗宝金狗饿了喂 (4)
• 2008/06/11 -- 终于更新完程序包了：animation 1.0-0 (0)
• 2007/11/12 -- 关于动画包接下来要做的几件事情 (4)
• 2007/11/12 -- animation包：人生第一份正式英文作品 (12)

统计就是以糟蹋数据为代价获取汇总的信息，这个汇总往往是全局的（global）；统计容易受人诟病的部分原因也在于此。一个均值就能代表全体数据？一条回归直线就能代表两个变量之间的关系？这种怀疑绝对是底气十足的，确实命中了统计糟蹋数据的那一面。因此，我们需要仔细品味数据，局部方法对此便是一种补充。上周在COS主站上发了一篇例子：用局部加权回归散点平滑法观察二维变量之间的关系；感兴趣的客官不妨看一看。

爷还想看：

• 2009/12/26 -- 杯具欣赏：他们眼中的统计学 (13)
• 2009/04/01 -- 这个年代该怎样教统计（或不该怎样教） (8)
• 2008/11/09 -- 有了一元回归为什么还要做多元回归 (2)
• 2008/09/18 -- 回归分析中的交互作用展示 (2)
• 2008/09/02 -- 大家来找茬：这批数据有什么特别之处？（已提供真相） (17)

小提琴图；Violin Plot

所用函数simple.violinplot()来自于UsingR包，不过它没有提供填充不同颜色的功能，上图是我修改了源代码之后作出来的。问题来自于Adelaide大学的Fernando Marmolejo Ramos，他在R-help里面问了没人回答，所以就给我私人Email了。

不多写了，不然到时候书卖不出去了。

爷还想看：

• 2010/01/05 -- t检验方差不齐有多重要 (6)
• 2009/12/08 -- 最近跟R core们经常打照面 (9)
• 2009/12/04 -- 2009第一场雪和第二届中国R语言会议 (43)
• 2009/10/10 -- R的第五万次SVN修改：看看R大佬们的工作时间分布 (9)
• 2009/06/10 -- 用R语言和Flash以及JavaScript生成标签云 (7)

以下三幅图说明了这个近似的过程：第一幅图看起来很光滑很强大；第二幅图和第一幅图完全相同，只是把作图用到的数据点标了出来——实际上只用了[-3, 3]区间上的100个点；第三附图只用了10个点，图穷匕首见。

文件下载链接

#png("polygon%d-s.png", width = 500, height = 500)
par(mar = c(2, 2, 0.1, 0.1), las = 1, mgp = c(3, 0.5, 0), tcl = -0.3)
x1 = seq(-3, 3, length = 100)
plot(x1, dnorm(x1), type = "n")
polygon(c(x1[1], x1[1:80], x1[80]), c(0, dnorm(x1[1:80]), 0), col = "gray", border = NA)
lines(x1, dnorm(x1)) 

plot(x1, dnorm(x1), type = "n")
polygon(c(x1[1], x1[1:80], x1[80]), c(0, dnorm(x1[1:80]), 0), col = "gray", border = NA)
lines(x1, dnorm(x1),type='o',pch=20) 

x2 = seq(-3, 3, length = 10)
plot(x2, dnorm(x2), type = "n")
polygon(c(x2[1], x2[1:8], x2[8]), c(0, dnorm(x2[1:8]), 0), col = "gray", border = NA)
lines(x2, dnorm(x2),type='o',pch=20)
#dev.off()

爷还想看：

• 2007/10/08 -- 将统计学的概念、方法和模型融入动画中 (2)
• 2007/09/15 -- 终于搞定了中国分省市地图 (40)

表达几何级数增长（或者指数增长）的方式一般是对y取对数，然后与x作图，看图形是否呈一条直线：若log(y)=a*x+b，那么显然是指数增长方式。人眼观察直线比观察曲线要容易得多，因此这种方法比用原始数据作图要更容易表达“几何级数增长”。下图左边为原始数据，右边为y轴取对数后的图形。R中处理起来非常简单，作图时添加参数log即可（可以对x轴或y轴或者同时取对数）。

文件下载链接

#png("exp_growth.png", width = 600, height = 500)
options(scipen = 5)
x = seq(1.51 * pi, 2 * pi, length = 100)
par(mfrow = c(2, 2), pch = 20, mar = c(5, 6, 1, 0.1),
    col = rgb(0, 0, 0, 0.5), las = 1, mgp = c(4, 1, 0))
plot(x, sin(x) + 1)
plot(x, sin(x) + 1, log = "y")
plot(x, exp(x))
plot(x, exp(x), log = "y")
#dev.off()

爷还想看：

• 2010/01/05 -- t检验方差不齐有多重要 (6)
• 2009/12/08 -- 最近跟R core们经常打照面 (9)
• 2009/12/04 -- 2009第一场雪和第二届中国R语言会议 (43)
• 2009/10/10 -- R的第五万次SVN修改：看看R大佬们的工作时间分布 (9)
• 2009/06/10 -- 用R语言和Flash以及JavaScript生成标签云 (7)

这是他用playwith包给我的答案：

爷还想看：

• 2008/10/13 -- 开始邀请R Core成员投稿 (2)
• 2009/05/31 -- 第一期The R Journal和第一届中国R语言会议 (9)
• 2008/11/09 -- 去了一趟澳大利亚 (8)
• 2008/10/16 -- POLLEN数据：散点图中藏数据的历史名案 (0)
• 2008/10/11 -- rgl英勇奖 (9)

当我删掉主页中包含这个网址的会员之后，剩下的会员是65123人，这两年来他们竟然注册了近两万机器人。

如果再去掉近35000没有激活的用户，COS真实用户数大约为三万人。

乍一看，哇，八万大军，砍掉两万机器人，再砍掉没有激活的，只有36%的用户是可能真实的，里面当然还有机器人，只是目前还没有发现他们的特征。三万大军，意味着平均每天有30个活人注册，也不错了。

俗话说：数据一汇总，上帝就发笑。

R代码仅供图形初学者参考：

文件下载链接

# png("users.png", width = 500, height = 200)
par(mar = c(2, 0.1, 0.1, 0.1))
x = c(83778, 65123, 30000)
plot(x, 1:3, type = "n", xaxt = "n", yaxt = "n", xlim = c(0,
    max(x)), ylim = c(0, 4), ylab = "", xlab = "", bty = "n")
axis(1, c(0, x))
s = 0.4
rect(c(0, 0, x[3]), c(2 - s, 3 - s, 3 - s), c(x[3],
    x[3], x[2]), c(2 + s, 3 + s, 3 + s), lty = 3, border = c("green",
    "green", "blue"))
rect(c(0, x[3], x[2]), (1:3) - s, rev(x), (1:3) +
    s, col = c("green", "blue", "red"))
text(c(x[3], x[3] + x[2], x[2] + x[1])/2, 1:3, c("normal users",
    "spammers or confused users", "an ad spammer"), col = "yellow")
text(c(x[3], x[3] + x[2])/2, c(2, 3), paste(round(100 *
    c(x[3], x[2] - x[3])/x[1], 2), "%", sep = ""))
# dev.off()

爷还想看：

• 2010/04/10 -- 不宣传，就是不宣传 (17)
• 2010/03/17 -- 蓬荜生辉及其它 (16)
• 2010/02/02 -- 特别致谢颜林林对COS的贡献 (6)
• 2009/12/31 -- 统计之都新年构想（杂碎篇） (33)
• 2009/04/23 -- 新论坛太复杂了 (5)

文件下载链接

library(iplots)
cat("Select 'Break' from the menu of any plot to return back to R.\n")
set.seed(1)
dat = data.frame(x = rep(1:4, c(50, 100, 150, 80)),
    y = sample(rep(1:6, c(150, 50, 30, 70, 10, 70))))
ibar(dat$x)
while (!is.null(ievent.wait())) {
    if (iset.sel.changed()) {
        s <- iset.selected()
        if (length(s) > 1)
            pie(table(dat$y[s]))
    }
}

我估计Simon他们是故意不写饼图函数的，因为统计学家一般不推荐使用饼图——人们对角度感知太差，不如用长度或高度。

爷还想看：

• 2010/01/05 -- t检验方差不齐有多重要 (6)
• 2009/12/08 -- 最近跟R core们经常打照面 (9)
• 2009/12/04 -- 2009第一场雪和第二届中国R语言会议 (43)
• 2009/10/10 -- R的第五万次SVN修改：看看R大佬们的工作时间分布 (9)
• 2009/06/10 -- 用R语言和Flash以及JavaScript生成标签云 (7)

这个模拟目前已经放到AniWiki中（链接）；看了维基百科，原来高尔顿板又称豌豆机器。本豌豆机器的启发来自于Roger Koenker提供的一个原型。

爷还想看：

• 2009/04/24 -- 本小子还真中了John Chambers软件奖 (20)
• 2009/02/26 -- 啊（R），辽阔的非洲草原！（一个生态模拟） (12)
• 2009/02/19 -- 正态分布变量和均匀分布变量分别的累加有什么关系 (4)
• 2009/02/18 -- R社区实现了共产主义…… (0)
• 2008/12/05 -- 用R赶火车 (9)

有位叫David Coleman的老兄在1986年某一天等人的时候随便找了几个字母的坐标表示，然后扔到一大堆随机数中藏起来，后来成了ASA Data Expo的名数据。这里是我用rgl包作出的探索示例：

图穷“匕首”见。

爷还想看：

• 2008/10/11 -- rgl英勇奖 (9)
• 2010/01/05 -- t检验方差不齐有多重要 (6)
• 2009/12/08 -- 最近跟R core们经常打照面 (9)
• 2009/12/04 -- 2009第一场雪和第二届中国R语言会议 (43)
• 2009/10/10 -- R的第五万次SVN修改：看看R大佬们的工作时间分布 (9)

相比之下，thigmophobe.labels()的功能就差一些了：

爷还想看：

• 2010/01/05 -- t检验方差不齐有多重要 (6)
• 2009/12/08 -- 最近跟R core们经常打照面 (9)
• 2009/12/04 -- 2009第一场雪和第二届中国R语言会议 (43)
• 2009/10/10 -- R的第五万次SVN修改：看看R大佬们的工作时间分布 (9)
• 2009/06/10 -- 用R语言和Flash以及JavaScript生成标签云 (7)

…and your test helped me slay the fear that something had gone horribly wrong with my desktop PC. ?I award you the rgl Medal of Valor. …

Michael是统计图形届的大牛，获此口头奖章本小子也很是高兴。后来他另写一封邮件说，小贼（第一声），大爷受你在不莱梅演讲的启发，近日也开始玩动画了。

话说回来，rgl这个包牵涉到大量的C和C++代码，还有png库，编译起来很麻烦，R-forge的环境可能不能成功编译，所以那上面的rgl包会有问题，我还奇怪为什么它没有编译日志呢。

爷还想看：

• 2008/10/16 -- POLLEN数据：散点图中藏数据的历史名案 (0)
• 2009/12/08 -- 最近跟R core们经常打照面 (9)
• 2008/10/27 -- 送给Felix的一万天“生日”小礼 (6)
• 2008/10/12 -- 利用超级链接直接打开文件 (5)

par(mar=rep(0,4))
dat = read.csv(textConnection("城市,jd,wd
    北 京,116.4666667,39.9
    上 海,121.4833333,31.23333333
    天 津,117.1833333,39.15
    重 庆,106.5333333,29.53333333
    哈尔滨,126.6833333,45.75
    长 春,125.3166667,43.86666667
    沈 阳,123.4,41.83333333
    呼和浩特,111.8,40.81666667
    石家庄,114.4666667,38.03333333
    太 原,112.5666667,37.86666667
    济 南,117,36.63333333
    郑 州,113.7,34.8
    西 安,108.9,34.26666667
    兰 州,103.8166667,36.05
    银 川,106.2666667,38.33333333
    西 宁,101.75,36.63333333
    乌鲁木齐,87.6,43.8
    合 肥,117.3,31.85
    南 京,118.8333333,32.03333333
    杭 州,120.15,30.23333333
    长 沙,113,28.18333333
    南 昌,115.8666667,28.68333333
    武 汉,114.35,30.61666667
    成 都,104.0833333,30.65
    贵 阳,106.7,26.58333333
    福 州,119.3,26.08333333
    台 北,121.5166667,25.05
    广 州,113.25,23.13333333
    海 口,110.3333333,20.03333333
    南 宁,108.3333333,22.8
    昆 明,102.6833333,25
    拉 萨,91.16666667,29.66666667
    香 港,114.1666667,22.3
    澳门,113.5,22.2"))
library(maps)
library(mapdata)
map("china", col = "darkgray", ylim = c(18, 54), panel.first = grid())
points(dat$jd, dat$wd, pch = 19, col = rgb(0, 0, 0, 0.5))
text(dat$jd, dat$wd, dat[, 1], cex = 0.9, col = rgb(0,
    0, 0, 0.7), pos = c(2, 4, 4, 4, 3, 4, 2, 3, 4, 2, 4, 2, 2,
    4, 3, 2, 1, 3, 1, 1, 2, 3, 2, 2, 1, 2, 4, 3, 1, 2, 2, 4, 4, 2))
axis(1, lwd = 0); axis(2, lwd = 0); axis(3, lwd = 0); axis(4, lwd = 0)

文件下载链接

效果如下：

写这篇日志的目的是征人同投论文，写一些用R获取生活中的“边角料”数据并利用起来做点事情的例子。点击这里下载论文。关于R会议，请随时关注通知。有同写意向的请速速联系我。

爷还想看：

• 2008/08/22 -- 数据导入/导出的通用方法 (0)
• 2007/09/15 -- 终于搞定了中国分省市地图 (40)
• 2010/01/05 -- t检验方差不齐有多重要 (6)
• 2009/12/26 -- 杯具欣赏：他们眼中的统计学 (13)
• 2009/12/08 -- 最近跟R core们经常打照面 (9)

• University of Southern Denmark数学与计算机系的Marco Chiarandini的讲组合优化课【链接】
• 中科大统计与金融系Weiping Zhang的概率论与数理统计课【链接】
• 以色列海法大学统计系的Yoni Nazarathy的Interactive Demonstrations of Stochastic and Statistical Models课【链接】

现在动画的数量以及解释是个大问题，一个人做这些事显得有点吃力，有个合作者就好了。

爷还想看：

• 2009/04/24 -- 本小子还真中了John Chambers软件奖 (20)
• 2008/12/25 -- 金狗宝金狗宝金狗饿了喂 (4)
• 2008/11/04 -- 利用Google可视化API展示布朗运动 (7)
• 2008/06/11 -- 终于更新完程序包了：animation 1.0-0 (0)
• 2007/11/12 -- 关于动画包接下来要做的几件事情 (4)

问题来源于Dennis Lin的课堂作业，说是有两份抛硬币得到的结果，1代表正面，0代表反面，两份结果如下：

(A)
11110000000000100000101100000100000101001111001100
01111110010110110101101001111001100011011101100000
10001001111110100100001011001011101101110001010010
01100111111100011100101000101001110011100010100111

(B)
01110010010010100010011110010100010011010111001110
01111011010111101101001000111001101011010101101001
00101001110110100100001110101101101001110101100110
01110011110110001110011010111001110011110010100111

现在请问你觉得哪份结果可能是作弊（或者哪枚硬币不均匀）？

Lin在课堂上提供了三种方法：（1）求和，看正面朝上的次数是否正常；（2）求游程数，看游程的数目是否正常；（3）游程最大长度是否正常（连续出现最多的0或1的长度）。我觉得这三个统计量的分布用简单的概率论都可以推导出来，不过Lin主张用Monte Carlo方法偷懒去做，也就是随机模拟长度为200的伯努利分布序列（p = 0.5），然后看三种统计量的分布如何，再看从以上样本计算出的统计量是否处于极端的位置，由此得到P值。这都是正道，而我通常是喜欢研究旁门左道的人，我琢磨着能否用眼珠子直接看出来哪份结果可疑，因此本次节目想拿各位路人做一个心理认知试验。说明如下：

A和B的序列在下面的Flash动画中分别由x1（上）和x2（下）表示，我用阶梯状的线图表示硬币正正反反的变化，从图中对硬币翻转了多少次以及每次保持一面的长度多长都能有一个大致的了解，比如B的翻转次数是不是更密集？A保持同一面不变的长度是不是更长？等等。更多信息请各位客官仔细观察，我就不加干扰了，免得影响判断。中间的图形表示随机模拟的序列，这个模拟在不断进行，每次你们看到的都是一串长度为200的伯努利随机数，注意拿它和上下两幅图分别做对比，看模拟的图与两幅实际样本图中的哪幅更像？当然，越是觉得实际和模拟差异明显，那就越说明该硬币有问题（或记录者作弊了），因为大量的模拟所扮演的角色就是真实的母体。那么究竟哪个是母体的“孩子”呢？请在后面给出你的猜测，谢谢！【点击放大Flash】

我不是完全在开玩笑，国外有人真的做过这方面的理论，将假设检验的理论与图形检验的理论对应，不过时间太长我忘了是谁。如果lixiaoxu老师看到这篇日志，还请对这个试验多多提出宝贵建议：）

爷还想看：

• 2009/05/20 -- 拿小概率事件说事：中央政治局常委对年轻人的七项忠告 (4)
• 2009/04/24 -- 本小子还真中了John Chambers软件奖 (20)
• 2009/02/27 -- 统计分布的检验 (11)
• 2009/02/19 -- 正态分布变量和均匀分布变量分别的累加有什么关系 (4)
• 2008/12/25 -- 金狗宝金狗宝金狗饿了喂 (4)

爷还想看：

• 2007/10/26 -- 真正写点东西真费劲 (0)

无交互作用

无论是从x方向还是z方向来看，y（气泡大小）增大的速度都是一样的，例如x=0与x=10的时候，随着z的增加，y增加的速度一样（因为y与z是线性关系，这种关系不受x影响）。

有交互作用

而有交互效应的时候情况就不一样了，y在x或z方向上增大的速度会与x或z本身的取值有关。例如图中x越大，则y沿着z增大越快（因为斜率里面包含了x）。

不知这种形式是否比教科书上几道折线更清楚一些。这个问题灵感来自于R-help的邮件列表。R代码参考英文Blog。

爷还想看：

• 2009/04/01 -- 这个年代该怎样教统计（或不该怎样教） (8)
• 2008/12/01 -- 局部加权回归散点平滑图示 (4)
• 2008/11/04 -- 利用Google可视化API展示布朗运动 (7)

http://animation.yihui.name

基于Wiki来做网站，相信会省事很多。过去的两天时间里刚刚重写完支持网页动画的JavaScript，下一步就是写一个Wiki插件，将Wiki的语言转化为HTML代码，这一点尚需要学习一点PHP；再下一步就该修改更新R程序包了；等这一切框架搭建好之后便可暂时放手网站，开始准备DataViz VI的论文。

近日接连收到Oxford和Stanford学生来信，大家对animation的评价用词最多的是“impressed”，当然这样的话万不可直接理解为褒义，等有人说“useful”了才算数。如德鲁克所提醒的：

……发现任何由于恃才傲物而造成的偏见和无知，并且加以克服。……

不过无论如何，有人关注并使用动画也算是走出一小步了。

爷还想看：

• 2008/06/04 -- Dokuwiki数学公式插件基本搞定 (0)
• 2010/02/02 -- 特别致谢颜林林对COS的贡献 (6)
• 2009/10/03 -- 学院网站、考试、月饼、排骨及其它 (12)
• 2009/04/24 -- 本小子还真中了John Chambers软件奖 (20)
• 2008/12/25 -- 金狗宝金狗宝金狗饿了喂 (4)

网址：http://R.yihui.name

专门开一个二级域名用作动画展示。抱歉的是，我暂时不想用中文写……先跟鬼子们交流充分之后再考虑建一个中文版好了。同时对鄙人的蹩脚英文也抱歉一下……有砖头的请使劲拍。

爷还想看：

• 2009/04/24 -- 本小子还真中了John Chambers软件奖 (20)
• 2008/10/19 -- Java比R更容易表达连续型动画 (2)
• 2008/07/19 -- Rweb：交互式计算和作图 (0)
• 2007/10/26 -- 真正写点东西真费劲 (0)
• 2010/01/05 -- t检验方差不齐有多重要 (6)

之后我又花了很长时间找地理数据，其间联系过Victoria University of Wellington的Ray Brownrigg（maps和mapdata等包的作者），他说没有他也没有数据，告诉我要是我能搞到数据他也许可以给我一点Hints，不过我后来死活也没找到；于是开始打另一个注意，就是活生生去读一幅空白中国地图，从中获得线条（实际上是点）的坐标，然后再用坐标结合plot()把图形还原出来，后来发现这种方法做出来的地图太粗糙，而且面临最大的困难是很不容易把各省的坐标数据分开，这样对于地理信息展示是没有意义的。

今天再次找数据的时候，却鬼使神差地发现了国家基础地理信息中心的网站：http://nfgis.nsdi.gov.cn/，里面可以免费下载GIS数据，我今天一眼就看见了国界与省界数据，各种数据都是一个zip压缩包，里面是*.dbf、*.shp和*.shx文件，这是shapefile的通用格式，R里面有maptools包可以读取（read.shape()函数），事实上作图的时候作出来是925个多边形（polygon），我到现在也没明白为什么会有那么多，不过顺利的是我已经知道哪34个多边形是我想要的了。下面这个PDF文件是我的一个示例：

文件下载链接

下面的PNG文件当然就不如PDF清晰了：

爷还想看：

• 2008/10/07 -- 用R画中国地图并标注城市位置 (19)
• 2009/03/02 -- Cartogram：变形的地图 (3)
• 2008/10/30 -- 人的世界是连续的，计算机的世界是离散的 (2)
• 2008/10/12 -- 避免文本标签重叠：maptools中的pointLabel() (4)
• 2007/10/08 -- 将统计学的概念、方法和模型融入动画中 (2)