数理统计是一门学问。它研究数据。数据来自生活。我们每天看到数字。天气预报有数字。考试分数是数字。商店销售额是数字。这些数字是数据。数理统计帮助我们理解数据。它告诉我们数据背后的规律。它帮助我们做决定。
收集数据是第一步。数据需要真实。数据需要足够多。比如想知道学生数学成绩。不能只问一个学生。要问很多学生。每个学生成绩记下来。成绩写在表格里。表格有很多数字。这些数字看起来乱。我们需要整理它们。可以算平均分。平均分代表一般水平。平均分怎么算。所有分数加起来。除以学生人数。比如三个学生。分数是八十分、九十分、一百分。加起来是二百七十分。除以三。平均分是九十分。平均分是一个重要数字。
平均分不够。我们想知道分数是否接近。两个班级平均分都是九十分。一班分数很整齐。都在八十五到九十五分之间。二班分数很分散。有人六十分有人一百分。这时候需要另一个数字。这个数字叫方差。方差表示分散程度。方差怎么算。先算每个分数和平均分的差。这个差可能正可能负。平方一下变成正数。所有平方数加起来。除以人数。得到方差。方差大表示分散。方差小表示集中。一班方差小。二班方差大。方差帮助我们看数据波动。
数据收集会有问题。数据可能不全面。比如调查学生爱好。只问男生不问女生。结果不完整。数据可能有错误。比如记错分数。这会影响结果。所以收集数据要小心。要制定好计划。想清楚调查谁。怎么调查。调查多少人。这些都要提前想好。
得到数据后要分析。画图是一个好方法。图画出来一目了然。比如学生成绩。横轴表示分数段。纵轴表示人数。每个分数段画一个柱子。柱子高低表示人数多少。这个图叫直方图。直方图让我们看到分布。大部分分数在哪里。少数分数在哪里。一看就知道。另一个常用图是折线图。横轴是时间。纵轴是数据。比如商店每天销售额。每天画一个点。点连成线。看到销售额变化。上升还是下降。很直观。
分析数据需要模型。模型是简化的现实。比如抛硬币。硬币两面。正面和反面。抛一次可能是正面可能是反面。抛很多次。正面次数差不多一半。反面次数也差不多一半。这是一个简单模型。这个模型叫伯努利试验。它有两个结果。每个结果有概率。正面概率二分之一。反面概率二分之一。现实问题更复杂。但道理一样。我们建立模型描述现象。模型用数学公式表达。公式里有参数。参数需要从数据中估计。
估计参数是统计的核心。比如想知道硬币是否均匀。抛十次。七次正面三次反面。我们能说硬币不均匀吗。不能。因为运气会影响结果。可能硬币均匀只是碰巧出现七次正面。我们需要估计正面概率。最直接的想法是用频率估计。十次里七次正面。估计概率是零点七。但这样估计可能不准。抛的次数少估计容易波动。抛一万次七千次正面。估计零点七就可靠很多。统计学家想出各种估计方法。让估计更准确更稳定。
估计了参数还要检验。检验我们的想法。比如药厂生产新药。想看看新药是否有效。找两组病人。一组吃新药。一组吃旧药。治疗后比较效果。新药组好的人多。我们能说新药更好吗。不一定。可能是运气。需要做假设检验。先假设新药无效。计算在这种假设下观察到当前数据的概率。这个概率很小。我们就拒绝假设。认为新药有效。这个概率叫p值。p值小表示证据强。通常p值小于零点零五我们认为结果显著。假设检验帮助我们做判断。避免被偶然现象误导。
统计结论不是百分之百确定。它告诉我们可能性。比如预测明天下雨概率百分之七十。这不是说一定下雨。是说下雨的可能性很大。决策时可以参考这个概率。带伞还是不带伞。百分之七十概率下雨。带伞更稳妥。统计提供可能性的大小。最终决定还是人来做。
数据之间有关系。比如身高和体重。通常身高高的人体重大。我们想量化这种关系。计算相关系数。相关系数在负一到一之间。接近一表示正相关。一个变大另一个也变大。接近负一表示负相关。一个变大另一个变小。接近零表示没有线性关系。知道关系可以帮助预测。知道一个人的身高。可以大致预测他的体重。预测用回归方程。回归方程画出来是一条直线。数据点分布在直线周围。直线概括了趋势。
现实数据很少完全在直线上。总有偏离。偏离来自其他因素。比如体重还受饮食、运动影响。统计考虑这些偏离。它告诉我们预测的误差范围。比如预测体重是七十公斤。误差可能五公斤。真实体重在六十五到七十五公斤之间。这个范围叫置信区间。置信区间给出估计的不确定性。区间宽表示不确定性大。区间窄表示不确定性小。我们收集更多数据。估计更精确。置信区间就变窄。
统计用在各个地方。医学研究用统计。评估药效。分析疾病风险。经济学用统计。研究失业率。预测经济增长。工程用统计。控制产品质量。改进工艺流程。农业用统计。比较种子品种。估计粮食产量。教育用统计。分析教学方法效果。评估学生表现。甚至体育也用统计。分析运动员数据。制定比赛策略。
学习统计要有数学基础。概率论很重要。概率论研究随机事件。统计建立在概率论上。微积分和线性代数也有用。它们提供计算工具。但统计思想本身不难懂。它源于我们对世界的观察。我们天生会总结规律。统计把这个过程数学化。让它更严格更系统。
电脑发明后统计发展更快。以前计算靠手工。复杂计算很难。现在电脑瞬间完成。我们可以处理海量数据。以前不可能做的分析现在可以做了。大数据时代到来。数据比以前多得多。比如网上购物记录。社交媒体信息。传感器数据。这些数据量大种类多。传统方法需要调整。新的统计方法不断出现。机器学习很多方法基于统计思想。
统计帮助我们看清世界。世界充满不确定性。统计不消除不确定性。它度量和管理不确定性。它让我们在信息不完整时做出合理选择。它把数据变成信息。把信息变成知识。把知识变成行动。
使用统计要注意误区。相关不是因果。比如数据发现冰淇淋销量和溺水人数相关。夏天冰淇淋卖得多。溺水人也多。不能认为吃冰淇淋导致溺水。真实原因是天气热。天气热让人多吃冰淇淋。也让人多游泳。游泳增加溺水机会。忽视隐藏原因会得出错误结论。统计提供关联证据。因果需要更多研究。
数据可以撒谎。选择性地展示数据。可以误导人。比如展示一部分好的数据。隐藏不好的数据。结论就会片面。统计图表也可以设计得误导人。纵轴不从零开始。小小差别看起来很大。看图时要仔细。了解整个背景。
统计模型是工具。工具好用不好用看情况。模型基于假设。假设要符合现实。比如假设数据服从正态分布。如果实际不服从。结果就可能有问题。使用模型前要检查假设。模型结果要结合实际思考。不能盲目相信数字。
人人都可以学点统计。它帮助我们理解新闻里的数字。看懂调查报告。评估广告宣传。做出个人决策。比如投资理财。看看历史收益和风险。比如健康选择。看看疾病统计数据和治疗效果。统计思维是一种基本素养。它让我们更理性地面对复杂世界。