37% 法则:Secretary Problem 中的最优停止策略与 1-e

作者:CherryYang 发布时间: 2026-08-20 阅读量:11 评论数:0

37% 法则:Secretary Problem 中的最优停止策略与 1/e

“先观察前 37% 的候选人,再从剩余候选人中选择第一个超过此前所有人的人”,通常被称为 37% 法则。这个结论并不是经验总结,而是经典 Secretary Problem(秘书问题) 在一组严格假设下得到的最优策略。

它属于 Optimal Stopping(最优停止) 问题:信息按照时间顺序逐步到来,每次观察之后都必须决定继续等待还是立即停止,而已经错过的机会无法重新取回。真正需要优化的不是“怎样找到一个不错的人”,而是在无法看到未来的条件下,怎样最大化选中全局最优者的概率。

37% 这个数字的来源可以从一个很简单的阈值策略推导出来。

1. Secretary Problem 的决策模型

设一共有 n 个候选人,按照完全随机的顺序依次出现。候选人之间存在一个确定的全局排名,但面试过程中只能知道当前候选人与已经出现过的人相比处于什么水平,无法提前知道他的绝对排名。

每观察完一个候选人后必须立即决定是否选择。一旦拒绝,该候选人之后不能重新召回;一旦接受,整个过程结束。

模型的目标也很严格:不是最大化平均质量,也不是找到一个“足够好”的候选人,而是最大化最终选中全部 n 个候选人中第一名的概率。

如果一开始就接受第一个看起来不错的人,几乎没有足够的信息判断其相对质量;但如果一直等待,希望看到更多候选人,又可能在真正开始决策之前就已经错过了第一名。Secretary Problem 正是在这两个方向之间寻找最佳停止点。

2. 阈值策略:先建立 benchmark,再寻找 record breaker

考虑这样一种策略:先无条件拒绝前 r 个候选人,仅利用他们建立一个参考标准。从第 r+1 个候选人开始,选择第一个优于此前所有候选人的人。

这里的关键不是“37% 之后选择一个比较好的人”,而是选择第一个 record breaker,即第一个刷新当前最佳纪录的候选人。

n=5,并选择 r=2。前两个候选人无论表现如何都不会被接受,只用于确定当前观察到的最高水平。从第 3 个候选人开始,如果某个人比前面所有人都好,就立即停止搜索并选择他。

假设数字越小表示排名越高,候选人的出现顺序为:

3, 4, 2, 1, 5

前两人的排名为 3 和 4,因此观察阶段的最好成绩是 3。第 3 个候选人的排名为 2,已经超过此前所有候选人,于是策略会立即选择他。虽然真正的第一名随后出现在第 4 位,但已经没有机会改变选择。

这个例子说明,策略能否成功并不只取决于第一名什么时候出现,还取决于第一名出现之前是否已经出现过另一个 record breaker。

3. 第一名位于第 k 个位置时的成功概率

设全局第一名出现在第 k 个位置。

如果 k\le r,第一名位于观察阶段,根据策略一定会被拒绝,因此成功概率为 0。

真正需要分析的是 k>r 的情况。

为了最终选中第 k 个候选人,算法必须一直保持未选择状态直到第 k 位。也就是说,在 r+1k-1 之间不能出现一个超过观察阶段 benchmark 的候选人。

这个条件可以换一种方式描述:

在前 k-1 个候选人中排名最高的那个人,必须出现在前 r 个观察位置中。

如果前 k-1 人中的最佳候选人出现在 r+1k-1 之间,那么他出现时一定会刷新此前的最佳纪录,策略也就会提前接受他。

在随机排列的前提下,前 k-1 人中最佳候选人的位置在 1k-1 之间均匀分布。其中只有前 r 个位置属于观察阶段,因此:

P(\text{成功}\mid K=k)=\frac{r}{k-1}

另一方面,全局第一名出现在任意一个位置的概率相同,因此:

P(K=k)=\frac{1}{n}

利用全概率公式,把第一名可能出现的所有有效位置相加,可以得到整个策略的成功概率:

P(r)=\sum_{k=r+1}^{n}\frac{1}{n}\frac{r}{k-1}

整理后为:

P(r)=\frac{r}{n}\sum_{k=r+1}^{n}\frac{1}{k-1}

这个公式已经包含了 37% 法则的全部核心信息。剩下的问题只是:应该选择什么样的 r,才能让 P(r) 最大。

前面的 n=5r=2 可以直接代入验证:

P(2)=\frac{1}{5}\left(1+\frac{2}{3}+\frac{1}{2}\right)=\frac{13}{30}\approx0.433

也就是说,在只有 5 个候选人的情况下,观察前 2 人再执行 record breaker 策略,选中全局第一名的概率约为 43.3%。

这也说明 37% 并不是任意有限规模下都精确成立的数字。对于有限的 n,真正的最优 r 是使上面离散求和达到最大值的整数;n 足够大时,这个比例才趋近于 1/e

4. 从离散求和得到 1/e

n 很大时,公式中的求和部分属于调和级数的一段:

\sum_{k=r+1}^{n}\frac{1}{k-1}

可以使用积分进行近似:

\sum_{k=r+1}^{n}\frac{1}{k-1}\approx\int_r^n\frac{1}{t}\,dt=\ln\frac{n}{r}

于是原来的成功概率近似变成:

P(r)\approx\frac{r}{n}\ln\frac{n}{r}

x=r/n,其中 x 表示观察阶段占全部候选人的比例,则:

P(x)\approx x\ln\frac{1}{x}=-x\ln x

问题因此从一个离散求和问题转化成了一个简单的连续函数最大化问题。对 P(x) 求导:

P'(x)=-\ln x-1

极值点满足:

-\ln x-1=0

因此:

x=e^{-1}=\frac{1}{e}\approx0.367879

也就是说,当候选人数足够大时,最优观察比例趋近于 36.8%,通常取整称为 37%。

这个结果还有一个特殊之处。将 x=1/e 代回成功概率:

P_{\max}=\frac{1}{e}\ln e=\frac{1}{e}\approx0.367879

因此在大规模极限下,最优观察比例和采用最优策略后选中全局第一名的最大概率,恰好都趋近于 1/e

这并不意味着采用 37% 法则就有很高的确定性。恰恰相反,即使已经使用理论上的最优策略,最终选中全局第一名的概率也只有约 36.8%。Optimal Stopping 优化的是有限信息条件下的成功概率,而不是消除不确定性。

5. 37% 背后的信息与机会权衡

1/e 的推导建立在概率模型上,但这个结果之所以具有普遍的启发性,是因为它暴露了一类更基本的决策冲突。

如果观察阶段太短,例如只观察全部候选人的 5%,所形成的 benchmark 通常较弱。进入决策阶段后,很容易遇到一个仅仅比这 5% 更好的候选人并提前停止,此时对整体分布仍然缺乏足够认识。

如果观察阶段太长,例如观察 90%,benchmark 虽然已经很可靠,但真正的第一名有 90% 的概率已经出现在观察阶段,并且按照规则被永久拒绝。剩余的决策机会变得非常有限。

因此 r 同时控制两种资源:已经获得的信息,以及尚未消耗的机会。增大 r 会提高前者,却会降低后者。最优停止点正是两者之间的平衡。

这种结构与计算机科学中的 Exploration–Exploitation Trade-off 有明显相似之处。观察阶段承担 Exploration 的角色,通过牺牲即时收益了解候选空间;后续阶段则利用已经形成的 benchmark 做出不可撤销的选择。

不过,两者不能完全等同。经典 Secretary Problem 是一个具有固定目标、随机到达顺序和不可召回约束的 Optimal Stopping 模型;Multi-Armed Bandit 或 Reinforcement Learning 通常还涉及重复决策、收益估计、状态变化以及长期累计回报。相似之处在于信息获取与行动之间的权衡,而不是数学模型本身相同。

6. 为什么 37% 不能直接变成人生公式

37% 法则经常被套用到恋爱、求职、买房或职业选择中。这类类比可以帮助理解“不要过早停止搜索,也不要无限搜索”的思想,但不能把 37% 本身当作现实决策的普适比例。

经典 Secretary Problem 至少依赖以下条件:

  • 候选总数 n 事先已知;
  • 候选人的出现顺序是完全随机的;
  • 所有候选人之间存在稳定且一致的相对排名;
  • 每次只能顺序观察一个候选人;
  • 拒绝之后不能召回;
  • 接受之后必须立即停止;
  • 唯一目标是选中全局排名第一的人。

现实问题通常会破坏其中多个条件。

以伴侣选择为例,一生会认识多少潜在对象并不知道,因此 n 本身未知;人的出现顺序也不随机,而是受到年龄、地区、教育、职业和社交网络影响。更重要的是,人与人之间通常不存在一个所有决策者都认同的一维绝对排名,现实中的目标更接近 compatibility,而不是寻找某个客观意义上的 rank 1。

求职和买房也存在类似问题。候选集合会随时间变化,过去的机会未必绝对不可召回,决策者自身的偏好和约束也可能发生变化。只要这些假设改变,原来的 1/e 就不再具有理论上的最优性。

因此,37% 法则准确表达的并不是“人生前 37% 的机会应该全部放弃”。它描述的是一个更有限也更严谨的结论:在候选数量已知、随机顺序到达、拒绝不可撤回,并且唯一目标是选中全局第一名的模型中,最优观察比例在候选数量足够大时趋近于 1/e

真正可以迁移到其他问题中的,是 Optimal Stopping 所揭示的决策结构。搜索本身存在成本,持续获得信息会减少剩余机会,因此一个完整的决策策略不能只有“如何比较候选人”,还必须包含“什么时候停止搜索”。

37% 只是这个特定模型给出的答案。更普遍的问题始终是:在当前约束和目标函数下,继续获得信息的价值是否已经低于立即做出决策的价值。

评论