【大结局】推荐信(LOR),如何影响美国住院医师Match的面试数以及结果?

李嘉华
2017-09-10

推荐信(Letter of Recommendation, LOR),一直被公认为能够影响Match结果的关键因素之一。


但,在2015年(含)以前,我们对推荐信的认知,一直停留在经验科学的水平上。只能笼统地说:“美国临床医生的推荐信有效”。即便如此,我们每年都会观察到,同样是“美国临床医生的推荐信”,对最终match影响的结果有相当大的差别。这促使我们必须进一步研究这份“无法看到的成绩单”,研究其中更具体、更定量的问题,比如:

  • “什么样的推荐信有效?”

  • “推荐信效能大小比较?”

  • “推荐性获得与结果的性价比”


然而,因为绝大多数情况下,推荐信的内容既不可知也不可见,这阻挠了我们用常规方式(如相似于对USMLE考试成绩的研究方法)去明确量化研究推荐信与Match的关系。(详见:《【上篇】2017年【美国住院医师申请队列研究】基线数据:【硬实力】USMLE成绩(4项)》☜点击可阅读)


但,不懈的努力,持续的研究,让我们在这个领域有了重大突破!


在2016年初颁布的“Match量表4.1”里,使用“临床轮转时间长短”和“强烈推荐行为(Endorsement)"这两种推荐信的最初级影响因素和最极端表现,替代了“美国临床医生的推荐信有效“这句经验性的陈述。如下图:

 (▲ 来源于:《赴美行医:故事观点与指南》第 334页)


在2016年9月成稿,2017年5月出版的《赴美行医:故事观点与指南》的6.7节《话说“推荐信”》(第281~287页)中,进一步创造性地为大家提供了一份“推荐信含金量筛查表”,用来对这份“无法看到的成绩单”的“推荐信预测价值(V)”进行定量评估。


“推荐信含金量筛查表”中,将推荐信的内容要素分成“客观因素”与“主观因素”两部分。因为主观部分是极难预知预测和评估的,所以我们仅仅对客观部分进行讨论。目的,是减少推荐信产生的风险。


客观因素包括:产生推荐信的场景、被推荐者观察的时间长度、以及推荐人的业内地位,而主观因素是推荐信的具体内容。在书中,我们大胆提出了“推荐信预测价值”的假设:认为将推荐信客观因素量化后得出的分值跟面试数量相关。

《赴美行医:故事观点与指南》的6.7节《话说“推荐信”》中,对推荐信预测价值(V)进行了以下定义:


推荐信预测价值(V)= Waive掉看推荐信的权利(W)×临床场景(C)×【场景评分(S)+时长评分(L)+ 推荐人所在机构(R1)+ 推荐人学术头衔(R2)+ 推荐人教学或行政职务(R3)】


✪ 你是否放弃了看推荐信内容的权力 (W)

  • 是 = 1

  • 否 = 0.5

✪ 推荐信是否基于美国临床场景?(C)

  • 是 = 1

  • 否 = 0.5

✪ 推荐信是基于什么场景下给出的?(S)

  • Sub-I (医学生)= 4

  • Elective (医学生)= 3

  • Externship (毕业生)= 2

  • Observership (毕业生)= 1

  • 非美国临床场景 = 0

✪ 推荐信是基于什么多久时间的观察给出的?(L)

  • 4周以上 = 4

  • 2-4周 = 3

  • 1-2周 = 2

  • 小于 1周 = 1

✪ 推荐人所在机构 (R1)

  • 大学附属医院(University Hospital or University Affliliated Hospital)= 2

  • 非大学附属医院(Non-University Hospital)=1

✪ 推荐人学术头衔 (R2)

  • 教授(Professor)= 3

  • 副教授(Associate Professor)= 2

  • 助理教授(Assistant Professor)= 1

  • 无教授头衔 = 0

✪ 推荐人教学或行政职务 (R3)

  • 科主任(Division Chair)或项目住导(Program Director)= 3

  • 副住导(Associate Program Director)及Core faculty = 2

  • 一般主治 = 1


以上部分,是我们根据2016年(含)之前收集到的证据,推出的“推荐信含金量筛查表”模型。这个模型是否准确?我们需要如何认识呢?


在2017年3月底,百歌医学队列研究(详见《2017年【美国住院医师申请队列研究】基线数据》的上、中、下 3篇,通过本文结尾处的【传送门】可以阅读这3篇文章)收集了2017年参加match的同学的推荐信的相关数据,共计49份。


我们根据以上模型,把这49份数据带入计算。过程和结果如下:


将这些信息转换为分数,计算出每个人的推荐信预测价值(V)(注:这个预测价值是被调查者使用的3封或者是4封推荐信的平均值)。推荐信预测价值(V)理论上最低分为0.8,最高分为16分,实际观察到的最低分为4分,最高分为16分。我们把推荐信预测值平均数分为[2 ~ 7.9],[8 ~ 11.9],[12 ~ 16]三个组。


第一步,去除混杂因素(confounding bias),即USMLE成绩对推荐信的影响。


在衡量推荐信之前,有一个重大因素先要排除。就是:“是不是好的USMLE成绩会拿到好的推荐信呢?”


因为Step1和Step2CK成绩,往往是影响面试数的首要因素之一,如果不排除这个因素,我们看到的就将会是 成绩+推荐信 的多重作用下造成的对面试结果的影响,我们却误认为是推荐信这一单一因素造成的,这是不科学的。


通过以下科研手段,排除推荐信预测价值(V)和USMLE成绩的关系。


我们将Step1和Step2CK的成绩根据以下规则转化:

  • ≦220=0

  • 221~230=1

  • 231~240=2

  • 241~250=3

  • 251~260=4

  • ≥261=5


然后我们把Step1和Step2CK成绩的转化并相加之后,总分指数作为纵坐标。举例,李嘉华当年Step1 258分(转化后,为4),Step2CK 262分(转化后,为5),总分指数为9。所有49个样本都按照这个方式进行转化。


(结果如下图▼)

我们看到,这推荐信预测价值的三个分组内,USMLE成绩没有统计学差异。在此基础上,我们进入第二步。


第二步:我们比较这三组人的面试数量。


由于每个人申请的项目数量是不一样的,我们使用“面试率”进行比较。面试率=100%×(面试数/申请数)

小编注:面试率实际上是体现外国医学院毕业生总体实力强弱的一个比较客观的指标。条件越好的申请者,在发出同样申请数量的情况下,获得面试的数量就多,面试率数值就高。

  • V = [2 ~ 7.9]组有10人,平均面试率是6%

  • V = [8 ~ 11.9]组有35人,平均面试率是10%

  • V = [12 ~ 16]组有4人,平均面试率是21%


我们对三组的面试率进行ANOVA分析:


(结果如下图▼)

ANOVA的结果显示:

  • V = [2 ~ 7.9]组与[12 ~ 16]组存在统计差异

  • V = [8 ~ 11.9]组与[12 ~ 16]组的p值刚好在0.05


结论:随着推荐信预测价值(V)的提高,面试率有提高的趋势。


为了理解和操作的方便,我们可以认为:

  • 推荐信含金量筛查表中,V > 12分以上的推荐信比V < 8分的推荐信在获得面试的几率上要多3.5倍。

  • 在2017年队列研究的样本量基础上,V = [8 ~ 11.9]这个组与两端的组(V = [2 ~ 7.9]和V = [12 ~ 16])暂时未出现统计差异。


总结以上为接地气的语言:高V值推荐信远远好于低V值推荐信,中V值推荐信与高低两组未见差异。


我们从以上数据中可以再次验证一些过去的推论和假设,并且得到新知:

  1. 推荐信可以独立影响面试数量(“Match量表4.1”中已指出过)

  2. 推荐信的客观因素影响推荐信的强弱,并且影响面试数(对“Match量表4.1”中提出的假设的验证)

  3. 争取获得12分以上的推荐信,避免使用8分以下的推荐信(对“Match量表4.1”中提出的假设的验证)

  4. 非临床的推荐信最高得分是8分,在找不到更好的推荐信的前提下,可以考虑使用非临床的推荐信

  5. 推荐信预测价值(V)落在同一个区间里面的两份推荐信,可以认为他们的质量是相似的


最后,建议与告诫:
  • 如《赴美行医:故事观点与指南》的6.7节《话说“推荐信”》(第281~287页)中反复强调,推荐信的最终质量由客观因素和主观因素共同决定。因为主观部分多数情况下不可获得(waive掉了看推荐信的权利),所以上述研究是仅仅对于推荐信的客观因素进行评价的。

  • 社会成就(比如科研成就),也可能成为对Match的最终结果有影响的因素。然而,社会成就方面的内容,一般是以“主观因素”方式写在信中的,不在上述推荐信预测价值(V)测评范围之内。

  • 在使用推荐信时,建议灵活使用推荐信预测价值(V),综合判断推荐人的风格、属性、风评等可能影响最终效果的主观因素。

  • 在临床轮转中,不妨多要推荐信。然后根据上述研究,混搭组合出一个最强的推荐信组合来。如果你犹豫哪个推荐信组合才是最有利的话,可以进一步咨询百歌医学顾问系统。


注解:


传送门☞《2017年【美国住院医师申请队列研究】基线数据》


阅读210
分享