来自香港理工大学的博士生程轶,带着对大语言模型(LLMs)的探索热情,开启了她在微软亚洲研究院为期十个月的科研之旅。
如今,回望这十个月的经历,她意识到,真正的收获早已藏在那些未被定义的时刻里——在与导师的交流中获得新的启发,在地铁上灵光乍现地想到突破瓶颈的方法,在某次讲座中开启新的研究视角……
通过“星跃计划”,程轶得到了微软亚洲研究院北京和温哥华两个实验室顶级研究员的指导,并与不同研究背景的科研人员深度交流。在这个过程中,她不仅探索了大语言模型的前沿问题,也在国际化的团队氛围中不断拓展认知的边界。
从困境中破局:寻找科研方法的最优解
她注意到,传统的自一致性方法(self-consistency)依赖于多次采样并选择最一致的输出,但这些方法通常要求严格的任务格式(例如数学计算或多项选择题),限制了其在开放式生成任务中的应用。在 mentor 的鼓励下,她决定探索新的策略,以提高大语言模型的事实性。
最开始,程轶设想的方法比较直观——先将文本切分,再通过相似度聚类,最终合并输出。但在与 mentor 宫叶云讨论之后,她发现这样的方法仍然过于复杂,难以满足“简洁性”这一关键原则。于是,在最初但也最关键的节点上,研究一度陷入停滞。
程轶参加学术会议
接下来的一个月里,程轶反复推敲可能的解决方案,却始终难以找到突破口。她形象地比喻这个过程:“科研并不像垒砖头,一个小时垒100块,两个小时就能垒200块;它更像在拧一个生锈的水龙头,每次拧都不见得出水,但某次一使劲儿,也许就通了。”
终于,在一天下班路上的地铁上,她灵光乍现,想到了 Integrative Decoding(ID)的新解码策略。程轶发现,那些看似走不通的路并非毫无意义,正是对于不适配方法的不断叠加或变化,让她找到了最合适的道路。
Integrative Decoding(ID)策略的核心在于隐式融入自一致性,通过对多个采样响应进行并行处理,并在每步选择最一致的下一个 token,比传统自一致性方法更灵活,也拥有更低的计算成本。
程轶(右)与 mentor 宫叶云(左)
在此次研究中,程轶最重要的启发来自宫叶云所说的“做真正有用的研究”。“我意识到了方法简洁的重要性,首先简洁意味着更普适,适用于更多的场景;其次简洁的方法更方便迭代,能够在新的场景下不断优化,”她总结道,“坚持这样的原则才能做出有影响力的研究。”
星跃重洋:拥抱不同视角的碰撞
该计划为实习生提供来自微软不同实验室、拥有不同研究背景和思维方式的资深导师指导,这种跨地域、跨领域、跨视角的深度交流与碰撞是实习生成长的关键催化剂。“双导师机制”为程轶打开了一扇通往多维视角的窗口。
在前期 LLMs 幻觉问题的研究中,宫叶云强调方法的简洁性,启发她追求普适的解决方案;美国工程院的王松和肖雯则关注数据的实用性,教她从“论文好看”转向“实验落地”。“刚开始时,他们要求我直接提供样例和数据,这让我非常惊讶”程轶笑着回忆道。但正是这一过程,让她的思维方式发生了转变——从学生时代“只需论文数据好看”的心态,逐渐转向关注实际应用,思考如何让实验真正可落地。
实习中期,程轶又有幸进入到另一个科研项目,得到微软亚洲研究院全球研究合伙人程鹏和高级研究员刘啸的指导。在合作过程中,她与 mentor 们保持着紧密而高效的沟通。刘啸通常会提供研究方向上的指导和方法上的建议,而程轶则能够快速理解并付诸实践。她认为刘啸是“像学长或者战友一样”,他们每天都会交流讨论研究的细节,互相转发前沿论文拓展视野,还会一起 debug 代码。程鹏则会在每周的会议上给出宏观层面的指导,比如如何设计底层架构,以及推动下一代 LLMs 的发展方向。在项目推进中遇到瓶颈时,程轶善于冷静分析问题并积极寻求反馈,通过与 mentor 多轮讨论共同制定解决方案。这种良好的互动模式使我们能够有效化解挑战,并推动研究持续向前。刘啸评价道:“程轶在接受新知识和新方法时展现出极强的吸收与整合能力,能够迅速将所学转化为研究动力,从而不断提升自身的科研水平。”
程轶(左)与 mentor 刘啸(右)的合照
依托“星跃计划”的双导师机制,刘啸通过跨地域和跨领域的指导,帮助程轶拓展了科研视野,引导她关注国际前沿成果、学习多样化的研究范式,并结合不同学科的思路进行思考。
与此同时,她也始终与香港理工大学的导师李文捷保持联系。“李老师更偏理论研究,他擅长抽象复杂问题,虽然这些研究可能短期内无法落地,但却具有前瞻性,对我的思维方式影响很大。”相比 MSRA 更偏实际应用的研究,学术界更注重方法的创新性和理论突破,即便实验规模有限,也关注如何推动知识边界向前发展。在这两种研究环境中切换,让程轶学会在“前瞻探索”与“实际落地”之间找到平衡点。
在 MSRA 的经历,让程轶最深刻的收获,并不是某一篇论文的发表,而是她真正接触到了大语言模型的核心研究圈层。“以前,我看到 DeepSeek 等技术更新时,只会觉得是新闻;但现在,我清楚这离自己并不遥远——因为我已经站在这场变革的前沿。”
不设限的人生:在挑战中找到真正的快乐
在 MSRA 的十个月,程轶不仅收获了科研的成长,也收获了许多珍贵的生活瞬间在微软亚洲研究院举办的研讨会中聆听斯坦福大学计算机科学助理教授杨笛一的洞见,在圣诞派对上玩吹泡泡糖的小游戏,在万圣节活动中体验独特的欢乐氛围,和同组实习生们一起并肩奋斗……
程轶在万圣节活动中与实习生小伙伴的合照
“刚入职时,大家都觉得我有点高冷,熟悉后才发现我是个活泼外向的人。”她笑道。在这个包容的团队里,她感受到真正的尊重与支持,也更加勇敢地追寻自己的科研理想。
程轶坦言,虽然现在自己依然无法明确未来的具体研究方向,但有一点变得清晰——她无法接受停滞不前的生活。她笑称自己是个“挺卷的人”,曾经以为可以选择一条相对轻松的道路,后来才发现,自己始终渴望挑战,渴望向上。
在星跃计划双导师机制的引导下,她有机会站在多样化的学术视角中审视问题,也在跨学科的思维激荡中,逐渐认识了那个敢想、敢试、敢做的自己。
程轶个人生活照
这种对挑战的热爱,让她想起最近读到的一本书《游戏改变世界》,书中提到,游戏设计师比任何人都懂得如何让人既快乐又愿意持续付出,而真正令人满足的 “good hard work” ,往往比纯粹的放松和“躺平”更令人愉悦。就像俄罗斯方块,它的最终结局注定是失败的,但它的魅力在于始终让玩家处在能力的边界,不断迎接新的挑战。
程轶恍然意识到,自己所追求的,正是这样一种状态——无论是科研的探索,还是生活中的未知,她希望始终保持那份不畏困难、勇于超越的热情。因为她明白,真正的成长,不是顺风顺水,而是敢于在每一次挑战中,超越自己的极限,迈向更远的未来。
Mentor 寄语
程轶博士在科研道路上展现出卓越的潜力与全面的素养。在实习期间,她紧跟学术前沿,专注于推理扩展方向的研究,并成功在国际顶级会议 ICLR 2024 发表高水平论文,体现了其深厚的学术功底与创新能力。在团队中,程轶不仅是科研骨干,更是凝聚力的核心。她性格开朗、待人真诚,乐于助人,常主动指导师弟师妹。她在团队建设中发挥了积极作用,营造了良好的科研氛围,带动大家共同进步。程轶做事有条理,对科研领域的梳理清晰,具备出色的沟通能力。这不仅保障了她自身的科研产出,也使她在团队协作中游刃有余,成为连接各方、推动项目发展的关键成员。通过近一年的实习,程轶展现了非凡的科研天赋与综合能力。
希望程轶同学在未来的科研道路上,继续保持求知的热情与探索的勇气,以坚韧与智慧不断突破自我,既扎根学术的深度,又拓展跨领域的广度,成长为兼具独立思考力与创新精神的优秀科研人才。
程轶在科研旅途中,以坚定的勇气和智慧不断探索和突破。在微软亚洲研究院的十个月中,她克服了重重挑战,不仅展现了她在解决复杂问题上的才华,也体现了科研的真正力量。在多元化的团队中,程轶找到了自己的定位,能够游刃有余地在理论与实践之间切换,这种能力将成为她未来探索的坚实基础。尽管前路充满未知,她已拥有面对挑战的勇气与决心。希望她继续勇敢地追逐梦想,无论是科研还是生活,愿她在每一个挑战中,超越自我,迈向更广阔的天地。祝福她在未来的每一个阶段都能绽放属于自己的光彩!
当面对集体性的难题时,思想的碰撞与智慧的共鸣显得尤为重要。微软亚洲研究院历时两年打磨的《无界——透视微软创新研究之境》一书,正是献给这个时代的探索指南。
包括周礼栋院长在内的十余位顶尖科研人员参与了本书的编写工作,他们从不同角度探讨了人工智能、计算机科学及其交叉领域的最新进展,分享了前沿的展望、观点以及宝贵的科研经验。
本书已获得十余位全球顶尖学者的推荐,其中包括图灵奖得主、院士、知名高校领导、在各自领域享有盛誉的学者,以及微软亚洲研究院的杰出院友。
现在,《无界——透视微软创新研究之境》已全平台火爆开售!首批读者将获得限量版微软50周年书签,书签上的文章作者亲笔签名将随机呈现,盲盒式惊喜等你开启!
立即点击下方链接,开启你的专属阅读之旅!
你也许还想看:
文章原文
