CCCF精选｜生逢其时肩负重任——专访NLP科学家周明-网络知识

关键词：自然语言处理、预训练模型

编者按：

自然语言处理（Nature Language Processing，NLP）是人工智能领域的一个重要方向，被誉为“人工智能皇冠上的明珠”。自20世纪50年代以来，我国在自然语言处理领域开展了一系列相关的科研工作。经过多年努力，我国已经拥有了一支在这一领域辛勤耕耘且能与世界一流水平团队一较高下的科研队伍。在这一过程中，出现了一批见证自然语言处理领域发展，为我国自然语言处理领域作出重大贡献的学者。周明就是其中的优秀代表。

周明是世界顶级人工智能科学家，是自然语言处理领域的代表性人物，曾任微软亚洲研究院副院长、国际计算语言学学会（ACL）主席，现任中国计算机学会（CCF）副理事长（分管企业服务和会员发展）、中国中文信息学会常务理事、创新工场首席科学家。他还担任多所高校的博士生导师。他在自然语言处理领域发表的文章数量居世界前列。令人印象特别深刻的是，作为科学家创业，周明于2021年6月创办了澜舟科技公司。2022年3月，《中国计算机学会通讯》（CCCF）动态栏目编委委托清华大学副教授刘知远对周明进行了采访。希望周明的经历和见解能对自然语言处理领域的科研工作者和广大学生有所启发。

周老师，作为自然语言处理领域的著名学者，请您介绍一下您的主要科研经历、工作和成果，让读者对您有一个比较全面的了解。

周明：我于1991年在哈尔滨工业大学计算机系获得博士学位，1991-1993年在清华大学计算机系做博士后。回首科研之路，我从1985年在哈工大读硕士开始就一直从事自然语言处理领域的工作，我的第一个研究课题就是中英机器翻译（CEMT-I系统）。我的导师是陈光熙教授和李生教授。在清华做博士后期间，我的合作导师是张钹教授和黄昌宁教授。这几位导师的言传身教、远见和日常工作中给予我的精心指点令我受益至今。1993年博士后出站后，我在清华做副研究员，清华的氛围比较自由，鼓励大家到海外进行学术交流。我先后去了香港、日本做访问学者。我在1996-1999年间访问了日本高电社公司，主持中-日、日-中机器翻译产品“J-北京”的研发工作。这款机器翻译软件于1998年开始销售，其销量长期在日本同类机器翻译产品中名列第一。

1999年9月，我加入了微软中国研究院（后来改名为“微软亚洲研究院”，简称MSRA)，担任自然语言计算组（NLC组）研究员。时任院长李开复问我加入微软亚洲研究院有什么心愿。我说有两个心愿：第一是与同事们一道努力，使研究组进入世界先进研究组行列；第二是与全体自然语言处理领域的同仁一道努力促进中国乃至亚洲的自然语言处理研究进入世界前沿水平。当时，黄昌宁老师担任自然语言处理研究组主任，我作为助手帮助黄老师建立自然语言计算组。不久之后，黄老师因身体原因退休，转而担任顾问，我接棒继续发展壮大NLC组。我们拓展了研究领域，从翻译、文本生成到搜索引擎，再到近几年的预训练模型，做了很多具有前瞻性的工作。自然语言计算研究组在国际顶级学术会议ACL上发表了超过100篇文章，技术成果应用在微软重要的产品中，譬如Windows、Office、Bing、Azure。我主持开发的微软对联、输入法、必应词典等产品被众多用户试用，成为微软中文自然语言处理的代表性成果。我们研发的对话引擎、诗歌生成、新闻推荐等产品应用于当时引起关注的微软小冰中。MSRA自然语言计算组20多年间共计培养了500位实习生、20位博士生和20位博士后，这些人后来都成为NLP领域的技术骨干和领导者。

与此同时，微软亚洲研究院与中国和海外的大学建立了很多合作关系，也与中国计算机学会、中国中文信息学会、中国人工智能学会一起创办了很多活动。我积极参与其中并作了很多事情。比如与哈尔滨工业大学联合设立哈工大-微软NLP联合研究室及NLP暑期学校；担任了微软-哈工大联合实验室、微软-清华联合实验室的主任，曾担任CCF自然语言处理专委会主任；多次组织国际自然语言处理和中文计算会议（NLPCC），并推动它进入CCF推荐C类国际学术会议列表；联合中国计算机学会和中国中文信息学会发起语言与智能高峰会议。在担任国际计算语言学学会主席期间，我主导成立了ACL亚太分会。

这些年来，我见证了中国自然语言处理研究的崛起，其中一个标志是这几年中国在ACL会议上发表的文章在世界名列前茅。在过去20余年里有这些机会见证历史的伟大变迁，并推动了中国乃至亚洲自然语言处理的人才培养和发展，我由衷感到高兴，也特别感谢微软亚洲研究院与亚太学校的合作在这个过程中起到的促进人才培养的桥梁作用。

2020年，在微软工作21年后，我发现我的两个心愿似乎都实现了。于是，我萌生了一个新想法：能不能去创办一家技术型的企业，把自然语言处理技术做成标准化的产品赋能企业和社会？于是我在2020年底加入了李开复创办的创新工场，担任首席科学家并从零开始孵化一个自然语言处理团队。这似乎是一个传奇故事，20多年前正是李开复给了我在微软亚洲研究院工作的机会，使我学到了技术、知识，培养了管理能力，并利用微软的平台，和大家一起努力，使我的两个心愿真正成为现实。20年后，又是李开复的支持，让我得以创立自然语言处理技术公司。在此要特别感谢李开复和创新工场对我的支持。

2021年6月10日，“澜舟科技”公司成立了。澜舟科技是一家认知智能公司，主要业务是针对商业场景数字化转型，以自然语言处理为基础提供商业洞见类产品。主要产品包括基于预训练模型的功能引擎（比如搜索、生成、翻译、对话等）和针对垂直行业场景的软件即服务（Software as a Service，SaaS）产品。希望通过软件即服务的形式，帮助中小企业大幅提高信息获取、翻译、调研、预测、报告生成和决策辅助能力。澜舟科技获得了全球创业者峰会暨创业大赛（HICOOL2021）一等奖暨人工智能和金融赛道第一名。我有幸得到了北京市市长陈吉宁和北京市委书记蔡奇的颁奖和接见，他们鼓励我要做硬核科技。最近澜舟科技完成了一笔近亿元的Pre-A轮融资，公司进入到一个新的发展阶段。

回想当年，多少自然语言处理同仁的愿望是有一天我国在ACL会议上发表的论文数量能够和美国并驾齐驱。这一想法在20多年以前属于天方夜谭，但如今在全国同仁的不断努力下，我国在ACL会议上发表的文章数量已经与美国旗鼓相当了。不过论文数量并不代表创新能力，文章也不能直接体现生产力，必须通过转换机制体现产品的实际价值。那么我国的自然语言处理领域还有没有可能再提高呢？我认为在原创层面、基础算法层面，以及硬核科技的技术体系方面还有广阔的发展空间，我会与科研院所、学术团队共同努力，也期待澜舟科技公司能作出应有的贡献。

作为资深学者，您一直在学术界发展，是什么促使您做出创业的决定？

周明：我观察到行业发展的几个大趋势。第一，自然语言处理基于预训练模型产生了新的变化，在多数任务上都能超越以往的水平，取得了新的重大突破。预训练模型加上微调的技术解决了自然语言处理研发的碎片化问题，带来生产率的大幅提升。第二，某些国家不断升级技术遏制和封锁，试图卡住中国科技创新的“脖子”，在此形势下，我国大力强化科技创新体系能力，加快构筑支撑高端引领的先发优势。这带来了很多创业空间。第三，企业需要数字化转型，从采购、招聘、物流、获客、营销、客服等各个环节都需要提高效能，其中涉及的人工智能技术蕴藏着很多机会。人工智能将会从感知智能发展到认知智能。而在认知智能技术体系下，语言加上决策推理和预测等是其中的核心技术。过去几年，计算机视觉（CV）领域涌现了以“四小龙（商汤、旷视、云从、依图）”为代表的一批计算机视觉公司。然而，认知智能领域的公司少之又少，现有的技术和服务远远不能满足企业的各种需求。另外，相比创业的成功，我更享受创业的过程，通过创业也能够提升自己的能力。自然语言处理领域总得有人要走创业、孵化、产业化的路。我也希望我所积累的经验和教训能够帮助到业界的同仁。

请您从技术发展的角度，谈谈你对自然语言处理领域未来的预期。有哪些重要的问题需要解决？我们也注意到，澜舟科技推出了轻量级中文语言预训练模型“孟子”，您对未来预训练模型的发展有什么规划？

周明：首先，从纯研究角度，我认为“预训练模型+微调”在未来3~5年内一定是一个重要趋势，通过借助大数据和迁移学习有效地解决自然语言处理的碎片化问题。但是现在这个领域方兴未艾，不能盖棺定论，其背后的很多技术还有待进一步提升。比如，Transformer是不是最佳的架构体系？有可能某一天会出现一个更好的架构体系。其次，预训练模型目前还是黑箱，把一大堆数据放进去训练模型，这些模型学到了一些东西，但是学到了什么仍然不可见，而且对结果无法解释。然而很多应用是需要结果可解释的，比如在金融、客服和医疗等场景，如果做不到结果可解释，预训练模型很难被直接使用。最后，现在的预训练模型还是依赖数据，可是很多场合只有很少的数据，如果数据包含歧视和偏见，将不可避免地产生伦理问题。我和很多研究人员都在考虑：第一代人工智能是知识驱动型的，第二代人工智能是数据驱动型的，有没有可能做出第三代人工智能，可以将两者很好地融合、取长补短呢？

回到预训练模型落地这一话题，大家呼唤经济型的策略，这也是我们现在做“孟子”轻量化模型的初衷。做轻量化模型不是把模型做小就行，这背后还包含很多研究。既要模型小，又要提升能力，就要好好推敲算法、知识、领域迁移、数据增强等方面的研究。这并非易事，需要我们进行更多的尝试。

过去20年里，您在微软亚洲研究院看到了国内自然语言处理领域的快速发展，您也在国际组织担任很多学术服务职务，包括ACL主席。您对我国人工智能和自然语言处理领域未来的发展，有什么意见和建议？您觉得应该怎么做？

周明：这是一个很重要、很关键的问题，需要从“顶天”和“立地”两条线展开。“顶天”是要把目标定得高远一些，不为名所累，不为利所扰；要站在科技发展的角度，确定目标，攻克问题。“立地”是要让自己做的东西对社会和工业界产生真实的作用，具备新的价值，可以影响千家万户，影响很多企业，影响社会发展。所以，首先，人工智能和自然语言处理领域的研究者和学生的选题要高远一些，无论是“顶天”还是“立地”，要敢于选择一个正确而且难的大题目。然后要讲究做事方法，一定要把基础打牢，把模型、基础架构都做好，要敢于挑战已有的权威，而不是墨守成规，默认现有的方法。最后，研究人员应多了解孵化和投资的方法。因为学校里的资源是非常有限的，国家的经费也非常有限。我们如果多接触社会，就可以站得更高，看得更远，广交朋友，就可以更加全面地看待问题，借助很多人的力量，从而更快地推进自己的理想。

根据您个人的成长经历，您对于青年学者或学生的发展有什么建议？

周明：我们赶上了一个非常好的时代，我国的科研地位不断提升，在世界上的影响越来越广泛，国家对人工智能等科研投入的力度大幅增强，中国科技崛起的人才优势也逐步凸显，这为我们营造了一个非常好的土壤，可以让年轻人快速成长。这其中蕴藏着新的重要机会和巨大的用户需求，带动我们前行。我们要好好利用这些优势，走在时代发展潮流的最前列。

对于刚走向社会的学生，我建议青年人不要“两耳不闻窗外事”，只局限于自己的小领域，做自然语言处理的，就只关心自然语言处理，搞研究的，就只关心研究。我们应该“风声雨声读书声声声入耳”，一定要多听、多想，多看看周围的领域，集思广益，博采众长。青年学生要有自信，要选择重大的课题去做，要脚踏实地，要做真正对国民经济产生重大影响的研究。我希望青年学者和学生们要善于合作，与其他人互动起来，这样才可以走得更稳健，更长远。