三人是严密的配合搭档。近来，OpenAI 又迎来了新的人变乱动，但此次不是某个技巧年夜牛离任，而是从谷歌挖来了一些新颖血液。这些「新人」来自谷歌 DeepMind 的苏黎世服务处，包含资深研讨迷信家 Xiaohua Zhai（翟晓华）、研讨迷信家 Lucas Beyer 跟 Alexander Kolesnikov。在谷歌 DeepMind 任务时期，三人就是亲密的配合搭档，独特参加了 ViT 等主要研讨。之后，他们将一同树立 OpenAI 苏黎世服务处。OpenAI 高管在周二的一份外部备忘录中告知员工，三人入职后将从事多模态 AI 研讨。在 DeepMind 任务时期，Beyer 仿佛始终在亲密存眷 OpenAI 宣布的研讨结果以及该公司卷入的大众争议，他常常在 X 上向本人的 7 万多名粉丝宣布相干信息。客岁，当首席履行官 Sam Altman 被 OpenAI 董事会长久辞退时，Beyer 发帖称，他现在读到的对于辞退的「最公道」说明是，Altman 同时参加了太多其余始创公司的任务。在竞相开辟开始进的人工智能模子的同时，OpenAI 及其竞争敌手也在剧烈竞争，从天下各地应聘无限的顶尖研讨职员，平日为他们供给濒临七位数或更高的年薪。对最热门的人才来说，在差别公司之间跳槽并不常见。比方，Tim Brooks 曾是 OpenAI 的 Sora 担任人，近来他离任前去 DeepMind 任务。不外，高调挖角的高潮远不止 DeepMind 跟 OpenAI。往年 3 月，微软从 Inflection AI 公司挖走了其人工智能担任人 Mustafa Suleyman 以及该公司的年夜局部员工。而谷歌斥资 27 亿美元将 Character.AI 开创人 Noam Shazeer 拉回麾下。在从前多少个月里，OpenAI 的一些要害人物接踵离任，有的参加了 DeepMind 跟 Anthropic 等直接竞争敌手，有的开办了本人的企业。OpenAI 结合开创人、前首席迷信家 Ilya Sutskever 离任后，开办了一家专一于人工智能保险跟生活危险的始创公司 Safe Superintelligence。OpenAI 前首席技巧官 Mira Murati 于 9 月份发布离任，听说她正在为一家新的人工智能企业筹集资金。往年 10 月，OpenAI 表现正在尽力向寰球扩大。除了新的苏黎世服务处，该公司还打算在纽约市、西雅图、布鲁塞尔、巴黎跟新加坡开设新的分支机构。除旧金山总部外，该公司已在伦敦、东京跟其余都会设破了分支机构。LinkedIn 上的材料表现，Zhai、Beyer 跟 Kolesnikov 都住在苏黎世，苏黎世已成为欧洲一个绝对凸起的科技核心。苏黎世是 ETH （苏黎世联邦理工学院）的地点地，ETH 是一所公破研讨型年夜学，领有寰球著名的盘算机迷信系。据《金融时报》往年早些时间报道，苹果公司还从谷歌挖走了一些人工智能专家，在「苏黎世的一个机密欧洲试验室」任务。也有人猜想，OpenAI 之以是在苏黎世设破服务处，是由于三团体都不肯意搬迁。严密配合的三位迷信家从已宣布的研讨看，这三位研讨者常常从事统一个名目的研讨，而且他们也做出了一些十分主要的研讨结果，此中一些被 AI 顶会作为 Spotlight 跟 Oral 论文接受。Xiaohua Zhai（翟晓华）团体主页：https://sites.谷歌.com/view/xzhaiGoogle DeepMind（苏黎世）的资深研讨迷信家跟治理者。他引导着苏黎世的一个多模态研讨团队，其研讨重心是多模态数据、开放权重模子跟容纳性。依据其领英简历，他于 2014 年在北京年夜学获得了盘算机迷信博士学位。之后曾在谷歌从事了三年软件工程师的任务。2017 年 12 月，他参加 DeepMind 担负研讨迷信家，并始终在此任务了 7 年。现在，翟晓华在 Google Scholar 上的被引量曾经到达了 6 万多，此中年夜局部被引量来自他们三人独特参加的 ViT 论文《An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale》。Lucas BeyerLucas Beyer 是 DeepMind 研讨迷信家。团体博客：https://lucasb.eyer.be/他在 2018 年于德国亚琛产业年夜学实现了本人的高级学业，时期曾在谷歌以练习生身份从事过研讨任务，也在 Kindred.ai 担负过 AI 工程师，在德国亚琛产业年夜学担负过研讨助理。结业后，他正式参加谷歌，先后在谷歌年夜脑与 DeepMind 从事研讨任务。他在博客中写到：「我是一名自学成才的黑客跟迷信家，努力于发明不凡事物。现在在瑞士苏黎世生涯、任务、爱情跟游玩。」Alexander KolesnikovAlexander Kolesnikov 曾经更新了本人的领英页面，他已经也是 DeepMind 的研讨迷信家。团体主页：https://kolesnikov.ch他于 2012 年硕士结业于莫斯科国破年夜学，之后在奥天时迷信技巧研讨所获得了呆板进修与盘算机视觉博士学位。相似地，2018 年博士结业后，他也先后在谷歌年夜脑跟 DeepMind 从事研讨任务。杰出的研讨结果很显然，这三位研讨者是一个十分严密的研讨团队，也因而，他们的良多研讨结果都是三人独特聪明的结晶（固然另有其余配合者），咱们上面将其放在一同先容。起首必需提到的就是这篇论文：论文题目：An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale论文地点：https://arxiv.org/pdf/2010.11929名目地点：https://github.com/谷歌-research/vision_transformer这篇就是赫赫有名的 Vision Transformer（ViT）论文，此中提出能够应用 Transformer 来年夜范围地天生图像，呆板之心也曾做过报道，参阅《NLP/CV 模子跨界停止究竟，视觉 Transformer 要赶超 CNN?》。现在，这篇论文的援用量曾经濒临 5 万，这三位研讨者均是独特技巧一作。尔后，他们还研讨了 ViT 的 Scaling Law。论文题目：Scaling Vision Transformers论文地点：https://arxiv.org/pdf/2106.04560经由过程扩展跟缩小 ViT 模子跟数据的范围，他们研讨了过错率、数据跟盘算之间的关联。在此进程中，他们还对 ViT 的架构跟练习停止了改良，增加了内存耗费并进步了天生模子的正确性。别的，他们也为 ViT 开辟了一些改良版本，对其机能或效力等差别方面停止了优化，比方能顺应差别图块巨细的 FlexiViT，参阅论文《FlexiViT: One Model for All Patch Sizes》。他们也摸索了另一些架构翻新，比方他们在论文《MLP-Mixer: An all-MLP Architecture for Vision》中提出了一种用于视觉义务的纯 MLP 架构 MLP-Mixer；在论文《Big Transfer (BiT): General Visual Representation Learning》中，他们从新审阅了在年夜型监视数据集长进行预练习并在目的义务上微调模子的范式，并经由过程扩展了预练习的范围提出了所谓的 Big Transfer 计划。他们也开辟了一些在事先都到达了 SOTA 的开辟模子，比方 PaliGemma，这是一个基于 SigLIP-So400m 视觉编码器跟 Gemma-2B 言语模子的开放式视觉言语模子 (VLM)，其在等同范围下的表示十分杰出。而在论文《Sigmoid Loss for Language Image Pre-Training》中，他们仅应用 4 块 TPUv4 芯片，在 2 地利间内就练习出了一个在 ImageNet 上实现了 84.5% 的零样本正确度的模子。他们在盘算机视觉方面的良多研讨结果都同一在了 Google 的 Big Vision 名目中，参阅 https://github.com/谷歌-research/big_vision他们近期的研讨重心是同一、简化跟扩大多模态深度进修，比方：UViM: A Unified Modeling Approach for Vision with Learned Guiding Codes，该论文提出了一种建模多样化盘算机视觉义务的同一方式。该方式经由过程组合应用一个基本模子跟一个言语模子实现了相互增益，从而在全景宰割、深度猜测跟图像着色上获得了不错的后果。Tuning computer vision models with task rewards，这项研讨展现了强化进修在多种盘算机视觉义务上的无效性，为多模态模子的对齐研讨做出了奉献。JetFormer: An Autoregressive Generative Model of Raw Images and Text，这是上个月尾才刚宣布的新研讨结果，此中提出了一种翻新的端到端多模态天生模子，经由过程联合归一化流跟自回归 Transformer，以及新的噪声课程进修方式，实现了无需预练习组件的高品质图像跟文本结合天生，并获得了可与现无方法竞争的机能。固然，这三位研讨者多年的研讨结果远不仅这些，更多结果请拜访他们各自的主页。看来，OpenAI 此次是真挖到宝了，难怪有人说谷歌得到这三位人才会是一个策略掉误。参考链接：https://www.wired.com/story/openai-hires-deepmind-zurich/https://x.com/XiaohuaZhai/status/1864175652624097366© THE END 转载请接洽本大众号取得受权投稿或追求报道：[email protected]]article_adlist--> 　　申明：新浪网独家稿件，未经受权制止转载。 -->