Yann LeCun：ViT慢且效率低，实时图像处理还得看卷积

在 Transformer 大一统的时代，计算机视觉的 CNN 方向还有研究的必要吗？

今年年初，OpenAI 视频大模型 Sora 带火了 Vision Transformer（ViT）架构。此后，关于 ViT 与传统卷积神经网络（CNN）谁更厉害的争论就没有断过。

近日，一直在社交媒体上活跃的图灵奖得主、Meta 首席科学家 Yann LeCun 也加入了 ViT 与 CNN 之争的讨论。

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

这件事的起因是Comma.ai的CTO Harald Schäfer在展示自家最新研究。他（像最近很多AI学者一样）cue了Yann LeCun表达，虽然图灵奖大佬认为纯ViT并不实用，但我们最近把自己的压缩器改成了纯ViT，没有捷积，需要更长时间的训练，但是效果非常不错。

比如左图，被压缩到了只有 224 字节，右边是原始图像。

只有 14×128，这对自动驾驶用的世界模型来说很大，意味着可以输入大量数据用于训练。在虚拟环境中训练相比真实环境成本更低，在这里 Agent 需要根据策略进行训练才能正常工作。虚拟训练更高的分辨率效果会更好，但模拟器就会变得速度很慢，因此目前压缩是必须的。

他的展示引发了 AI 圈的讨论，1X 人工智能副总裁 Eric Jang 回复道，是惊人的结果。

Harald 继续夸赞 ViT：这是非常美丽的架构。

此处有人就开始拱火了：大师如 LeCun，有时也无法赶上创新的步伐。

不过，Yann LeCun 很快回复辩驳称，他并不是说 ViT 不实用，现在大家都在使用它。他想表达的是，ViT 太慢、效率太低，导致不适合实时处理高分辨率图像和视频任务。

Yann LeCun 还 Cue 了纽约大学助理教授谢赛宁，后者参与的工作 ConvNext 证明了如果方法得当，CNN 也能和 ViT 一样好。

他接下来表示，在坚持自注意力循环之前，你至少需要几个具有池化和步幅的卷积层。

如果自注意力等同于排列（permutation），则完全对低级别图像或视频处理没有意义，在前端使用单个步幅进行修补（patchify）也没有意义。此外由于图像或视频中的相关性高度集中在局部，因而全局注意力也没有意义且不可扩展。

在更高级别上，一旦特征表征了对象，那么使用自注意力循环就有意义了：重要的是对象之间的关系和交互，而非它们的位置。这种混合架构是由 Meta 研究科学家 Nicolas Carion 及合著者完成的 DETR 系统开创的。

自 DETR 工作出现以后，Yann LeCun 表示自己最喜欢的架构是低级别的卷积 / 步幅 / 池化，以及高级别的自注意力循环。

Yann LeCun 在第二个帖子里总结到：在低级别使用带有步幅或池化的卷积，在高级别使用自注意力循环，并使用特征向量来表征对象。

他还打赌到，特斯拉全自动驾驶（FSD）在低级别使用卷积（或者更复杂的局部运算符），并在更高级别结合更多全局循环（可能使用自注意力）。因此，低级别 patch 嵌入上使用 Transformer 完全一种浪费。

我猜死对头马斯克还是用的卷积路线。

谢赛宁也发表了自己的看法，他认为 ViT 非常适合 224x224 的低分辨率图像，但如果图像分辨率达到了 100 万 x100 万，该怎么办呢？这时要么使用卷积，要么使用共享权重对 ViT 进行修补和处理，这在本质上还是卷积。

因此，谢赛宁表示，有那么一刻自己意识到卷积网络不是一种架构，而是一种思维方式。

这一观点得到了 Yann LeCun 的认可。

谷歌 DeepMind 研究者 Lucas Beyer 也表示，得益于常规卷积网络的零填充，自己很确定「卷积 ViT」（而不是 ViT + 卷积）会工作得很好。

可以预见，这场 ViT 与 CNN 之间的争论还将继续下去，直到未来另一种更强大架构的出现。

以上就是Yann LeCun：ViT慢且效率低，实时图像处理还得看卷积的详细内容，更多请关注其它相关文章！

# 运算符  # 怎么做推广网站赌场  # 全网整合营销推广怎么样  # 奇米影视关键词排名  # 四川网站搜索优化  # 肖战粉丝营销号推广  # 仁怀贵州网站seo排名优化  # 洛阳seo公司参考火星  # 明湖月饼微信营销推广  # 纪录片中国关键词排名榜  # 攀枝花爱采购关键词排名  # 画出  # 有意义  # ai  # 压缩器  # 也没  # 的是  # 自己的  # 更高  # 图像处理  # 还得  # sora  # 排列  # 模拟器  # 计算机视觉 

相关栏目： 【 Google疑问12 】 【 Facebook疑问10 】 【 优化推广96088 】 【 技术知识133117 】 【 IDC资讯59369 】 【 网络运营7196 】 【 IT资讯61894 】

相关推荐： Midjourney创始人：AI应该成为人类思想的延伸  昇腾AI & 讯飞星火：深度联手，共话国产大模型“大未来”  给小朋友最好的科技礼物：乐天派桌面机器人  如布科技发布新产品AI口袋学习机S12  重磅！ 捷通华声灵云AICC荣获第二届光合组织AI解决方案大赛二等奖  标贝科技亮相国际顶会ICASSP2025 加速布局海外AI数据市场  IBM和NASA合作发布可追踪碳排放的开源AI基础模型  人工智能在服务优化方面优缺点有哪些  小米首次曝光 64 亿参数的 MiLM-6B AI 大模型，或将应用于小爱同学  Nature封面：量子计算机离实际应用还有两年  宇宙探索下一阶段，机器代替人类，AI会在太空探索中取代人类吗？  在心理治疗中用VR技术，治疗成效显著提高  城市在采用人工智能方面进展如何？  加州用AI监测野火：1032个摄像头联网扫描森林异常  苹果推出全新沉浸式 AR 体验应用“Deep Field”  麦肯锡：到 2045 年左右，将有 50% 工作被 AI 接管  中国AI公有云市场2025年逆势蓬勃增长，增速高达80.6%  微软宣布为 Azure AI 添加男性声线，增强文本转语音功能  谷歌StyleDrop在可控性上卷翻MidJourney，前GitHub CTO用AI颠覆编程  微软更新服务协议，以防止通过AI服务进行逆向工程和数据抓取  站在社会的高度理解人工智能  图灵奖得主Hinton：我已经老了，如何控制比人类更聪明的AI交给你们了  微软在德国举办MR研讨会，向女性分享元宇宙潜力  读创正式上线“读创AI聊”功能  CharacterAI - 也许会成为会话人工智能的未来  浪潮KaiwuDB：“快人一步” - 打造更懂物联网的数据库  写出优质文章的妙招：利用"稿见AI助手"的实用指南  售价14.99万起！小米汽车部分信息疑遭AI曝光，内部人士回应：网传图片明显经过处理，不可轻信  “图壤·阅读元宇宙”亮相北京国际图书博览会  创作音乐/音频的Meta开源AI工具AudioCraft，让用户通过文本提示实现  WHEE使用教程  PS AI修图免费平替来了！Stability AI又放大招，核弹级更新一键扩图  Goodnotes 6推出，带来多项全新AI功能，让电子笔记更智能  闪电快讯|京东推出言犀AI大模型 面向零售、医疗、物流等产业场景  利好来了，AI再起一波？  北京公司实施AI技术，推行4.5天工作制，抵制996文化，提升员工工作幸福感  一家 380 亿美元的数据巨头，要掀起企业「AI 化」革命  全场景智能车：智能无处不在｜芯驰亮相世界人工智能大会  助力人工智能产业高质量发展 龙岗区算法训练基地正式启用  元宇宙技术带你穿梭“大运河”，江苏书展上的数字阅读馆吸睛小读者  Meta发布音频AI模型，仅需2秒片段模拟真人语音  苹果CEO库克：持续研究生成式人工智能技术  美图公司影像节或发布AI设计新品  视觉中国推出付费AI绘图功能：无版权可用  国家发改委组织工业机器人产业高质量发展现场会  专家解读国家网信办深度合成服务算法备案信息公告：不等于百度、阿里、腾讯等生成式AI产品获批  世界人工智能大会中西部县域数字就业中心组团亮相  OpenAI 为开发者推出 GPT 聊天机器人 API 大更新，同时降低价格  学而思网校推出首个基于自研大模型的《人工智能第一课》  人工智能驱动艺术，打开达利的超现实想象 

 2024-06-03