Jay 发自 凹非寺 量子位 | 公众号 QbitAI 在OpenAI，有一个神秘人专门负责推理用的CUDA内核。 同事们管他叫Bob，人们会把他写的注意力内核亲切地称为 Bob内核 。 这个内核每天可能在数十万张GPU上被执行 万亿次 。 要知道，这个环节对精度的要求非常高，如果出bug，需要回滚checkpoint重训，会浪费大量的算力资源。 有网友感叹： 全世界能写出高性能训练用CUDA内核的人，活着的不超过100个。 就是这么一个"地狱级难度"的东西，在OpenAI居然 只靠Bob一个人 。 Bob内核能力者 OpenAI前员工感叹，Bob轻轻松松在几分钟内修好了自己一周都没搞定的问题。 坊间传言，小扎已经知道了这个消息，已经火急火燎地安排上了，Meta明天招聘会议的Top 1事项就是："Bob到底是谁！" 其他前员工也附议，表示OpenAI对Bob的依赖极高。 公司内部的Slack上专门有一个"Bob magic"表情包，用来来膜拜Bob——无人能不折服于他那"巫师"般的能力。 还有些员工打趣道： 如果Bob心血来潮想出去度假一周，那整个公司可就要准备好面临生死存亡的终极阶段了 。 既然是这么重磅级 ...