特斯拉高管披露最新超级计算机雏形，有望问鼎世界第一？

　　不会造超算的车企不是好的自动驾驶企业？这句话看来不是玩笑。近日，特斯拉公布了新型超级计算机，就每秒浮点运算 ( FLOPS)而言，它是世界上排名第五的超级计算机。新机器是特斯拉的第三个超级计算机集群，为还未发布的超级计算机Dojo（Dojo发音源自日语，意为 “道场”）的开发原型版本。一切顺利的话，超级计算机Dojo将超越目前世界排名第一的日本超级计算机富岳（Fugaku，富士山的别名）。
以上消息来自特斯拉人工智能与自动驾驶视觉总监（Director of AI and Autopilot Vision） Andrej Karpathy 在2021 年计算机视觉和模式识别会议 (CVPR 2021)上所作的报告。在2019年的特斯拉自动驾驶开放日(Autonomy Day)上，特斯拉CEO马斯克曾“剧透”了Dojo项目——专门用于大规模的图像和视频数据处理，其浮点运算能力达到了exaflop级别，也就是每秒运算百亿亿次。

　　Karpathy谈论新的超级计算机(37:46)

　　超级计算机（Super computer）通常是体量巨大、造价高昂的设备，拥有数以万计的处理器，旨在执行专业性强、计算密集型的任务，可完成极端尺度的宇宙模拟、为药物反应预测寻找新途径、发现可用于制造高效有机太阳能电池的新材料等任务，应用于人工智能、生物医药和智慧城市建设等多个领域。
Andrej Karpathy是计算机视觉和深度学习领域的顶级专家之一，博士毕业于斯坦福AI实验室，师从华人AI学者李飞飞。Karpathy的主要研究方向是卷积神经网络结构，自然语言处理，以及其在计算机视觉上的应用。
Karpathy表示，“我们展示的是使用720个80GB版本的8x A100节点构建的集群。这是一台巨大的超级计算机，就每秒浮点（FLOPS）运算次数而言，我认为它可能是全球第五的超级计算机。第五位目前由英伟达公司的 Selene 集群占据，该集群拥有非常相似的架构和类似的 GPU 数量（4480 对我们的 5760，所以少一点）”。
他于论坛中展示了它的三个集群之一的照片，并公布了新超级计算机的能力：总算力达1.8 EFLOPS（EFLOPS指每秒百亿亿次浮点运算），由5760个算力为321TFLOPS（TFLOPS指每秒万亿次浮点运算）的A100显卡组成720个节点，有10PB的存储空间，读写速度为1.6TBps。
· 720 nodes of 8x A100 80GB. (5760 GPUs total)
· 1.8 EFLOPS (720 nodes * 312 TFLOPS-FP16-A100 * 8 gpu / nodes)
· 10 PB of “hot tier” NVME storage @ 1.6 TBps
· 640 Tbps of total switching capacity
一家汽车生产商为什么要做超级计算机？
Karpathy 解释道，如果想要让计算机以人类的方式对新环境做出反应，这需要一个巨大的数据集，以及超级计算机的处理能力，从而利用从整个车队收集来的数据训练和改进特斯拉自动驾驶仪 (Autopilot)和为下一代自动驾驶人工智能(AI)提供动力的神经网络。
而在所有自动驾驶公司中，特斯拉尤为需要超级计算机。
因为马斯克主张采用纯视觉的自动驾驶方法，其依靠摄像头和机器学习来支持其高级驾驶辅助系统和自动驾驶，而非采用激光雷达（LiDAR）、摄像头和雷达。在纯视觉自动驾驶方法下想改进这套自动驾驶AI达到足够的可靠性，自研适应计算需要的超级计算机便极为必要。
Dojo 将配合无监督学习算法（unsupervised learning，即无需人工对训练数据集进行标注，系统可以自行根据样本间的统计规律对样本集进行分析。如不给任何额外提示的情况下，仅依据一定数量“狗”的图片特征，将“狗”的图片区分出来），来减少特斯拉对于数据人工标注的工作量，进而帮助其数据训练效率实现指数级提升。
“Dojo使用我们自己的芯片和针对神经网络训练而优化的计算机架构，而不是GPU集群。如果我没弄错，这将是世界上最好的，”马斯克2019年如是称。
2020年，马斯克在推特（Twitter）发文表示，特斯拉的Dojo超级计算机能够实现每秒千万亿次浮点运算（1000 PFLOPS），这将使得Dojo成为一款真正的尖端超级计算机。马斯克称，特斯拉未来的Dojo超级计算机算力将要达到每秒钟exaFLOP（百亿亿次,是千万亿次PFLOPS的1000倍)的级别，并且运算速度要超过富岳（Fugaku），成为世界第一。
2020超级计算大会（SC20）的测算数据显示，日本的富岳是世界上速度最快的超级计算机，浮点计算的峰值速度达到442PFLOPS（PFLOPS指的是每秒1千万亿次浮点运算），最高性能超过1000 PFLOPS。

　　2020超级计算大会（SC20）：日本超级计算机“富岳”世界第一，美国的 Summit 位列第二，第三是美国的Sierra，第四为中国的“神威·太湖之光” ，第五位是美国的Selene。