提AI就不能不提，DeepSeek绝对是今年最火的话题之一，不管国内外都引起了广泛讨论。OpenAI前政策主管Jack Clark曾提到，DeepSeek吸引了一批“难以捉摸的天才”
“其实没有什么‘难以捉摸的天才’，只是来自顶尖高校的应届生、博士生（甚至是四五年级的实习生），以及一些有几年经验的年轻人。 ”“DeepSeek V2.0完全是由本土人才打造的。目前，全球前50的AI人才可能确实不在中国，但我们希望自己培养出这样的团队。”这是DeepSeek创始人梁文锋的回答。
由衷的佩服梁文锋这样的企业家，好像有点扯远了，回到AI本身，DeepSeek非常优秀，但是放到整个AI体系来看它只是一个上层的应用，如下图所示。
可以说DeepSeek成功的背后离不开AI技术底座的创新，这包括数据、算法、算力所涉及到的训推框架、编译与计算框架、硬件等更底层的技术。
DeepSeek很好，但是只有DeepSeek显然是不够的，庆幸的是我们还是有企业去推动这些更底层的创新。推动基础的创新并不容易，也不是一个企业就能做成的，美国的创新建立在美国发达的科技教育土壤之上的，我们也应该如此。
AI大模型的成功构建依赖于几个关键要素：人才（研发与应用者）、高质量数据（训练基础）、强大算力（计算支撑）以及先进算法（核心技术）。众所周知，算力、算法、数据也是俗称的AI三要素，目前需要的提升主要体现在：
我们想要AI大模型给我们提供更多的便利就需要在基础的算力、算法和数据上有更多的创新和突破。而这些年AI大模型领域的一大变化，就是业界纷纷把目光投向了知名高校，这个天生携带创新基因之地，并因此在AI领域获益匪浅。
当AI发展裹足不前时，人们赫然发现高校才是创新的源地，AI的爆发源自高校的创新，而DeepSeek的出现让更多人认识到中国的高校同样人才济济。DeepSeek创始人梁文锋表示“DeepSeek V2.0完全是由本土人才打造的”“只是来自顶尖高校的应届生、博士生（甚至是四五年级的实习生），以及一些有几年经验的年轻人。 ”
根据全球知名学术期刊《Nature》发布的“Nature Index Supplements 2024 AI”，可以看到在AI学术研究领域中国有19所高校进入了全球TOP100，仅次于美国，清华大学甚至进入了全球前10。
无独有偶，据研究机构的数据（数据来源于AI顶会NeurIPS收录的论文），2022年顶级人工智能研究机构前25名中有6家来自中国，分别是清华大学、北京大学、中科院、上海交通大学、浙江大学以及华为公司
这一项项的数据都在证明，高校是AI创新的发源地。相比企业的短期目标导向，高校鼓励长期基础研究（如数学、理论物理），允许“失败”和“非功利性探索”，为颠覆性创新提供土壤。同时高校是顶尖人才聚集高地，大量教授、科研人员及全球优秀学生汇聚形成高浓度“智力池”，最典型的现象就是MIT的教授和校友中诞生了100位诺贝尔奖得主。如此高知识的密度和学术自由的氛围，促成了一个个世界级创新成果的产生。
虽然高校的AI创新有着很多的优势，但是也面临很多的问题
一栋楼能盖多高取决于地基的坚固程度，AI发展的高度取决于AI基础创新的能力和人才的厚度。
高校是创新的重要基地也是人才培养的基地，但是AI行业的巨大成本和投入却成了一堵隐形的高墙。《Nature》通过对35家机构的50名科学家调查后得出结论——学术界在GPU获取上面临的严峻挑战，甚至需要排队申请等待数天的学校GPU集群。
“学术界与行业界的模型差距巨大，但本可以小得多。”美国华盛顿特区非营利AI研究机构EleutherAI的执行董事Stella Biderman说
。
算力的限制使得高校发展大模型变地异常困难，而且随着模型规模的不断增大，高校的创新和人才聚集优势越来越难以得到发挥，语言大模型尚且如此，视频大模型等更是难上加难，这对AI底层技术的优化提出了更高的要求，这是全球高校AI研究普遍遇到的问题，中国高校也不例外。
企业对于创新与AI人才的渴望，高校对于算力资源的渴望，让校企合作成为了最佳的选择，目前国内做地比较好的当属华为与高校联合创办的鲲鹏昇腾科教创新卓越中心/孵化中心（简称卓越中心/孵化中心）——不仅支援了紧缺的算力资源，还提供了昇腾全流程AI基础软硬件技术支持及技能培训，通过不断与高校共同推动AI底层技术的完善和创新，赋能科研项目高效推进：
但是鲲鹏昇腾科教创新孵化中心的合作不止于此，这是一个多层次，多形式的合作，不仅可以扶持好的科研项目，还以特训营、研讨会、专业竞赛（算子挑战赛）等形式挖掘及培养人才。概括来说鲲鹏昇腾科教创新孵化中心的实践主要体现在下面三方面：
鲲鹏昇腾科教创新孵化中心项目目前有序进展中，签约的高校包含：
鲲鹏昇腾科教创新卓越中心：清华大学、北京大学、上海交通大学、浙江大学、中国科学技术大学；
鲲鹏昇腾科教创新孵化中心：复旦大学、哈尔滨工业大学、华中科技大学、西安交通大学、南京大学、北京航空航天大学、北京理工大学、电子科技大学、东南大学、北京邮电大学等
让人惊讶的是鲲鹏昇腾科教创新卓越中心/孵化中心项目实施一年左右已经有行业重大影响力的项目产生了，例如清华大学KTransformers项目。
在卓越中心提供的昇腾技术支持下，清华大学系初创团队趋境科技研发的KTransformers异构推理框架横空出世。此框架的惊人之处在于实现了单卡运行千亿参数模型的技术突破，通过高级内核优化和布局/并行策略来增强Transformers体验，进一步说便是通过异构计算优化和内核级加速技术来提升表现，最终大幅降低了大模型的运行成本。在如今大模型规模指数级增长的产业现状下具备重大价值，也是底层技术架构创新的典范。
据了解，KTransformers异构协同推理技术为趋境科技业界首创，这项技术基于鲲鹏CPU与昇腾NPU的异构协同优势，通过基于计算强度的offload策略，将计算强度较低的MoE 层参数offload 到鲲鹏CPU，将计算强度高的MLA 保持在昇腾NPU，显存占用降低90%以上。不仅如此，还针对鲲鹏平台做了很多深度的优化：
同时趋境科技与华为在今年5月的KADC大会上联合发布了“鲲鹏+xPU解决方案”，并完成了两种方案的性能调试，均实现了显著的性能提升：
KTransformers解决了大模型部署中高昂的硬件成本与显存瓶颈问题，降低了中小团队和开发者参与大模型研发的资金门槛，将大模型拓展到端侧，极大推动了AI 智能普惠。
事实上，卓越中心/孵化中心提供的不仅仅是硬件资源，还有以鲲鹏、昇腾技术为底座的全流程AI技术，这也意味着许多高校科研项目可以全面拥抱自主算力和生态。
以昇腾为例，其开放性和易用性让各大高校的科研项目在其平台上的开展并不困难。昇腾CANN8.0支持主流的Pytorch、TensorFlow、ONNX等第三方深度学习框架，这种无缝的衔接使得各主流项目都可以很快的移植到了昇腾体系内，还可以使用torch_npu进行开发，整体代码都可以无缝在昇腾NPU上训练和推理。
对于一个模型来说，算子是其灵魂，决定了这个模型的性能，CANN对自定义算子的支持是模型做出差异化的关键。Ascend C是CANN针对算子开发场景推出的编程语言，支持C和C++标准规范，兼具开发效率和运行性能。基于Ascend C编写的算子程序，通过编译器编译和运行时调度，运行在昇腾AI处理器上。此外算子加速库提供了一系列丰富的深度优化、硬件亲和的高性能算子，如Neural Network、Digital Vision Pre-Processing算子等，方便开发者调用进一步优化算法运行性能、构筑差异化，目前基于CANN开发的融合算子数量新增80 多个。
除了CANN，昇腾应用使能套件也很好地赋能AI应用的开发。例如MindSpeed在大模型需求量激增的时代背景下，起到了非常关键的作用。当规模大达到百亿甚至更大时，就需要进行模型切分，并在多个节点上进行模型并行。在这方面可以充分利用昇腾MindSpeed分布式加速套件，让大模型分布式并行运算。更有甚者，针对大模型的深度思考能力，昇腾推出了MindSpeed RL强化学习套件。面对训推环节反复迭代和转换遇到的计算资源利用率低，通信时延高和内存溢出风险，MindSpeed RL具备训推共卡和推理异步生成技术，显著减少内存占用并加速收敛，大幅提升后训练资源利用率。
从硬件、底层技术架构到应用使能层，卓越中心/孵化中心提供了以鲲鹏、昇腾为主的全面的技术支持，同时使能高校反哺系统平台的创新。这样一来，双方合力做厚算力黑土地，在未来可以更好地、更广泛地支撑应用开发者的创新。
回顾AI的发展，高质量数据集的建立，神经卷积网络的出现都是从高校开始的，甚至CUDA也是通过在高校建立卓越中心发展起来的。高校，尤其是顶尖高校是AI人才的摇篮，这是毋庸置疑的，同时各种报告和数据也显示出高校在AI人才的培养也面临诸多问题，比如高校的算力不足，再比如无法深入硬件层优化算法等。
鲲鹏昇腾科教创新卓越中心/孵化中心的建立是高校和企业双赢的选择，高校在算力、技术支持及学生技能提升上获益的同时，通过与昇腾团队的交流合作，在算子开发领域也攻克了很多难题，共同推动了AI基础技术的发展。
“万丈高楼平地起”，做好基础技术的创新是一个“打地基”的过程，越成熟、越稳固的底座，便能承载和支持更加丰富且性能强大的产品创新。立足长远，夯实基础就是鲲鹏昇腾科教创新卓越中心和孵化中心正在做的。
领先的 100 所学术机构 | |补充剂 |自然指数
github.com/PKU-YuanGroup/Open-Sora-Plan
AI’s computing gap: academics lack access to powerful chips needed for research
鲲鹏昇腾科教创新卓越中心/孵化中心-高校人才发展社区
昇思MindSpore | 全场景AI框架 | 昇思MindSpore社区官网
Open-Sora 计划：开源大型视频生成模型
凭借昇腾澎湃算力，Open-Sora Plan实现电影级视频生成
GitHub - kvcache-ai/ktransformers：用于体验尖端 LLM 推理优化的灵活框架
