函数去调整它们,既增加了大量计算量,又极有可能影响到训练的主要目标本身。专家们的调度问题这个小问题影响到模型的能力这个主要问题。
DS最终完美地解决了这个问题,既没有额外增添损失计算优化,又使得各专家实现了负载均衡。
孟繁岐相信,这个最终简洁优雅的技术方案背后一定存在许多努力与艰辛。
而现在的closeai对这种付出是越来越排斥的。
比起花费许多的努力在某一个算子上优化20-30%的速度,他们更愿意多用一些显卡,多花一些时间。
既然英伟达暂时不直接支持FP8做这样的操作,那就先等等吧。
诸如此类的事情持续累积,使得后来者已经实质上实现了相当数量的技术超越,甚至是在孟繁岐较为关注的技术方向上。
而DeepSeek的坦率开源,也让孟繁岐动摇了closeai是否继续闭源的想法。
“若是我适当裁减一些已经沉迷安乐的技术人员,逐渐走向开源,对比海对面的OpenAI倒也算是奇景了。”孟繁岐想到这里也是笑出了声。
自从两国关系逐渐微妙,CloseAI的在美使用就收到了限制。原本标榜开源的OpenAI逐渐走向闭源,而最初就闭源盈利的CloseAI反而在考虑拥抱开源盛世。
这倒也称得上是另一种双向奔赴了。
同一时刻,比起一直在关注技术细节的孟繁岐,普通人更为在意的,则是R1这个模型,首次揭露了前沿高性能智能思考问题的逻辑脉络。
52850312
CloseAI提醒您:看完记得收藏【新番书院】 www.xfbj.net,下次我更新您才方便继续阅读哦,期待精彩继续!您也可以用手机版:m.xfbj.net,随时随地都可以畅阅无阻...