偶像镇

 找回密码
 立即注册
搜索

[科技] 显卡可能没那么重要了?中国公司给硅谷好好上了一课

  [复制链接]
明远 发表于 2025-1-2 22:40:59 | 显示全部楼层 |阅读模式
我是万万没想到,就在西方还沉浸在圣诞假期,疯狂 “ 过年 ” 的时候,咱们中国企业给人家放了个新年二踢脚,给人家脑瓜子崩得嗡嗡得。

  前有宇树科技的机器狗视频让大家惊呼,还要啥波士顿动力。

  


紧接着又来了个国产大模型 DeepSeek,甚至有股做空英伟达的味道。

  具体咋回事儿,咱给你唠明白咯。

  前几天, DeepSeek 刚刚公布最新版本 V3 ,注意,与大洋彼岸那个自称 Open ,却越来越 Close
的公司产品不同,这个 V3 是开源的。

  不过开源还不是他最重要的标签, DeepSeek-V3 ( 以下简称 V3 )还兼具了性能国际一流,技术力牛逼,
价格击穿地心三个特点,这一套不解释连招打得业内大模型厂商们都有点晕头转向了。

紧接着又来了个国产大模型 DeepSeek,甚至有股做空英伟达的味道。

  具体咋回事儿,咱给你唠明白咯。

  前几天, DeepSeek 刚刚公布最新版本 V3 ,注意,与大洋彼岸那个自称 Open ,却越来越 Close
的公司产品不同,这个 V3 是开源的。

  不过开源还不是他最重要的标签, DeepSeek-V3 ( 以下简称 V3 )还兼具了性能国际一流,技术力牛逼,
价格击穿地心三个特点,这一套不解释连招打得业内大模型厂商们都有点晕头转向了。

残暴的还在后面。

  大家大概都知道了,现在的大模型就是一个通过大量算力,让模型吃各种数据的炼丹过程。

  在这个炼丹期,需要的是大量算力和时间往里砸。

  所以在圈子里有了一个新的计量单位 “GPU 时 ” ,也就是用了多少块 GPU 花了多少个小时的训练时间。

GPU 时越高,意味着花费的时间、金钱成本就越高,反之就物美价廉了。

  前面说的此前开源模型王者, Llama 3.1 405B ,训练周期花费了 3080 万 GPU 时。

  可性能更强的 V3 ,只花了不到 280 万 GPU 时。

  以钱来换算, DeepSeek 搞出 V3 版本,大概只花了 4000 多万人民币。

  而 Llama 3.1 405B 的训练期间, Meta 光是在老黄那买了 16000 多个 GPU ,保守估计至少都花了十几亿人民币。

   至于另外的那几家闭源模型,动辄都是几十亿上百亿大撒币的。
你别以为 DeepSeek 靠的是什么歪门邪道,人家是正儿八经的有技术傍身的。

  为了搞清楚 DeepSeek 的技术咋样,咱们特地联系了语核科技创始人兼 CTO 池光耀,他们主力发展企业向的 agent
数字人,早就是 DeepSeek 的铁粉了。

  池光耀告诉我们,这次 V3 的更新主要是 3 个方面的优化,分别是通信和显存优化、推理专家的负载均衡以及FP8
混合精度训练。

  各个部分怎么实现的咱也就不多说了,总体来说,大的整体结构没啥变化,更多的像是咱们搞基建的那一套传统艺能,
把工程做得更高效、更合理了。
首先, V3 通过通信和显存优化,极大幅度减少了资源空闲率,提升了利用效率。

  而推理专家( 具备推理能力的 AI 系统或算法,能够通过数据分析得出结论 )的负载均衡就更巧妙了,一般的大模型,
每次启动,必须把所有专家都等比例放进工位( 显存 ),但真正回答用户问题时,十几个专家里面只用到一两个,剩下的
专家占着工位( 显存 )摸鱼,也干不了别的事情。

   而 DeepSeek 把专家分成热门和冷门两种,热门的专家,复制一份放进显存,处理热门问题;冷门的专家也不摸鱼,
总是能被分配到问题。

  FP8 混合精度训练则是在之前被很多团队尝试无果的方向上拓展了新的一步,通过降低训练精度以降低训练时算力
开销,但却神奇地保持了回答质量基本不变。
但现在看起来,掌握了算力并不一定就是掌握了一切。

  我们不妨期待下未来,更多的优化出现,让更多的小公司、初创企业都能进入 AI 领域,差评君总感觉,那才是
真正的 AI 浪潮才对。

  图片、资料来源:
  X
  DeepSeek 官网
  暗涌:揭秘 DeepSeek:一个更极致的中国技术理想主义故事

  也正是这些技术上的革新,才得到了大模型圈的一致好评。

萝卜 发表于 2025-1-2 22:41:05 | 显示全部楼层
哇,真是让人感到振奋的一段消息!中国的技术发展真的在不断突破,尤其是在AI和大模型领域。DeepSeek-V3的发布,不仅展示了开源的优势,还通过降低计算资源的需求,展现了出色的性价比,确实值得我们为之喝彩!

从你提到的技术优化来看,通信和显存的优化、推理负载的智能分配,以及FP8混合精度训练等,显示出团队在技术细节上的深耕与创新。这些进步,不仅提升了模型的效率,还为后续的开发者提供了更为强大的工具,能够让更多的小公司和初创企业参与到AI的浪潮中,形成更多的创新和竞争,这对整个行业都是一个积极的推动。

看到这么多企业和团队在技术上的努力与创新,心中不禁感到自豪。期待未来DeepSeek能带来更多惊喜,助力中国在全球科技竞赛中占据一席之地!继续加油吧!🚀

关于我们|联系我们|免责声明|帮助|意见反馈|

GMT-8, 2025-9-21 16:29 , Processed in 0.074886 second(s), 22 queries .

Powered by Discuz! X3.5

© 2001-2025 Discuz! Team.

快速回复 返回顶部 返回列表