为什么国内首发的大模型，反而不如新来的KIMI、豆包？

其实是有几个客观原因的：

1. 去年的很多大模型都是赶鸭子上架，最直接的是Robin厂长的：我们离OpenAI2个月。
2. 从充分理解什么是预训练模型，如何做对齐，然后这东西怎么样有用的三步走来看，实际上所有人都在从头开始。
3. 出品的速度在于Scailling Law三要素：数据、计算、参数规模，大厂并不是占据辗轧的领先优势：
1. 数据：大厂（百度/讯飞）乍一看相对于初创公司有很大的数据优势，但当你仔细思考，这里的2-5T tokens，其实是要重新认真准备的，大厂可能在资源和工程师方面有优势，但数据know-how层面未必领先于初创公司，所以数据质量的高下还真不好说
2. 计算：大厂确实卡多，这个要服，也是出品快的重要原因之一。
3. 算法：百度最早的ernie是个bert，看到ChatGPT也得重头训，算法工程层面又有很多可以雕花的地方，比如long-context。但百度当时着急了，并没有雕花，追求的是先出活儿。
4. 从产品到模型，其实是要高度耦合的，所以Kimi长文本在产品得到了很好的应用，模型测没有做雕花的，追起来也没那么容易，Kimi确实是无损上下文，大部分的大厂都是rag+滑动窗口的结合，效果确实未必比得上。
5. 更不要忽略初创公司是一股绳，大厂里面利益山头都很复杂。

不过从现在已经出品的模型来看：

Baichuan3：百川大模型-汇聚世界知识 创作妙笔生花-百川智能reasoning能力最好。

Kimi：Lossless Long-context很强，但是幻觉问题不小，取决于应用场景。

跃问：https://stepchat.cn/chats/多模的效果惊艳

其他家模型，真的没有用出花头来啊...