315.第309章 模型崩溃（4506）（3 / 4）
而再用这个训练后的ai生成的数据继续训练ai，无论是训练哪个ai，又会造成性能进一步下降。
这个问题看上去诡异，但实际上，只要稍稍思考一下也就能明白，应该还是数据多样性和复杂性不断被ai简化所造成的问题。
不用说橘子大模型，即使是柚子，生成的数据也不可能是百分之百完全正确的，虽然这些错误可能比人工数据要少，但错误的方式却缺乏多样性和复杂性。
说白了，就是ai聪明的千篇一律，但人类却愚蠢的千奇百怪。
但在种族传承的角度上来说，愚蠢的千奇百怪的人类，却比自己创造出比人类更聪明的ai具备更强的种族传承能力。
窝草？这么一想，孟广康那种傻x，对人类文明的传承贡献还不小？
差点把我的厌蠢症都治好了？
重复使用这种数据进行训练，类似的错误会被大模型认为是真实，从而变成“思想钢印”，继续产出错误更多的内容。
再用这些内容进行训练，就会产生“偏差-方差权衡”，也就是说，越大概率的内容被进一步强化，小概率的内容被不断忽视。
越是下一代模型，损失的数据反而会越多。
同时，因为大模型的特性，又会产生“函数近似误差”，大模型会把学的错误的东西也保留下来，一代代的积累，最终变成全部都是错误，从而丧失纠错能力。
这种情况，确实和近亲繁殖所导致的近交衰退非常类似。
从这个角度上看，ai大模型其实已经具备了一定的生物性。
只不过这种生物种群过于单一，造成了近亲繁殖。
这个问题目前还不算太紧迫，毕竟互联网上可以使用的原始数据非常多，无非就是加大数据组的投入，获取更多的原始数据，增加数据预处理人手和方式就能够解决。
但从长远来看，不，不用太长远，ai的爆发一定是指数级的。可能两到三年后，互联网上可能超过百分之七十的数据就都是ai所生成的，而人类几乎无法区分这究竟是ai生成的数据还是真实的人工数据。
那时候，ai大模型不管参数有多庞大，可能都会面临由于训练数据被ai生成数据污染，而造成性能下降或崩溃。
“三十万亿。”方豫快速的估算出了一个数字。
？？？
几个组长都是一脸问号。
“互联网上现存的有效数据，大概能支撑橘子大模型到三十万亿参数的规模，在此之后，就必然会受到近亲繁殖的影响。”
方豫指了指显示器上的数据。
三十万亿，还好还好，现在目前正在训练的橘子大模型不过一万五千亿参数，已经开始初步具备强人工智能的雏形。
三十万亿的大模型，肯定已经实现超级人工智能，那时候，ai生成数据多样性的问题应该已经能找出解决方案了。
那就没什么问题了。
几个组长都松了一口气。
没什么问题了吗？
方豫目光闪动。
就算是橘子大模型实现超级人工智能，只要多样性问题不解决，一样也会有这个问题。
即使使用各种技术手段尽量提升ai数据的复杂性，最后不会造成模型崩溃，这个大模型也注定无法承载自己的愿景。 ↑返回顶部↑
这个问题看上去诡异，但实际上，只要稍稍思考一下也就能明白，应该还是数据多样性和复杂性不断被ai简化所造成的问题。
不用说橘子大模型，即使是柚子，生成的数据也不可能是百分之百完全正确的，虽然这些错误可能比人工数据要少，但错误的方式却缺乏多样性和复杂性。
说白了，就是ai聪明的千篇一律，但人类却愚蠢的千奇百怪。
但在种族传承的角度上来说，愚蠢的千奇百怪的人类，却比自己创造出比人类更聪明的ai具备更强的种族传承能力。
窝草？这么一想，孟广康那种傻x，对人类文明的传承贡献还不小？
差点把我的厌蠢症都治好了？
重复使用这种数据进行训练，类似的错误会被大模型认为是真实，从而变成“思想钢印”，继续产出错误更多的内容。
再用这些内容进行训练，就会产生“偏差-方差权衡”，也就是说，越大概率的内容被进一步强化，小概率的内容被不断忽视。
越是下一代模型，损失的数据反而会越多。
同时，因为大模型的特性，又会产生“函数近似误差”，大模型会把学的错误的东西也保留下来，一代代的积累，最终变成全部都是错误，从而丧失纠错能力。
这种情况，确实和近亲繁殖所导致的近交衰退非常类似。
从这个角度上看，ai大模型其实已经具备了一定的生物性。
只不过这种生物种群过于单一，造成了近亲繁殖。
这个问题目前还不算太紧迫，毕竟互联网上可以使用的原始数据非常多，无非就是加大数据组的投入，获取更多的原始数据，增加数据预处理人手和方式就能够解决。
但从长远来看，不，不用太长远，ai的爆发一定是指数级的。可能两到三年后，互联网上可能超过百分之七十的数据就都是ai所生成的，而人类几乎无法区分这究竟是ai生成的数据还是真实的人工数据。
那时候，ai大模型不管参数有多庞大，可能都会面临由于训练数据被ai生成数据污染，而造成性能下降或崩溃。
“三十万亿。”方豫快速的估算出了一个数字。
？？？
几个组长都是一脸问号。
“互联网上现存的有效数据，大概能支撑橘子大模型到三十万亿参数的规模，在此之后，就必然会受到近亲繁殖的影响。”
方豫指了指显示器上的数据。
三十万亿，还好还好，现在目前正在训练的橘子大模型不过一万五千亿参数，已经开始初步具备强人工智能的雏形。
三十万亿的大模型，肯定已经实现超级人工智能，那时候，ai生成数据多样性的问题应该已经能找出解决方案了。
那就没什么问题了。
几个组长都松了一口气。
没什么问题了吗？
方豫目光闪动。
就算是橘子大模型实现超级人工智能，只要多样性问题不解决，一样也会有这个问题。
即使使用各种技术手段尽量提升ai数据的复杂性，最后不会造成模型崩溃，这个大模型也注定无法承载自己的愿景。 ↑返回顶部↑