Scaling Law

Scaling Law（缩放定律） 是机器学习（尤其是深度学习）领域中的一个重要概念，描述了模型性能（如预测准确率、生成质量等）与模型规模（参数数量、数据量、计算资源）之间的数学关系。其核心观点是：随着模型规模（参数、数据、算力）的指数级增长，模型性能会以幂律（power-law）形式提升。