科技 · zh
AI“大力出奇迹”的时代，还能走多久
当"大"的定义开始改变 AI"大力出奇迹"的时代，还能走多久 过去几年，人工智能产业最有效、也最昂贵的方法论，可以被概括成一句并不严谨却颇为传神的话——大力出奇迹。 增加参数、扩大数据、投入更多算力，模型的语言能力、知识覆盖与任务表现通常会随之改善。 这并非单纯的行业信仰。2020年，OpenAI研究者发表的《Scaling Laws for Neural Language Models》显示，语言模型的损失会随着模型规模、数据规模与训练计算量的增长，呈现相对稳定的幂律下降。换言之，在一定范围内，投入与能力之间存在可被预测的关系。 这种可预测性，给产业带来了此前罕见的确定性。一家公司不必先回答"智能究竟是什么"，也不必完整破解人类推理的机制，只需持续加大投入，然后观察曲线是否继续向下。…
