사색

AI 技术的底层思考

1. 从 ai 的训练过程来看，本质上 ai 是对优质数据的编码，编码为神经网络的参数权重，抽象地可以理解为人脑神经元的数量
2. 因为 ai 训练好之后，参数固定下来，它不再拥有外界信息的获取，这时我们就需要输入必要的上下文给它，让他去思考或者决策，这就是现在比较火的一个概念 context Enginner， 不管是 rag，memory，对话历史，本质上都是在提供这个功能， 由此引发的思考是，未来产品演进的过程中，我们还需要很谨慎完整得保留用户的原始数据，作为留存用户使用的一个重要手段，有了这部分数据，可以让用户觉得我们产品更懂他. 不管是未来拓展 memory 或者 rag 的方式集成，也本质是提取准确有效的信息提供给 ai 作为上下文
3. 个人预测未来可能的演进方向，如果想要将必要的信息作为个人使用 AI 的累积，上下文工程方式终究是外道，一个能自我演进变更参数权重的 ai 才有可能是最终答案。现在是受限于技术算力问题还远远