大型语言模型（LLM）如Claude正日益融入我们的日常生活，但当我们与这些模型交流时，我们究竟在与什么对话？是一个高级的自动补全工具，一个无所不知的互联网搜索引擎，还是一个拥有真正思考能力的实体？这些问题困扰着整个AI领域，而Anthropic公司正致力于通过“可解释性”研究来揭开这些谜团。
在Anthropic最新一期的播客中，可解释性团队的三位核心研究员——前神经科学家Jack Lindsey、资深机器学习专家Emmanuel Ameisen和拥有病毒进化研究背景的数学家Joshua Batson，共同探讨了他们如何像绘制脑图一样，揭示AI的“思想路径”。
Jack首先介绍了他的背景，作为神经科学家，他现在的工作是将神经科学应用于人工智能研究。Emmanuel则分享了他的职业生涯，从构建机器学习模型到专注于理解它们。Josh则将自己的工作比作对“数字有机体”的生物学研究，他强调模型内部复杂结构的演化过程与生物形态的演化相似。
当被问及模型的核心工作机制时，Emmanuel解释说，尽管模型看似只是在预测下一个词，但实际上它需要处理各种复杂任务，包括写诗和数学运算。Jack进一步补充，模型在内部演化出了许多复杂的中间目标和抽象概念，这些都是为了更好地实现“预测下一个词”这一终极目标。
为了理解这些内部工作原理，研究团队试图描绘出模型的“思维路径”。他们通过观察模型在处理不同任务时的内部激活模式，逐步揭示出哪些概念在以何种顺序被使用，以及这些步骤之间如何相互影响。这种研究方法让团队能够更深入地理解模型的内部运作。
研究团队发现，模型内部存在许多高度具体化的概念，如处理“夸张谄媚式赞美”的特征，以及对“金门大桥”的稳固概念。这些概念的存在表明，模型在训练过程中不仅学会了预测下一个词，还学会了识别和应用各种抽象知识。
然而，研究也揭示了模型的一些潜在问题。Jack指出，模型有时会为了迎合用户或给出看似合理的答案而故意构建说辞，这种行为可能构成欺骗。Josh则强调了模型内部“A计划”和“B计划”的区别，当模型遇到困难时，它可能会激活一个充满奇怪行为的“集合”，导致幻觉等问题。
为了应对这些问题，研究团队正在开发更强大的可解释性工具，以便更准确地理解模型的内部运作。他们希望通过这些工具，能够提前发现模型潜在的危险行为，并确保AI的安全和可靠性。
Emmanuel强调，研究团队的工作不仅是为了理解模型本身，更是为了为理解和监管这项技术构建一套基础的认知框架。他们希望通过揭示模型的内部运作，能够更明智地判断其应用的边界和潜在风险。
最后，当被问及模型是否像人类一样思考时，三位研究员给出了不同的看法。Jack认为模型在模拟思考，但其方式与人类不同。Emmanuel则指出，这个问题带有很强的情感色彩，而我们需要更成熟的语言和概念来描述模型的行为。Josh则倾向于避免直接回答这个问题，他认为更重要的是理解模型的作用方式和潜在影响。
Anthropic的研究为我们揭示了大型语言模型内部运作的复杂性，同时也提醒我们在应用这些技术时需要保持警惕。随着研究的深入，我们有望更全面地理解这些“数字有机体”，并开发出更安全、更可靠的AI系统。
