EgoAlpha🧬 Chain-Of-Thought(COT)
什么是思维链提示?
在解决一个复杂的推理任务，比如一个多步骤的数学单词问题时，考虑一下自己的思维过程。典型的做法是将问题分解成中间步骤，在给出最终答案之前逐个解决。基于这一思路[Wei et al.,2022a]在解决推理繁重的问题时,试图通过prompt去促使大型语言模型产生思维链，而不仅仅是直接给出答案。
具体来说，思维链(CoT)是一系列中间的自然语言导致最终输出的推理步骤，这种方法被命名为思维链提示(CoT提示)。
CoT提示有哪些表现形式?
为了提示 llm 在给出最终答案之前完成推理链的生成，一些方法已经被探索并被证明是有效的。开创性的工作是 few-shot CoT 提示([Wei.et al.， 2022a])，其中我们需要在最终答案之前提供具有思维链的示例(三元组:<输入，思维链，输出>)。 考虑到人工构建示例的人工成本较高，一些人开始探索使用非人工的方法来构建示例。其中，最优秀的方法有 Auto-CoT([Zhang et al.， 2022])、Automate- CoT([Shum, et al.， 2023])等。 另一种方法是优化提示，不提供示例，只通过提示鼓励模型生成思维链，代表性 作品是Zero-shot-CoT 提示([Kojima et al.，2022])。 还有一些其他方法利用了其他算法，如 bootstrapping、强化学习等，并在最初的 CoT 提示方法的基础上做了很多改进。
上述方法的思路和具体细节将在后续章节中进行详细描述。
如何设计创新的CoT提示?
如果您对 CoT 提示感兴趣，愿意研究并提出自己的创新方法，可以从以下几个方面入手:
提示本身的设计&提示工作流程&两者兼而有之
示例选择方法
提示结果的后期处理
结合其他领域的算法和思路
首先，您可以在现有范式的基础上对提示本身进行研究和修改，以达到更好的效果，或者提出新的范式。此外，提示中的示例选择质量极大地影响了最终推理结果的质量。您可能需要研究选择示例的新方法，例如增加示例的多样性， 以提高推理性能。
最后，在与 llm 交互之后，对提示结果的后处理也是值得考虑的。例如，可以对多个推理路径(带答案的 CoT)进行采样，选择出现次数最多的答案作为最终答案。或者，也可以考虑在本研究中使用其他领域的算法，这可能会产生意想不到的效果。