参考博客

• 一文读懂：思维链 CoT（Chain of Thought）-知乎
• Understanding Reasoning LLMs

#CoT

主要内容：构建推理模型的四种主要方法

来自网络

1. 推理模型是什么
2. 推理模型的优缺点
3. DS R1的方法论
4. 改进推理模型的四种主要方法
5. DS V3和R1发布后LLM的领域的看法
6. 预算有限开发推理模型的建议

LoRA (Low-Rank Adaptation)，一种LLM的微调方法

选择LoRA是因为它通过向变换器层注入可训练的低秩矩阵，主要针对语言模型组件，从而高效适应大型预训练模型。这种方法显著减少了可训练参数的数量，使微调在计算上更轻松，同时保持了强有力的性能。（Kvasir-VQA-x1数据集中介绍）