CoT-Self-Instruct
深度解析

import random

class LargeLanguageModel:
    def __init__(self):
        # 模拟 LLM 的响应
        self.responses = {
            "分析以下任务：计算 2 + 2 的值。请输出分析文本：": "这是一道简单的数学加法题，目的是测试模型的计算能力。",
            "基于以下分析，制定生成新任务的计划：这是一道简单的数学加法题，目的是测试模型的计算能力。请输出计划：": "生成一道类似的简单数学加法题，例如 '计算 3 + 5 的值'。",
            "根据以下计划，生成一个新的任务：生成一道类似的简单数学加法题，例如 '计算 3 + 5 的值'。请输出新任务：": "计算 3 + 5 的值。",
            "计算 3 + 5 的值。": "8"
        }
    
    def analyze(self, seed_instruction):
        prompt = f"分析以下任务：{seed_instruction}。请输出分析文本："
        return self.responses.get(prompt, "无法分析该任务。")
    
    def plan(self, analysis):
        prompt = f"基于以下分析，制定生成新任务的计划：{analysis}。请输出计划："
        return self.responses.get(prompt, "无法制定计划。")
    
    def generate(self, plan):
        prompt = f"根据以下计划，生成一个新的任务：{plan}。请输出新任务："
        return self.responses.get(prompt, "无法生成新任务。")
    
    def solve(self, instruction):
        return self.responses.get(instruction, "无法解答该问题。")

def answer_consistency_filter(instruction, model, num_trials=3):
    """模拟答案一致性筛选"""
    # 获取 CoT 生成阶段的答案
    cot_answer = model.solve(instruction)
    
    # 多次独立求解
    answers = [model.solve(instruction) for _ in range(num_trials)]
    
    # 计算多数投票答案
    majority_answer = max(set(answers), key=answers.count)
    
    # 检查一致性
    if cot_answer == majority_answer:
        return True, instruction
    else:
        return False, None

def cot_self_instruct(seed_instruction, model):
    """CoT-Self-Instruct 的主函数"""
    print(f"种子指令: {seed_instruction}")
    
    # Step 1：分析
    analysis = model.analyze(seed_instruction)
    print(f"分析结果: {analysis}")
    
    # Step 2：规划
    plan = model.plan(analysis)
    print(f"规划结果: {plan}")
    
    # Step 3：生成
    new_instruction = model.generate(plan)
    print(f"生成的新指令: {new_instruction}")
    
    # Step 4：筛选 (以可验证任务为例)
    is_valid, filtered_instruction = answer_consistency_filter(new_instruction, model)
    if is_valid:
        print(f"筛选通过，保留指令: {filtered_instruction}")
        return filtered_instruction
    else:
        print("筛选未通过，丢弃该指令。")
        return None

# 使用示例
model = LargeLanguageModel()
seed = "计算 2 + 2 的值。"
synthetic_data = cot_self_instruct(seed, model)