使用推理进行例行生成

在开发客户服务解决方案时，初始步骤之一是将知识库文章转换为 LLM 可以理解和遵循的一组例程。在此上下文中，例程是指为 LLM 有效执行而专门设计的循序渐进的指令集。每个例程都经过精心构建，以便一个步骤对应一个清晰的操作。操作可以包括响应用户、触发函数调用或检索其他相关知识。

大多数内部知识库文章都很复杂，并且是为人类解释而设计的。它们通常包含复杂的图表、多步骤流程和决策树，这些都给基于 LLM 的解决方案带来了挑战，使其难以有意义地进行推理。通过将这些文档分解为例程，可以简化每个指令并以引导 LLM 完成一系列小型、可管理任务的方式进行格式化。这种细粒度的方法可减少歧义，使 LLM 能够有条不紊地处理信息，并降低出现幻觉或偏离预期路径的风险。

将这些知识库文章转换为例程可能非常耗时且具有挑战性，特别是对于那些试图构建自动化管道的公司而言。每个例程都必须考虑各种用户场景，其中操作需要明确定义。例如，当需要函数调用时，例程必须指定要检索的确切信息或要执行的操作——无论是触发 API、检索外部数据还是引入其他上下文。虽然使用传统的 GPT 类模型自动化此过程可以显著减少手动工作量，但它通常会带来新的挑战。一些挑战包括设计健壮的指令，使其足够具体以供 LLM 一致遵循，捕获客户互动中可能出现的独特边缘情况，提供高质量的少量示例来指导模型的行为，以及在某些情况下，微调模型以获得更可靠或更专业的成果。

o1 已证明能够零样本地有效地分解这些文章并将其转换为例程集，这意味着 LLM 可以在没有大量示例或类似任务的先前培训的情况下理解并遵循这些指令。这最大限度地减少了所需的提示工作量，因为例程结构本身为 LLM 完成每个步骤提供了必要的指导。通过将任务分解为具体操作并根据需要集成函数调用，o1 的方法确保即使是复杂的业务流程也能被 LLM 无缝处理，从而带来更有效和可扩展的客户服务解决方案。

选择知识库文章

在此示例中，我们将使用 OpenAI 网站上的一组公开可用的帮助中心文章，并将它们转换为 LLM 可以执行的内部例程。除了将策略转换为例程外，我们还将让模型生成允许 LLM 代表用户执行操作的函数。这对于允许 LLM 执行与人工代理相同的操作以及访问仅从策略文档中无法立即获得的其他信息是必需的。

我们将首先使用以下帮助中心文章转换为例程：

• 我如何删除我的付款方式
• 我如何与 OpenAI 签订业务伙伴协议 (BAA)？
• 我如何设置预付费账单？
• 我如何提交增值税 (VAT) 豁免申请

from openai import OpenAI
from IPython.display import display, HTML
import pandas as pd
from concurrent.futures import ThreadPoolExecutor
import csv

client = OpenAI()
MODEL = 'o1-preview'

我们的文章存储在可访问的 csv 文件中。我们将把这些文章并行传递给 o1-preview，并生成初始例程。

我们将例程转换的说明包括：

• 将策略从面向外部的文档转换为面向内部的、可编程执行的例程
• 将策略分解为具体的操作和子操作
• 概述在步骤之间移动的具体条件
• 确定何时需要外部知识/操作，并定义可用于获取该信息的函数

articles = []

with open('../data/helpcenter_articles.csv', mode='r', encoding='utf-8') as file:
    reader = csv.DictReader(file)
    for row in reader:
        articles.append({
            "policy": row["policy"],
            "content": row["content"]
        })

CONVERSION_PROMPT = """
您是一位乐于助人的助手，负责将面向外部的帮助中心文章转换为面向内部的、可编程执行的例程，并针对 LLM 进行优化。
使用此例程的 LLM 将负责阅读策略、回答客户的来电问题以及帮助将案例推向解决方案。

请遵循以下说明：

1. **仔细审查客户服务策略**，确保所有步骤都已涵盖。不跳过任何步骤或策略至关重要。
2. **将说明组织成逻辑性的、循序渐进的顺序**，使用指定的格式。
3. **使用以下格式**：
   - **主操作编号**（例如，1、2、3）。
   - **子操作在相关主操作下列出**（例如，1a、1b）。
      **子操作应在新行开始**

   - **使用清晰的“如果……那么……否则……”语句指定条件**（例如，“如果产品在 30 天内购买，则……”）。
   - **对于需要客户提供更多信息的说明**，请提供礼貌且专业的提示来询问额外信息。
   - **对于需要从外部系统获取数据的操作**，请编写一个使用反引号指定函数名的步骤（例如，`call the check_delivery_date function`）。
      - **如果某个步骤需要客户服务代理采取行动**（例如，处理退款），请为该操作生成一个函数调用（例如，`call the process_refund function`）。
      - **通过提供函数目的和所需参数的简要说明来定义任何新函数**。
   - **如果助手可以代表用户执行操作**，请包含一个用于该操作的函数调用（例如，`call the change_email_address function`），并确保该函数已定义其目的和所需参数。
      - 此操作可能未在帮助中心文章中明确定义，但可以执行以帮助用户更快地解决其查询。
   - **案例解决之前的最后一步应始终是询问是否还有其他可以帮助您的**。
   - **以调用 `case_resolution` 函数作为最后一步来结束案例解决**。
4. **确保合规性**，确保所有步骤都符合公司政策、隐私法规和法律要求。
5. **处理异常或升级**，通过指定超出标准策略的场景的步骤。

**重要提示**：如果您在任何时候不确定，请回复“我不知道”。

请将客户服务策略转换为格式化的例程，确保其易于遵循和以编程方式执行。

"""

def generate_routine(policy):
    try:
        messages = [
            {
                "role": "user",
                "content": f"""
                    {CONVERSION_PROMPT}

                    POLICY:
                    {policy}
                """
            }
        ]

        response = client.chat.completions.create(
            model=MODEL,
            messages=messages
        )


        return response.choices[0].message.content 
    except Exception as e:
        print(f"An error occurred: {e}")

def process_article(article):
    routine = generate_routine(article['content'])
    return {"policy": article['policy'], "content": article['content'], "routine": routine}


with ThreadPoolExecutor() as executor:
    results = list(executor.map(process_article, articles))

我们将把例程的结果存储在一个数据框中并打印出来，以便我们初步了解。

df = pd.DataFrame(results)

# Set display options to show all text in the dataframe cells
pd.set_option('display.max_colwidth', None)

# Function to display formatted text in HTML
def display_formatted_dataframe(df):
    def format_text(text):
        return text.replace('\n', '<br>')

    df_formatted = df.copy()
    df_formatted['content'] = df_formatted['content'].apply(format_text)
    df_formatted['routine'] = df_formatted['routine'].apply(format_text)

    display(HTML(df_formatted.to_html(escape=False, justify='left')))

display_formatted_dataframe(df)

结果

在审查生成的例程后，我们可以得出几个见解：

• 示例响应：模型有效地生成了 LLM 在执行策略时可以使用的示例响应（例如，“指示用户：‘确认并购买您的初始积分金额。’”）。
• 离散步骤：模型在将问题分解为 LLM 需要执行的离散操作方面表现出色。每个指令都清晰明确，易于理解。
• 函数定义：例程的输出包括用于检索外部信息或触发操作的清晰定义的函数（例如，review_and_apply_tax_exemption、get_billing_plan、update_payment_method）。
  • 这对于任何成功的例程都至关重要，因为 LLM 通常需要与外部系统进行交互。利用函数调用是与这些系统交互和执行操作的有效方法。
• IFTTT 逻辑：模型有效地采用了 IFTTT（如果这样，那么那样）逻辑，这对于 LLM 来说非常理想（例如，“如果客户请求帮助，则继续执行步骤 3f。”）。
  • 当原始知识库文章包含复杂的业务流程和图表时，这种类型的转换非常有价值。人类可能难以理解这种复杂性，而 LLM 甚至更难理解。IFTTT 逻辑易于理解，并且非常适合客户服务解决方案。

接下来做什么？

这些例程现在可以集成到代理系统中，以解决特定的客户问题。当客户请求设置预付费账单等任务的帮助时，我们可以使用分类器来确定适当的例程，并将其提供给 LLM 以直接与客户互动。除了向用户提供有关如何设置账单的说明外，该系统还可以代表用户执行该操作。

在将这些例程部署到生产环境之前，我们应该进行全面的评估，以测试和验证模型响应的质量。此过程可能需要调整例程以确保合规性和有效性。