网上相关资源

人们正在编写很棒的工具和论文来改进 GPT 的输出。以下是我们看到的一些很棒的资源：

提示库和工具（按字母顺序列出）

  • Arthur Shield：一个付费产品，用于检测毒性、幻觉、提示注入等。
  • Baserun：一个用于测试、调试和监控 LLM 应用程序的付费产品。
  • Chainlit：一个用于创建聊天机器人界面的 Python 库。
  • ElatoAI：一个使用 Deno Edge Runtime 和 Supabase 在 Arduino 上的 ESP32 上运行 OpenAI Realtime API Speech 的平台。
  • Embedchain：一个用于管理非结构化数据并将其与 LLM 同步的 Python 库。
  • FLAML (用于自动化机器学习和调优的快速库)：一个用于自动化选择模型、超参数和其他可调选项的 Python 库。
  • Guidance：来自微软的一个看起来很方便的 Python 库，它使用 Handlebars 模板来交织生成、提示和逻辑控制。
  • Haystack：一个开源 LLM 编排框架，用于在 Python 中构建可自定义的、生产就绪的 LLM 应用程序。
  • HoneyHive：一个用于评估、调试和监控 LLM 应用程序的企业平台。
  • LangChain：一个流行的 Python/JavaScript 库，用于链接语言模型提示的序列。
  • LiteLLM：一个用于以一致格式调用 LLM API 的最小 Python 库。
  • LlamaIndex：一个用于使用数据增强 LLM 应用程序的 Python 库。
  • LLMOps 数据库：关于公司如何在生产中实际部署 LLM 的数据库。
  • LMQL：一种用于 LLM 交互的编程语言，支持类型化提示、控制流、约束和工具。
  • OpenAI Evals：一个用于评估语言模型和提示的任务性能的开源库。
  • Outlines：一个 Python 库，提供一种特定于领域的语言来简化提示和约束生成。
  • Parea AI：一个用于调试、测试和监控 LLM 应用程序的平台。
  • Portkey：一个用于 LLM 应用程序的可观察性、模型管理、评估和安全的平台。
  • Promptify：一个用于使用语言模型执行 NLP 任务的小型 Python 库。
  • PromptPerfect：一个用于测试和改进提示的付费产品。
  • Prompttools：用于测试和评估模型、向量数据库和提示的开源 Python 工具。
  • Scale Spellbook：一个用于构建、比较和发布语言模型应用程序的付费产品。
  • Semantic Kernel：来自微软的一个 Python/C#/Java 库，支持提示模板、函数链接、向量化内存和智能规划。
  • Vellum：一个付费的 AI 产品开发平台，用于试验、评估和部署高级 LLM 应用程序。
  • Weights & Biases：一个用于跟踪模型训练和提示工程实验的付费产品。
  • YiVal：一个开源的 GenAI-Ops 工具，用于使用可自定义的数据集、评估方法和演化策略来调整和评估提示、检索配置和模型参数。

提示指南

视频课程

关于高级提示以改进推理的论文