parea.ai

Parea AI 是一个实验和人工标注平台，旨在为 AI 团队提供支持。它提供实验追踪、可观察性和人工标注的工具，帮助团队自信地将 LLM 应用程序投入生产。Parea AI 提供的功能包括自动创建特定领域的评估、性能测试与追踪、故障调试、人工审查、提示游乐场、部署工具、可观察性和数据集管理。

Parea AI 可以通过将其 Python 或 JavaScript SDK 集成到您的 LLM 应用开发工作流中使用。该平台允许您记录数据、运行实验、评估性能、收集人反馈以及部署提示。

评估：测试并跟踪性能变化，调试故障。
人工审查：收集人反馈，标注和标记日志。
提示游乐场与部署：调整提示、在数据集上测试及部署。
可观察性：记录数据、调试问题、运行在线评估，跟踪成本、延迟和质量。
数据集：将日志集成到测试数据集中并微调模型。