履约AIGC：从挑战到创新的旅程

小袋

大家好，欢迎来到我们的 podcast！我是小袋，履约技术专家。今天，我们非常荣幸地邀请到了资深 AI 研究员小美，一起探讨履约 AIGC 的核心挑战与应对策略。我们将从资源分配与优先级难题、垂域技术架构的独特挑战，到三大业务方向的实际收益和研发范式的变革，以及未来的展望。准备好了吗，小美？

小美

嗨，小袋！我非常期待这次讨论。履约 AIGC 确实是一个非常前沿和复杂的领域，涉及到很多技术难题和业务优化。你觉得我们应该从哪个方面开始呢？

小袋

我们可以从资源分配和优先级难题入手。履约 AIGC 项目启动后，我们面临了大量需求，这些需求涉及不同视角和不同角色。如何合理分配资源、衡量优先级，以及制定应对策略，是一个非常重要的问题。小美，你认为我们应该如何平衡业务收益与技术探索呢？

小美

嗯，这是一个非常复杂的问题。履约场景中的需求非常多，比如众包运力管理、加盟运力管理、订单履约等。在这个过程中，我们引入了 TPF 维度进行分析，平衡业务收益与技术探索。具体来说，TPF 是什么，又是如何帮助我们做出决策的？

小袋

TPF 是 Technical/Product/Future 三个维度的缩写。通过 TPF 维度，我们可以更全面地评估每个需求的价值和可行性。比如，简单的分析类、总结类、生成类需求（L1~L3）虽然多，但收益有限。而纵深较长的需求（L4~L5）则能够带来更大的技术提升。我们通过这种方式来确保资源的合理分配。小美，你对这种方式有什么看法？

小美

这听起来非常合理。那么，对于这些简单的 L1~L3 需求，你们是如何实现规模化和低成本完成的呢？毕竟，这些需求的数量非常庞大。

小袋

我们通过产运自助的方式解决了这个问题。具体来说，我们设计了一些自动化工具和流程，让运营团队能够自主处理这些简单需求。这样不仅提高了效率，还减少了研发团队的负担。小美，你有没有遇到过类似的挑战，是如何解决的？

小美

确实有。在我们之前的项目中，我们也遇到了类似的问题。我们通过建立一个自助服务平台，让一线运营人员能够快速生成和验证需求。这不仅提高了效率，还增强了团队的协作。那么，接下来我们聊聊垂域技术架构的独特挑战吧。履约 AIGC 在数据质量把控和知识密度提升方面做了哪些具体工作？

小袋

履约 AIGC 在数据质量把控方面做了很多细致的工作。首先，我们针对高知识密度的数据进行了深度定制。例如，在知识抽取和数据质控方面，我们引入了专门的策略和工具，确保数据的有效性和一致性。此外，我们还对多模态数据进行了处理，包括轨迹、感知等时空数据。小美，你觉得这样的数据处理方式有什么特别之处？

小美

这确实很有意思。多模态数据对齐是一个非常复杂的任务，尤其是在履约场景中。轨迹数据和感知数据的融合能够提供更直观的时空状态，这对于模型的优化非常重要。那么，你们在模型架构层面有什么特别的做法吗？

小袋

在模型架构层面，我们引入了业务信息的理解表征。例如，在时空信息建模中，我们通过已有的轨迹刻画和运动状态判定等能力，提炼出更直观的时空状态，优化了模型的文本嵌入。这使得模型在履约场景中更加高效和准确。小美，你有没有相关的案例可以分享？

小美

有，我们曾经在一个物流项目中使用了类似的方法。通过轨迹数据和感知数据的融合，我们能够更准确地预测货物的到达时间，提高了客户满意度。那么，接下来我们聊聊评估体系的业务适配性。履约 AIGC 为什么需要构建业务维度的 benchmark？这是如何实现的？

小袋

履约 AIGC 需要构建业务维度的 benchmark，因为通用的 BLEU、ROUGE 等指标并不适用于具体的应用场景。我们需要根据业务实际的能力依赖，拆解分析维度，设计有效的评估体系。这样可以确保模型在具体应用场景中的性能，并为优化提供方向指导。小美，你觉得这种评估体系的优势是什么？

小美

这种评估体系确实更加贴近实际业务需求。通用指标只能反映模型的某些方面，而业务维度的 benchmark 能够全面评估模型在履约场景中的表现。那么，接下来我们来看看三大业务方向的实际收益。骑手助手是如何实现粘性增强的黄金指标的？

小袋

骑手助手在多个城市进行了功能试点，并逐步扩灰至 28 个城市。我们通过自研的 IM-AI 帮答模型，显著提高了骑手的使用粘性。黄金指标的变化非常显著，例如曝光使用率从 8.98% 提升到 15.20%，人均 query 条数从 3.14 提高到 64.71，7 日复用骑手占比从 63.58% 提升到 80.34%。小美，你认为这些指标的变化说明了什么？

小美

这些指标的变化说明骑手助手已经成为了骑手不可或缺的工具。高曝光率和高频次的使用说明骑手对这个助手的依赖度非常高，而 7 日复用率的提升则表明骑手对其功能的认可。那么，数字分身是如何提升运营效率的？

小袋

数字分身通过‘赋能一线 prompt 指令调整能力’的运营模式，显著提升了运营效率。例如，在北京和成都的功能试点中，骑手出勤率相较对照组提升了 2-3 个百分点，接通与未接通骑手的出勤率差达到了 6-8 个百分点。我们还孵化了招聘分身，在北京和秦皇岛跑通了 MVP 实验。小美，你对这种运营模式有什么看法？

小美

这种模式非常创新。通过让一线运营人员自主调整 prompt 指令，可以更灵活地应对各种场景，提升运营效率。那么，AI 审核员在人工成本节省和客诉降低方面取得了哪些关键技术突破？

小袋

AI 审核员在下单、取货、送达等环节中，通过自动化审核显著降低了人工成本。我们在 7 个管控场景中跑通了实验，AI 审核的核心指标表现与前沿技术方案及人工审核相当。这不仅提高了效率，还减少了客户投诉。小美，你认为 AI 审核员的未来发展方向是什么？

小美

AI 审核员的未来发展方向应该是更加智能化和自主化。例如，通过多模态 agent 的技术，可以更全面地处理各种复杂的审核任务。那么，接下来我们聊聊研发范式的变革。‘Playground+Workflow’ 新范式是如何实现需求快速验证与低成本上线的？

小袋

‘Playground+Workflow’ 新范式通过提供一个快速实验和改进的平台，大大提升了研发效能。例如，在履约 AIGC 项目中，我们进行了 50 人次的需求探索、30 余次的需求定性验证、流程中 20 个需求、已上线 11 个需求。这不仅加快了需求的上线速度，还改变了产研之间的生产关系。小美，你认为这种范式有哪些优点？

小美

这种范式非常灵活，能够快速验证和调整需求。这对于技术落地非常有帮助，尤其是在履约这样的复杂场景中。那么，生产关系的调整是如何推动技术落地的？

小袋

生产关系的调整使得产、运、研团队能够更好地协作。例如，运营团队能够自主调整 prompt 指令，而研发团队则可以集中精力解决更复杂的技术问题。这种协作模式提高了整体的效率和效果。小美，你认为在未来的研发中，这种模式会如何发展？

小美

未来的研发模式可能会更加自动化和智能化。例如，通过 AI 辅助工具，运营团队可以更高效地处理各种需求，而研发团队则可以专注于核心技术创新。那么，最后我们聊聊未来的展望。履约 AIGC 有哪些发展方向？

小袋

履约 AIGC 未来的发展方向包括构建围绕履约垂域场景的 LLM、MLLM、Agent 技术体系，重点关注多模态 agent 的技术以及行业发展。我们还将技术基线标准从对标 GPT-3.5 提升至 GPT-4。此外，我们会在骑手助手、站长分身、AI 审核员等方向取得规模化业务收益，持续扫描履约业务内的 PMF 机会点。小美，你对履约 AIGC 的未来有什么期待？

小美

我非常期待履约 AIGC 在多模态 agent 技术上的突破。这将极大地提升履约场景中的智能化水平，带来更多的业务创新。同时，我也希望看到更多关于技术实战干货的分享，帮助从业者更好地理解和应用这些技术。谢谢小袋的分享，今天的讨论非常精彩！

小袋

谢谢小美！希望今天的讨论能为大家带来启发。如果你对履约 AIGC 有任何疑问或感兴趣的话题，欢迎在评论区留言。我们会在后续的系列文章中继续深入探讨。感谢大家的收听，我们下期再见！