腾讯云TCDataAgent位列全球第三,创中国团队最佳成绩
近日,自然语言转SQL(NL2SQL)国际评测平台BIRD-Bench公布了最新测评结果。腾讯云自主研发的数据分析智能体TCDataAgent在全球排名中位列第三,位居国内团队首位,创下了该领域中国团队的最佳成绩,超越了多个国际知名科技企业。
BIRD-Bench被认为是全球自然语言转SQL任务中最具挑战性的评测榜单之一。该评测不仅要求系统能够准确地将自然语言问题转换为对应的SQL语句,还要求生成的SQL代码能够在结构复杂、规模庞大且真实的企业级数据库中高效运行并返回正确结果。
此次评测所采用的数据样本覆盖了金融、医疗、体育等37个实际行业场景,总数据量高达33GB,测试题目超过一万道,全面考验系统的理解能力和执行效率。
在如此严苛的评测条件下,TCDataAgent最终取得了75.74分的优异成绩。据相关介绍,传统方法在面对结构复杂或语义模糊的问题时,往往难以准确判断用户意图,而TCDataAgent则在以下三个方面实现了关键突破:
一是具备错误自动识别与修正能力:通过引入数据库约束验证机制,系统能够像质检员一样发现并修复生成SQL语句中的结构性或语义性错误;
二是增强对数据库内容的理解:模型能够基于数据库的真实内容生成和优化SQL语句,从而显著提高对用户意图的理解精度和结果的可信度;
三是实现高质量训练样本筛选:借助后训练(post-training)技术,优先选取效果最佳的SQL样本来进行训练迭代,持续提升模型表现。
TCDataAgent的技术成果已获得数据库领域国际顶级会议VLDB的认可,并被收录发表。相关实验表明,其核心模块可广泛应用于其他同类系统,最高可将查询执行的准确率提升18.3%。