Что нужно агенту, чтобы занять топ-3 на BIRD-SQL?

BIRD-SQL — бенчмарк text-to-SQL на настоящих базах: 95 баз, 33 ГБ, закрытый тест. Люди-эксперты дают на нём 92.96%, а модели «в один промпт» — нет: GPT-5.5 на максимальном рассуждении набирает 72.55% и уступает трём десяткам специализированных решений. Весь топ занят не моделями, а обвязкой вокруг них.

Мы такую обвязку собрали — 17 шагов, 81.33% на закрытом тесте, третье место. Ни один шаг не написал человек: всё спроектировал и написал кодинг-агент, мы построили ему харнесс и читали предложения на ревью.

В докладе разберу:

анатомию пайплайна text2sql - отбор таблиц, построение схемы, генерация и судья, точечные починки, нормализаторы: что делает каждая группа устройство харнесса - что писать в трейсы, как раскладывать расхождение результатов до отдельных ячеек, как добиться, чтобы код агента приезжал уже с инструментацией; один оборот цикла на живом примере: от повторяющейся ошибки в трейсах до измеренного эффекта и почему данную задачу не сделали полностью автоматом; свои грабли - какие шаги приняли и потом откатили, какие не сработали ни разу, где метод упёрся в потолок;