В ИТМО сделали AptaBench — проверочный полигон для моделей, которые подбирают аптамеры. Это такие короткие куски ДНК или РНК: они цепляются к нужным молекулам, белкам или клеткам, а дальше из этого могут вырасти биосенсоры, диагностика или кусок лекарственной разработки. Звучит мелко, но в лаборатории это как очередь в поликлинике: вариантов много, руками всё гонять долго.
Смысл AptaBench не в том, чтобы «ИИ нашёл лекарство» — спокойно, чайник не кипятим. Смысл в другом: проверить, не мухлюет ли модель сама с собой. Если она хорошо угадывает на похожих молекулах и похожих последовательностях, это ещё не значит, что она поможет, когда принесли реально новую мишень.
В наборе 6 289 экспериментально проверенных пар: 1 610 ДНК- и РНК-аптамеров и 942 лиганда. В открытой карточке датасета на Hugging Face отдельно видно важную штуку: отрицательные примеры там не нарисованы случайной мешалкой, а взяты из экспериментов — где связывания не было или оно было слабым. Для таких задач это не косметика, а разница между нормальной проверкой и школьной контрольной, где ответы случайно подсмотрел.
Авторы дают три режима проверки. Обычный — когда данные делят примерно «как привыкли». Жёстче — когда модель видит новые молекулы. Ещё жёстче — когда ей подсовывают новые семейства аптамеров. И вот тут красота бенчмарка: он показывает, где модель бодрая, а где уже делает вид.
На стандартной проверке ROC-AUC дошёл до 0,95. На новых химических структурах упал до 0,89, на новых семействах аптамеров — до 0,87. Для прогноза силы связывания R² съехал примерно с 0,67 до 0,30. Перевод с графиков на бытовой: модель может выглядеть умной на знакомой кухне, а в новом подъезде уже путает двери.
Практический выход такой: AptaBench нужен не пациенту у кассы аптеки завтра утром, а исследователям, которые хотят не сжечь время и реагенты на красивых, но слабых прогнозах. Датасет и сплиты выложены публично, работа принята в трек Evaluations & Datasets на NeurIPS 2026. Чего пока нет в открытом виде — доказательства, что этот тест уже привёл к конкретному новому аптамеру в лаборатории. Это именно линейка для проверки моделей, не готовая таблетка.