Є програми, які замість «не можу» видають впевнене неправильне число. Одну таку ми зловили за руку — і за день зробили інструмент, який ловить її автоматично.
Уявіть вагу, у якої зламався датчик. Вона не блимає помилкою і не вимикається. Вона просто всім показує 70 кг. Худому 70, важкому 70, порожній платформі теж 70. Помітити це неможливо, поки не станеш на неї сам і не побачиш чуже число.
Саме так поводиться програма, якою сьогодні міряють «біологічний вік» людини за аналізом крові. Не іноді. За замовчуванням.
У кожного є паспортний вік — скільки років минуло від народження. Але всі бачили шістдесятирічного, що виглядає на сорок п'ять, і навпаки. Вчені захотіли міряти це не на око.
Виявилось, що з роками на ДНК налипають дрібні хімічні позначки — завжди приблизно в тих самих місцях. Як іржа, що з'являється на машині в передбачуваних точках. Порахував «іржу» в потрібних місцях — вгадав вік.
Такий рецепт і називають годинником старіння. Рецепт звучить просто: «подивись ось у ці 353 точки на ДНК, зваж кожну отак, склади — отримаєш вік». Різні вчені зібрали різні рецепти: один вимагає 353 точки, інший 391, третій 1030.
Щоб прочитати ці точки, кров прогонять через прилад — чип. Чипи бувають різні. Старий, 2008 року, читає 27 тисяч точок. Новіший — 450 тисяч. Ще новіший — понад 860 тисяч.
І ось вам рецепт на 391 інгредієнт, а в магазині їх 109.
Нормальний кухар скаже: «я це не приготую». Програма натомість мовчки підставляє замість 282 відсутніх інгредієнтів «щось середнє» — середнє по чужих людях, яких вона колись бачила — і подає страву. Виглядає як їжа.
Ми взяли справжній рецепт Horvath 2013 (353 точки) і когорту з 24 людей, а тоді почали прибирати точки одну за одною.
Коли не лишилось жодної потрібної точки, програма не зупинилась. Вона видала 38.5 року — для всіх 24 людей однаково. Мовчки.
Головне тут навіть не те, що число неправильне. Головне — як саме воно стає неправильним. Годинник не ламається. Він згортається: що більше точок бракує, то більше кожна людина стає схожою на середню. Різниця між людьми зникає.
Зробили сторінку, яка ставить це питання до того, як ви повірите числу, а не після.
Вставляєте перелік точок, які є у ваших даних, — і бачите по кожному з 29 годинників: скільки точок йому треба, скільки з них у вас є, і скільки різниці між людьми при цьому вціліє.
Але найкорисніше навіть не це. Справжнє питання звучить не «що в моїх даних», а «чи можна взагалі вірити цьому годиннику на моєму приладі». А на нього можна відповісти, не маючи жодних даних: перелік точок, які вміє читати чип, — це властивість приладу, а не чиїхось аналізів.
Тому там три кнопки: 27k, 450k, EPIC. Натиснув — і одразу видно:
| Чип | Працює | Підупало | Непридатних |
|---|---|---|---|
| Illumina 27k | 9 | 2 | 18 |
| Illumina 450k | 29 | — | — |
| Illumina EPIC v1 | 28 | 1 | — |
Дев'ять із двадцяти дев'яти на старому чипі. Решта двадцять поверне вам число, і воно виглядатиме абсолютно нормально.
Будь-який інструмент легко зробити так, щоб він показував гарні числа. Складніше — переконатися, що числа правдиві. Тому ми порахували те саме двічі, двома зовсім різними шляхами.
Шлях перший. Дванадцять днів тому ми взяли справжнє дослідження — 540 зразків крові на старому чипі — і прочитали покриття безпосередньо з даних.
Шлях другий. Сьогодні порахували те саме з протилежного боку: не з чиїхось даних, а з опису самого приладу — переліку точок, які він фізично вміє читати. Інші файли, інший код, інше джерело.
| Годинник | З даних | З опису приладу |
|---|---|---|
| Horvath 2013 | 100% | 100.0% |
| Horvath 2018 | 27.9% | 27.9% |
| Hannum | 10.1% | 9.9% |
| DunedinPACE | 3.5% | 3.5% |
Сходяться. Два незалежні шляхи, що дають одну відповідь, — єдина нормальна причина довіряти будь-якому з них. Якби розійшлися, довелось би шукати, хто з них бреше.
Цього ми не очікували. Здається очевидним, що чип на 860 тисяч точок кращий за чип на 450 тисяч — більше ж.
Ні. Новіший чип викинув десятки тисяч точок, які були на старому, і додав свої. Тому годинники, зібрані під старий чип, на новішому втрачають частину потрібного: Horvath 2013 — 95.5% замість 100%, Hannum — 91.5%.
«Новіше — отже безпечніше» хибне рівно в той бік, який псує аналіз.
Їх було більше, ніж зробленого. Перелічу, бо саме вони найкорисніші.
Напередодні я цілий вечір описував ваду чужої бібліотеки: програма мовчки робить неправильне замість того, щоб відмовитись. Наступного дня я тричі за годину заглушив помилку у власному скрипті, щоб вона «не мішала». Кожна заглушка відправила пошук не туди.
Сервіс не хотів відкриватися назовні, віддавав відмову, і я вигадав три теорії поспіль. Правильну відповідь увесь цей час писав сам сервер — у тексті своєї ж відмови. А моя перевірка цей текст викидала й лишала в лозі голе «відмовлено». Щойно почав зберігати текст — відповідь прийшла з першого разу.
Я написав «60 годинників старіння». Насправді з 60 моделей вік рахують 29 — решта міряє курця, холестерин, стать, хвороби. Виправили не текст, а те, звідки беруться числа: тепер бібліотека потрапляє в список джерел, лише якщо в каталозі справді є її моделі, і кожна модель несе позначку, що саме вона рахує. Щоб не довелося бути уважним.
Сторінка пройшла тридцять дев'ять тестів, автоматичну збірку й деплой — і мала блок, який вічно писав «завантажую…». Жоден тест цього не міг зловити: вони питають програму, а дефект був у тому, що бачить людина.
Перевірялася наявність, а не стан. Файл був на місці — але не той. Правило було в налаштуваннях — але я не прочитав, що воно дозволяє. Команда поверталася без помилки — бо помилку заглушив я сам.
Якщо колись побачите заголовок «метод знизив біологічний вік на N років» — ось що питати, перш ніж вірити.
Яким годинником міряли? Старі знамениті — Horvath, Hannum — навчалися вгадувати паспортний вік, а не здоров'я. Вони не бачать навіть куріння. Якщо такий годинник «побачив» ефект від добавки, це дивно і потребує пояснення.
Чи збігається прилад із рецептом? Якщо годинник вимагає 391 точку, а чип дає 109, це не результат. Це середнє по чужій когорті.
Чи не переплутали прилад із висновком? Окрема пастка: якщо всіх хворих прогнали через прилад в один день, а всіх здорових — в інший, то знайдена «різниця між хворими і здоровими» може виявитися різницею між двома днями роботи приладу. Ми й на це наступали.