reward hacking

Хорошая новость: ИИ не взламывает компьютеры. Плохая: он взламывает законы — и делает это без злого умысла

Именно так алгоритмы научились нарушать любые правила, не нарушая ни одного.