В статье рассмотрена двадцатилетняя история и опыт создания автоматизированных систем проверки знаний и навыков по программированию в Новосибирском государственном университете. Приведен анализ эффективности или неэффективности методов и средств в использующихся системах проверки знаний. Описано современное состояние архитектуры системы NSUts.