Бюст основателя советской ВЧК Феликса Дзержинского работы скульптора Анатолия Бичукова украшал внутренний двор столичной милиции еще с 40-х годов.

Скульптура была установлена в 1977 году в честь 100-летнего юбилея со дня рождения отца-основателя всей советской системы госбезопасности и правопорядка. Бюст Железного Феликса простоял больше 15 лет, а 20 августа 1991 года, сразу после провала ГКЧП, милиционеры его демонтировали, чтобы не провоцировать революционную толпу, которая своими силами с помощью автокранов убрала главный памятник Дзержинскому, стоявший перед зданием КГБ, считая его одним из основных символов советского тоталитаризма.

Возвращен во двор здания ГУВД Москвы на Петровке бюст Феликса Дзержинского был только в 2005 году.