Середина 20-х годов. Гражданская война давно закончилась, и пришло время переключиться с внешних врагов на внутренних. Бывший армейский офицер Воронцов назначен начальником уголовной милиции в небольшой городок. Его назначение было как нельзя кстати — банда местного авторитета Корнея терроризирует город, ему никто не в силах противостоять. Но бывшего фронтовика не испугать каким-то вором. Вместе со своим напарником Мелентьевым он разрабатывает план ликвидации шайки.

Мелентьев — опытный оперативник, и он настаивает на том, что в банду необходимо внедрить своих людей, чтобы они поставляли информацию о всех планах Корнея, что, в свою очередь, позволит легко его задержать. Воронцов, наоборот, привык действовать нахрапом, не понимая, что здесь война другого рода, и требуются совсем другие методы. Корней тоже был не промах — его сложно было обвинить в конкретных преступлениях, он всё делал руками других людей и всегда выходил сухим из воды.

Для Владимира Хотиненко Один и без оружия стал дебютом в большом кино, успех которого открыл ему дорогу на широкие экраны. Хотиненко поставил фильм совместно с Павлом Фаттахутдиновым, в результате чего они практически рассорились. Чтобы не пересекаться на съемочной площадке они работали через день.