В ноябре 1275 года заключил конкордат с папой Григорием X, в котором признал папу государем римской области и других владений римской кафедры, признал его сеньором всех спорных земель в Тоскане и Романье и отказался от всяких притязаний на Сицилию. С 1281 года Рудольф занялся непосредственно устройством дел в Германии. С особым усердием он хлопотал о поддержании повсеместного мира и в один год издал постановления о нем в Баварии, Франконии, Швабии и Рейнской области, которые преследовали цель обуздания и усмирения разбойных действий своевольного низшего дворянства. За годы безначалия в Германии сложилось целое сословие рыцарей, занимавшихся грабежом беззащитного населения. Они строили свои замки на скалах или в других труднодоступных местах и отсюда нападали на поселян и купцов. Король начал против них войну, прежде всего, в Швабии и Тюрингии, где его власть была более прочной. Он сам разъезжал по Германии и разрушал разбойничьи замки. Например, в Тюрингии при нем было взято 66 таких замков и повешено 29 знатных разбойников. В 1283 году Рудольфу удалось прекратить усобные войны в Северной Германии, примирить тамошних князей (герцога Саксонского, князя Померанского, герцога Мекленбургского, графа Шверинского и других) и заключить мир на 10 лет.
Так же усиленно хлопотал Рудольф об установлении мира в других областях. На эрфуртском съезде в 1288 году было принято решение о разделении Германии на округа. В каждом таком округе могущественный князь назначался начальником войск, собираемых для восстановления тишины. Попытки укрепить королевскую власть на местах через имперских ландфохтов, установить «Земский мир» способствовали популярности короля, в частности, среди бюргеров