Kilminga pavardė, kilusi iš baltiško vardo Virmantas (iš vyr- „vyras, valdovas“). Lietuvių istorijoje žymi Virmantų giminė, ypač Jonas Virmauskas (XVI a.), rašęs pirmąsias žinomas lietuviškas eiles.