Lietuviška pavardė, kilusi iš žodžio „gaužas“ – tai senovinis terminas, reiškiantis aukštą, liesą žmogų. Dažnai siejama su Žemaitijos regionu. Žymiausias jos turėtojas – Juozas Gaužaitis (1846–1911), kunigas, visuomenės veikėjas ir vienas pirmųjų lietuviškos spaudos platintojų, aktyviai dalyvavęs kovojant prieš rusifikaciją.