Lietuviškos kilmės pavardė, greičiausiai kilusi iš lenkiško pavadinimo „Żółtowski“ arba baltarusiško „Жолтовский“. Tai buvusi vietovardinė pavardė, galimai susijusi su vietovardžiais „Želtava“ arba „Želva“. Gali būti siejama su žodžiu „želti“ (dažyti geltonai) arba su spalva „geltona“ (lenk. żółty).
Žymiausi žmonės:
Mindaugas Žoltauskas – aktorius.
Tomas Žoltauskas – krepšininkas.
Arūnas Žoltauskas – poetas, eseistas.