Pavardė Žilvitis yra kilusi iš lietuvių kalbos žodžių „žilas“ (senas, žilaplaukis) ir „vytis“ (vadas, karys). Tai galbūt buvo pravardė, nurodanti patyrusį, garbaus amžiaus kovotoją arba žmogų, turintį ryšį su senatve ir kariniais įgūdžiais.
Istorijoje žinomiausias šios pavardės asmuo yra Jonas Žilvitis (1890–1933), Lietuvos karinis veikėjas, pulkininkas, dalyvavęs Nepriklausomybės kovose.