Lietuviškos kilmės pavardė, kurią galima susieti su žodžiu „bliumberti“ – reiškiantį „šlubuoti, klibėti“. Tai galėjo būti pravardinės kilmės, nurodanti žmogaus eiseną ar ypatybę.
Istoriniuose šaltiniuose minimas Jonas Bliumbergis – vienas iš 1863 m. sukilimo Lietuvoje dalyvių ir organizatorių.