Pavardė „Paremskas“ yra kilusi iš vietovardžio „Parema“ (dab. Latvija), todėl ji gali rodyti asmens ar jo protėvių ryšį su tuo regionu. Lietuvių kalboje ji laikoma prievardine pavarde.
Istoriniuose šaltiniuose minimas kunigas Motiejus Paremskas, XIX a. pabaigoje – XX a. pradžioje veikęs Raseinių ir Šiaulių parapijose. Pavardę taip pat turėjo kelios dvasininkų ir mokytojų šeimos, ypač Žemaitijoje.