Потому что три, пять-это числительное
а пятёрка, миллион-это существительные
 
примеры: шесть, восемь, девять, восемьдесят три, тридцать, десять и т. д- они не имеют рода, потому что числительные
 
шёстёрка, семёрка, девятка, десятка, восьмёрка и т. д. они имеют род потому что это существительные