потому что они отвечают НЕ на вопрос числительного "СКОЛЬКО? " а на вопрос существительного " ЧТО? ":
СКОЛЬКО? ПЯТЬ, два, семь, ТРИ, МИЛЛИОН
ЧТО? пятёрка, тройка, двойка, семёрка, миллион.

Потому что три, пять - это количественные числительные не имеющие категории рода, а тройка, пятёрка, двойник - это существительные.