רש"י על קידושין סז.

ואיבעית אימא לעולם רבי יוסי היא - דאמר גר מותר בממזרת ודקשיא לך כללא היא מתניתין לאו כללא כייל דלהכי תנא בה ואיזו זו היא כהנת ולויה כו' למימרא דהני הוא דהולד הולך אחר הזכר אבל יש אחרים אע"פ שיש קידושין ואין עבירה הולד הולך אחר הפגום: