רש"י על נדרים פ:

אע"פ שאסור בכולן - בכל הני דאית בהו צד ענוי ברחיצה ובסיכה ובנעילת הסנדל ובתשמיש המטה:

אינו חייב עליהן כרת אלא על האוכל ועל השותה והעושה בו מלאכה - דלא חייבה תורה אלא בהני דכתיבי בהדיא גבי יום הכיפורים דכתיב תענו את נפשותיכם משמע שהנפש יודעת הענוי וזהו ענוי אכילה ושתיה דרגיל בהו וכיון דלא אכיל ההוא יומא ידיעה עינויא: