פרישה, אורח חיים רמ:ב

ובשעה שיוצא לדרך כו' ואמרו בגמרא ה"מ דחייב לפקדם כי אזיל לדבר הרשות אבל לדבר מצוה לא: