מדרש לקח טוב, בראשית לט:יא

ויהי כהיום הזה. ר' יהודה אומר יום ניבול של נילוס היה. והיו הכל הולכים לראות. והוא לא הלך. שכן דרך נילוס מתגדל והולך המלך והשרים הולכים לשמוח בנהר. והוא להם כיום איד של עובדי כוכבים.

(מג) ויבא הביתה לעשות מלאכתו. מתרגם למיבדק בכתבי חושבניה. לחשוב חשבונות של רבו.

ואין איש מאנשי הבית שם בבית. ללמדך עד היכן תקף את יצרו. והיא לא הלכה אל ניבול נילוס.

ויש דורשין לעשות מלאכתו. ודאי אלא ואין איש. שלא נמצא איש שנראתה דמות דיוקנו של אביו בחלון. אמר לו יוסף עתידין אחיך להיות חקוקין על אבני השוהם. שנאמר ששה משמותם על האבן האחת (שמות כח י). רצונך שלא תמנה עמהם. ומיד ותשב באיתן קשתו (בראשית מט כד). מלמד ששבה קשתו לאיתנה.