המתפלל מאוחר- חילול השם?

שלום וברכה באחד הימים יצא שישנתי בשעה מאוחרת מעט וכך גם קמתי בבוקר...
רק בערך ב 9 וארבעים יצאתי לבית כנסת ושם ברוך ה' מצאתי מניין , אך המניין התעכב ורק בערך ב11 נגמר (כמובן קראתי מראש קריאת שמע)
את הנרתיק לציצית ןהתפילין לא לקחת איתי ולכן חזרתי בדרך לביתי מעוטר ומעוטף
אך בדרך ראוני 2 אנשים (ללא כיפה) ואמר אחד מהם 'מה רק עכשיו קמת?' עניתי כמובן מיד שלא, והוא השיב מה לא , בעודו מורה לעברי עם התפילין (הוא משום מה הבין שמי שעם תפילין קם רק אז..)והשני ג"כ אמר 'למד כול הלילה..' ניסיתי לומר שעכשיו חזרתי אבל אני לא יודע עד כמה הם שמעו אותי... והנה בגמרא ברכות מג,ב מבוארים 6 דברים שגנאי הם לתלמיד חכם ואחד מהם 'ואל יכנס באחרונה לביהמ"ד' ומבארת הגמרא משום דקרו ליה פושע (ופרש"י מתעצל) ,ע"כ.
והנה לאחר מעשה הרהרתי האם היה בדבר זה משום חילול השם וא"כ מה תיקונו (והאם הליכה לתפילה בנץ מעתה בקביעות עד הישיבה תתקן הדבר? , שכן בישיבה אצטרך להקשיב למורי ורבותי ולנהוג כסדרי תפילות הישיבה)
תודה רבה מראש!