התלמידים והספר הראשון שלקח בידו היה "סיפורי המקרא" של ח. נ. ביאליק ורבניצקי. הוא זעק מתוך התרגשות: "להפוך את תורת משה השלמה לקטעי סיפורים ? אוי לעיניים שכך רואות! צריך לקרוע על חילול הקודש, אם זה מכשיר לחינוך דור עברי בארץ האבות !" ושוב גילה שילדים וילדות יושבים בצוותא בלי שום מסך ביניהם. "זה", אמר להנהלה, "חילול המסורת, חילול המוסריות !" והשלישי הכביד: הילדים ישבו גלויי ראש, וזה מתנגד לכל הנהוג בישראל, זוהי עבירה מפורשת: "בחוקותיהם לא תלכו".
ניסו להתווכח עמו על ראשון ראשון: סיפורי המק רא של ביאליק-רבניצקי הרי שניהם אינם קטלי קנייא באגדה . והם נהגו לפי חז"ל : "התורה מגילות מגילות נתנה ", ישיבת הילדים והילדות על ספסלי הלימודים יחד, האם לא ישבנו יחד בקונגרס הציוני, גברים ונשים יחד ולפעמים גם שלובי זרוע וכבודו ישב בראש ולא ניסה למחות בידינו כאשר חל לאו של "בחוקותיכם" יש לו טעם במדינות הנוצרים שלא כן בארצות האיסלם: הערבי לעולם לא יסיר את התרבוש מעל ראשו וירשה נא הד"ר גסטר לקרוא באזניו פסקי הגאון מוילנא, אות סימן ח': אין איסור כלל לילך בגילוי ראש. רק כשעומד בפני גדולים או בעת התפילה אז נכון מצד המוסר לכסות הראש.
השבנו את תשובותינו שהשפיעו על הרב גסטר, אבל הוא כשלו: למלא את תפקידו באמונה ולהודיע לשולחו, כי לפי דעתו, אין לתמוך בבית ספר המחלל את מוסר היהדות, אבל מוכן הוא לנהוג לפי הגמרא : "אין עונשים אלא מזהירים" : "עליכם להודיע בכתב כי בחוקותיהם לא תלכו והתלמידים עם מוריהם לא יתהלכו גלויי ראש וההחלטה בידי המנדב. חברי הוועד המפקח של הגימנסיה ובפרט הזקנים שביניהם, נבהלו. ומרדכי בן הלל הכהן , יו"ר הוועד המפקח פנה במכתב אל מחותנו "אחד העם" שגר אז בלונדון, ושאל בעצתו. אחד העם ענה בפשטות : "מוטב גימנסיה עם כובע, מאשר בלי כובע ובלי גימנסיה". המורים אמרו פה אחד: אין זו שאלת הכובע אצלנו למעננו, אבל להודיע לתלמידינו: "חברה, תחבשו כובעים, אחרת הנדבן מוזר לא יתן כסף לא נסכים ולא נאמר" ! וזו היתה תשובתם גם למוזר. וראה זה פלא, מוזר התעורר, לקח אתו את רעיתו ועלה לארץ, ואמר ברדתו בחוף יפו: "באנו אליכם, לאמר לכם יישר כוחכם על אשר לא הסכמתם לשנות את אורח החינוך הטבעי שלכם מפני הסכנה של הפסד הכסף, ואנחנו, אני ורעיתי, החלטנו להודיע לכם, כי הסכום של 80 אלף פראנק שהוכרז על ידי בקונגרס הציוני ה-8 איננו קובע ואנו מקבלים על עצמנו להקים את בנין הגימנסיה העברית "הרצליה" מהמסד עד הטפחות על חשבוננו אנו".
ביקורו זה, התקיים בניסן תרס"ח (אפריל 1908). היישוב החדש קיבל את פניו ברחשי תודה והוקרה. הוא קיבל עליו מיד לשלם גם את שכר הדירה של הגימנסיה השכורה ביפו כנ"ל, עד אשר יקום הבנין.
ביקש לזרז את הקמתו והבטיח לבוא שנית לחנוכת הבית.
כמה מושבות היו מעוניינות שהבניין יקום במושבותיהן. הורי התלמידים התנגדו. ובאסיפה הכללית שנתקיימה ביפו בחודש ביקורם (כנ"ל) במעמד הגברת והא' מוזר , הוחלט להקים את הבנין ביפו (תל-אביב עוד לא היתה קיימת).
באותם הימים התארגנה קבוצה של 60 איש מתושבי יפו והשכונות "נוה שלום" ו"נוה צדק" שקראה לעצמה בשם "אחוזת בית" (במטרה להקים בצפונה של יפו שכונה מודרנית), שבראשם היו חמשת המייסדים וקוני הקרקעות: מאיר דיזנגוף (ראה כרך שני, עמוד 794); עקיבא אריה וייס (ראה כרך א', עמוד 442); יצחק חיותמן (ראה כרך א', עמוד 437); יחזקאל דנין-סוכובולסקי (ראה כרך א', עמוד 480) וחכם נסים קורקידי (ראה כרך א', עמוד 143). כאן המקום להעיר, שהתעודות הרשמיות החתומות ע"י חמשת המייסדים הנ"ל מוכיחות, שהמנוח דוד סמי לנסקי ז"ל לא היה בין חמשת המייסדים , ומפליא הדבר, שמי שהוא היה מעוניין לזרוק את שמו של "הספרדי" חכם נסים קורקידי ז"ל ולהכניס את דוד סמילנסקי ז"ל במקומו, בו בשעה שהוא היה בין 60 המתיישבים הראשונים. (ראה תעודה רשמית בכרך ראשון, בעמוד 213). בינתיים קראו על שמו רחוב במקום "הספרדי" הנ"ל. על זה הערתי לראש העירייה והבטיח לחקור ע"י ועדת השמות בדבר זה.
ואז החליטה הנהלת הגימנסיה לרכוש בסוף רחוב הרצל שטח קרקע על שם הקרן הקיימת בכדי להקים עליו את הבנין במקום להקימו ביפו.
ביום י' באב תרס"ט (28.7.1909), שבועות מספר אחרי הנחת היסודות לבנייניה הראשונים של השכונה "אחוזת בית" (היא תל-אביב), הונחה אבן הפינה לבנין הגימנסיה (שנוסדה ביפו בכ"ג תשרי תרס"ו (28.10.1905) ע"י ד"ר יהודה ליב מטמן-כהן (ראה כרך א', עמוד 468). ובשנת 1907 עברה לרשותה של "אגודת הגימנסיה העברית בארץ-ישראל"). ולפי ה תנאי של התורם מוזר קראו את שם ד"ר הרצל על המוסד.
בחודש אדר תר"ע (1910) עמד כבר רוב הבנין על תלו והנדבן מוזר ורעיתו קיימו את הבטחתם ובאו שנית לארץ לחנוך את קומתו הראשונה של הבניין. הניח את אבן היסוד בדיוטא העליונה של הבנין. 250 פרנק מסר לראש הפועלים לחלקם ביניהם (אז זה היה סכום הגון).
באלול תר"ע (1910) הושלם הבנין כולו ועמד בחזית רחוב הרצל כשהוא מפאר את השכונה כולה.
בראשית תרע"א (בסוף 1910) עברה הגימנסיה כולה מיפו לבנינה החדש. לבו של מוזר רחב משמחה, בעיקר, להצלחתו בהקמת יד לזכר הרצל. תרומתו הראשונה היתה שמונים אלף פרנק, עם גמר הבנין הסתכמו ההוצאות בתשעים ותשע אלף וחמש מאות פרנק, והוא סילק הכל בסדר. כעבור שנה הוסיף לת