ואלגברה לא באופן שיטתי. אלא כפי שמצא אותם במקרה בספרים. סידר לעצמו שיטה בלימודים אלה ומצא בעצמו הוכחות לרוב הכללים.
בשנה התשיעית לחייו התעמק בספר "מורה נבוכים".
בגיל שתיים עשרה עשה מעשה, המצביע על הסערה שהתחוללה בנפשו של הנער; בליל סופה וגשם ברח מבית אבא לעיירה הסמוכה. אמו נסעה אחריו והחזירה אותו הביתה בעל כרחו. שקע בדכאון וחוסר מעש, שנמשכו עד גיל שש-עשרה. אחרי כשנה נפטרה האם הטובה, שהיתה מלאת מרץ ועזרה בפרנסת משפחתה. האב נאלץ לשלוח אותו מהבית, כדי שילמד ב"ישיבות" ויאכל "ימים".
בהסכמת אביו הלך לעיירה קרטינגן. האב טען, שבלימוד התלמוד עולות הישיבות בליטא על בתיהמדרש לרבנים במערב אירופה. הוא קיבל את התנאי, הסתגר בקרטינגן במשך 3 שנים בחדר, שבו היתה ספריה תלמודית עשירה, למד בשקידה עצמה, שבע-עשרה שעות ביום. קיבל אח"כ משלושה רבנים מפורסמים סמיכה לרבנות.
הוזמן להיות לראש ישיבה ורב בעיירה בליטה, בטורקשלה.
נשא לאשה את מרי ונולדה להם בת בשם חיה .
היה שם גם מורה הוראה. למד את השפה הרוסית ואת הלימודים האלמנטריים.
החליט לעזוב את הרבנות ולבקש לו דרך חדשה בחיים, דרך קשה היתה זו, אולם לא נרתע מפניה.
בא לקובנה. רצה לנסוע לחו"ל אולם לא ידע מהי הדרך הקרובה למטרה זו. הוא לא ידע שום שפה לועזית. בקובנה התחיל ללמוד גרמנית. באותם ימים הרבה לקרוא ספרות עברית חדשה. התקרב לאברהם מאפו , שהכיר בצעיר זה, ברב חריף ובקי זה כח, הבטיח גדולות בעתיד.
אשתו שמעה על "התפקרותו" של בעלה בקובנה, באה אליו מהעיירה שבה ישבה, ודרשה ממנו גט פטורין. נענה לה והתגרש ממנה.
החליט לנסוע לווילנא, מרכז ההשכלה העברית ברוסיה בכלל ובליטא בפרט.
בשנת 1866 הגיע לווילנא מצוייד במכתב-המלצה מאברהם מאפו, אבל ללא כל אמצעים לקיומו. פנה אל הסופר א. י. פאפירנה , ראש המבקרים בביקורת הספרות העברית באותו זמן. לפי דברי פאפירנה , היה רזה ועייף, כמו איש ידוע חולי. דבריו הראשונים היו - בקשה להשקיט את רעבונו. כי לא בא אוכל לפיו כל אותו היום. לא היו לו - לא לחם לאכול ולא פרוטה בכיס לתשלום בעד לינה. הזמין אותו לגור אצלו ואחרי הפצרות נענה להזמנתו.
בחוגי הסופרים והמשכילים בווילנא הכירו מיד בכשרונותיו. בגלל חריפותו ובקיאותו בתלמוד כינוהו "המהר-שא" (הירש שפירא).
בווילנא, לפי הזמנתו של משה רוזנסון , יהודי עשיר ומלווה בריבית שחלם על דת אוניברסלית ונחשב למיסיונר, הכין עבורו חיבור על הפרושים (על הכתות בישראל) ובו הוכיח שהפרושים היו מחוקקים, שידעו את צרכי עמם. לא בעד השכר כתב את הספר, אלא "רק כדי להוציא מלבן של הצדיקים"... משום "דע מה שתשיב לאפקורוס".
למד גם רוסית ולימודים יסודיים כלליים, כמו היסטוריה וגיאוגראפיה.
שאיפתו היתה לנסוע לחוץ-לארץ, כדי ללמוד. הוא החליט להגשים את שאיפתו זו, למרות שלא היו לו כל האמצעים החומריים לכך.
לפני שיצא לחו"ל ביקש רשות לכך מאביו. בלב הבן קינן רגש הכבוד לאב הלמדן וטהור הלב. האב לא רצה שהבן יסע לחו"ל. חשש מפני ההשכלה בכלל ומזו שבברלין בפרט. אך כשראה שהבן תקיף בדעתו, יעץ לו ללמוד בחוץ-לארץ מקצוע חילוני, שאינו נוגע לעיקרי הדת. במיוחד המליץ על לימוד המתמטיקה, שבה גילה הבן התעניינות עוד בילדותו. קיבל את הצעתו של האב, כי גם הוא רצה במקצוע מעשי, שיביא תועלת ליהודי רוסיה ויתן לו פרנסה על ידי עבודה.
לשם השגת תעודת נסיעה לחו"ל (פספורט) צריך היה לקבל תעודת זהות מעירו. ראש הקהילה המקומית כינס התייעצות ובה הביע הרב את התנגדותו למתן תעודה, חשש שנסיעתו של הרב הצעיר לשעבר תשמש דוגמא לאנשים אחרים. בכל זאת השיג את מבוקשו ויצא לחו"ל ללמוד.
בבואו במרס 1867 לברלין בלי אמצעים ובלי ידיעה מספקת בלשון הגרמנית, היה נתון למחסור ולסבל בלתי פוסק. ליב יפה ז"ל (ראה כרך א', עמוד 83, מביא בביוגראפיה של שפירא ב"ספר הקונגרס", ירושלים תרפ"ג, עמוד 226) מספר, כשהרע עינה את שפירא, נאלץ פעם לגנוב פת לחם. בזמן הראשון לא היה לו מקום ללון, לא תמיד העיז לשכב על ספסל ב"טירנכטן". היה קופץ לעתים קרובות ממשכבו מפחד השוטר. ובכל זאת, לא נפל ברוחו. התמסר ללימודים, למד 17-18 שעות ליום. אחרי חצי שנה עמד למבחן ונתקבל כסטודנט מן המניין באקדמיה לטכנולוגיה. באותו זמן נתן כבר שעורים בשפה הגרמנית והתפרנס מזה בצמצום. רכש לו את חיבת מוריו, לא חדל לסבול מחוסר אמצעים לקיומו, סייעו בית במקצת מוריו. גם האב כתב מכתבים אל אישים ידועים ביהדות החרדית בגרמניה. הוזמן ע"י גוסטאב הירש מהאלברשטאדט (גיסו של העשיר עזריאל הולדסהיימר) לעבור לפני התיבה בראש השנה וביום הכיפורים. תמיכה רבה יותר תמך בו הרב א. רוזנשטיין. אחרי פטירתו של הרב לא יכול היה להחזיק מעמד בברלין. לא ראה מוצא אחר, אלא לעזוב את ברלין ולהפסיק את לימודיו.
כעשרה חודשים שכב על ערש דווי בבית חולים. בצאתו משם, עזב על פי עצת הרופאים את לימודיו וקיבל משרה במשרד ועסק בענייני מסחר וברקמטיקה.
חזר לווילנא במקום שהכיר את אשתו השניה, מינה בת המשכיל חיים זלמן אליאשביץ (חזא"ל)