"תורה עם דרך ארץ". הוא היה מחלוצי "אגודת ישראל" ובנו, מנחם עמנואל, רבה של קלן, מעמודי-התווך שלה, מייסד "אגודת הרבנים" בפולין, בעת שרותו כיועץ לעניני יהודים ליד הגיב. לודנדורף, מפקד צבא הכיבוש הגרמני בפולין במלחמת העולם הראשונה. שאר בניו וחתניו היו רבנים בברלין, ברמן, בגליל פוזן, בארץ הריינוס ובאוסטריה. כגאון התלמוד וחוקר המתימטיקה (שפרופ. איינשטיין מזכירו בספרו במניח היסוד לתורת-היחסיות) נודע בייחוד בנו הצעיר, הרב ד"ר יוסף קרליבך, עד למלחמת העולם הראשונה מורה בבית-ספר למל בירושלים, ואחר-כך רבה של אלטונה והאמבורג, ובשעת הרצחו על-ידי הנאצים - הרב הכולל החרדי של יהודי גרמניה.
הרב ד"ר אפרים קרא את בנו בכורו, עזריאל, על שם רבו עזריאל הילדסהיימר. הוא נתמנה לרבה של לייפציג בהיותו בן עשרים וכיהן בעיר זו 36 שנים, ויסד וניהל בה בית-ספר ריאלי גבוה לנערים ולנערות בישראל, עד עלותו ארצה בשנת תרצ"ז, שנה בה נפטר ברמת-גן. הוא חיבר מחקרים היסטוריים וספרי דרוש והלכה, והקים ואירגן קהילות ובתי-ספר ובתי-כנסיות רבים בעירו ובגלילותיה, והיה חבר ועד אגודת הרבנים הגרמנית.
בנו עזריאל קיבל ממנו את חינוכו התורני ובביתהספר שבהנהלתו את השכלתו הכללית. לא סיפקה אותו האוירה החרדית הגרמנית, ובהיותו בן ט"ו יצא על דעת עצמו לישיבות סלובודקה וטילז שבליטא, - הצעיר הראשון ממוצא גרמני-יהודי מובהק שגלה מזרחה למקום תורה להטמע בין יהודי מזרח-אירופה. בשובו מישיבות-ה"מוסר" הליטאיות, שהה קצרות בגרמניה וגמר את חוק לימודיו הכלליים, ובתרפ"ז עלה ארצה והיה כשנתיים תלמידו של הרב קוק בישיבת "מרכז הרב". אחרי-כן גמר את לימודיו במכללות ברלין והמבורג עם קבלת התואר ד"ר למשפטים.
בהיותו בן י"ג פירסם בשבועון הספרותי של יהודי גרמניה את סיפורו הראשון, ובהיותו תלמיד ביתהספר השתתף בעריכת השבועון הציוני בעיר מולדתו. בכל ימי לימודו בישיבות ובמכללות, בארץ- ישראל, בליטא ובגרמניה, השתתף בעתונים גרמניים-כלליים, ואחר שרכש לו ידיעת אידיש כתב גם בעתונים האידיים בליטא, - והיה עד היום יהודי-המערב הראשון והיחיד שתפס מקום בספרות ובפובליציסטיקה באידיש. משנת תרפ"ט ואילך התחיל לכתוב את מאמריו בעברית, גם בזה אחד הראשונים מבין יהודי גרמניה.
בתחילה היה איש הספרות היפה. בשנות פעולתו הראשונות היו רוב דבריו - בלטריסטיים. ב"פרס המספרים הגרמניים לשנת 1931" הוכתרה הנובילה שלו "יוסוף", המתארת את חיי העיר העתיקה בירושלים. באותן השנים הופיע קובץ סיפורים שלו "מיט 21" ובפסבדונימים "ל. גוטהלף", "א. אפריימוביץ'", "א. יעקבי" פירסם סיפורים קצרים רבים בעתונות הגרמנית היהודית והלאיהודית.
אולם בהדרגה התחילה העבודה הפובליציסטית על נושאים יהודיים-ציבוריים תופסת מקום בראש פעולתו. הוא פתח בסידרת מאמרים גדולה על חיי הישיבות בליטא, שנתפרסמה בירחון "מנורה" בוינה ב-1925, וכעבור זמן מה, עוד בטרם היותו בן עשרים, נעשה לסופר לענינים יהודיים של השבועון השמאלי רב-ההשפעה "די וולטביהנה", שנערך על-ידי קארל פון-אוסייצקי, בעל פרס-נובל לשלום. בן 21 נתמנה לעורך השבועון הנפוץ ביותר של יהדות גרמניה "איזראליטישס פאמיליינבלט", וכיהן במשרה זו עד עלות היטלר לשלטון. אז נאסר כאחד מבין 37 נתיני גרמניה הראשונים (ביניהם אוטו בראון, ראש ממשלת פרוסיה, איינשטיין וחמשה סופרים) שממשלת הנאצים מיהרה מיד בהגיעה להגה להכריז עליהם כעל "בוגדים" ולשלול מהם את אזרחותם הגרמנית. הוא התחמק והגיע לפולין ונתקבל לחבר-העורכים של ה"היינט" בוורשה. משם השתתף בקביעות ב"נובי דזעניק" (קרקוב), "בווילה" (לבוב), "אידישה שטימה" (קובנה) ו"פרימארגן" (ריגה) ולעתים מזומנות ב"סיאוודנה" (ריגה), "זלבסטווהר" (פראג), "מולט אש יאווי (בודפסט), "יודסקה טידנדן" (שטוקהולם), ופירסם מסות ב"ליטרארישה בלטר" (וורשה). סידרת מקירותיו השבועיות נתפרסמה באותן השנים כמדור-של-קבע בחשובי העתונים הציוניים באירופה, ביניהם "אוניוויראיסראליט" (פאריס), "טריבון ז'ואיב" (שטראסבורג), "איזר. ווכנבלט" (ציריך), "פריידאכאוונד" (אמסטרדם), "ז'ידוב" (זאגריב), "די שטימה" (וינה), "פאמיליינבלאט" (ברטיסלבה) ואחרים. בעבודה זו בעתונים היהודיים בשפות אירופה השונות המשיך גם בעברו בשנת 1934 מוורשה ללונדון, כדי לשמש שם עורך-ראשי של העתון האידי הוותיק ביותר באירופה, "די אידישה פוסט", וגם בשובו כעבור שנתיים (בתרצ"ו) לארץ-ישראל על מנת להשתקע בה. עד לפרוץ מלחמת העולם השניה שימש גם מארץ-ישראל כתב וחבר-המערכת של "היינט" ורוב יתר העתונים הנ"ל.
במסגרת הזאת תפסו מקום בפני עצמן עבודות ריפורטאז'ה גדולות, ובייחוד רשמי מסעותיו הממושכים בתפוצות ישראל. בשנים 1929 עד 1931 סייר בגלויות יהודי ספרד, פורטוגאל, מארוקו, אלג'יר, טוניס, לוב,