בית הכנסת נמצא בשכונת אוהל משה ברחוב ר' אריה 31 פינת רחוב אהל משה.
תחילת בנייתו היתה בשנת 1883 והסתיימה כעבור 3 שנים.
ב"נחלאות" נבנו שתי שכונות עדתיות על מנת שינציחו את השר משה מונטיפיורי.  "אהל משה" היא השכונה הספרדית וכמובן שבית הכנסת הגדול שלה הוא לפי נוסח ספרד.  בתקנון נקבע (בין השאר) שיתפללו בו לפי הנוסח שהיה מקובל בבית הכנסת רבן יוחנן בן זכאי – הגדול מבין 4 בתי הכנסת הספרדים ברובע היהודי בעיר העתיקה.  אנשים ונשים מיוחדים מונו כדי להשגיח על מילוי התקנון הן בעזרת גברים והן בעזרת נשים.
בבית הכנסת עיטורים בדמות סמלי 12 השבטים המקומות הקדושים וסמלים יהודיים שונים מעשי ידיו של האמן גרשון כוכבי.
בית הכנסת עצמו נמצא בקומה שניה, כאשר בקומה ראשונה היו חדרי לימוד לילדים, התנור השכונתי והמקווה.  ביום יש שם דירות   ששייכות לבית הכנסת והשכרתן תורמת להחזקתו.  בחצר הקטנה של הדירה שבתחתית המדרגות אפשר לראות את בור המים, ומידי שנה בראש השנה הרבה אנשים צובאים דוקא על בור זה, למרות שבשכונה יש בורות נוספים, לאמירת תשליך – זו כוחה של מסורת.