בית הכנסת נמצא ברחוב מיוחס 10 בשכונת
"שערי שלום" הסמוכה לשכונת
"מחנה יהודה"
את בית הכנסת הקים הסוחר יצחק בן יצחק רפאלי מהעיר בושהיר שבפרס, שגדל, לאחר שהתייתם מאביו, בבית דודו ראובן בן אליהו רפאלי. הדוד נפטר בשנת 1893 ובאותה שנה גם נבנה בית הכנסת בקומה שניה של מבנה בשכונה הקטנה "שערי שלום" ונקרא על שם הדוד. רק בשנים הראשונות התפללו בבית הכנסת לפי נוסח בושהיר אחר כך קהל המתפללים, שהיה מעדות שונות קבע את נוסח התפילה, מה גם שבשכונת זכרון טוביה הוקם בשנת 1904 בית כנסת לעדה זו. רפאלי לא עלה לארץ בתחילה, ומינה אנשים להפעיל את בית הכנסת. בין אנשים אלה פרצו סיכסוכים חריפים ורפאלי עירב את ה"ראשון לציון" הרב יעקב שאול אלישר. גם הקונסול הפרסי היה מעורב והוא אף סגר את בית הכנסת לתקופה מסוימת. לאחר כמה שנים עלה רפאלי והוא החזיר את השקט על כנו. מבושהיר נשלחו גם תשמישי קדושה לבית הכנסת. בשנות ה – 20 הקים יצחק בן יצחק בית כנסת נוסף עבור עולי בושהיר שבפרס והוא נקרא "בית כנסת צעירי פרס" ונמצא ברחוב אגריפס.
בשנות ה – 50 נערכו שיפוצים מקיפים בבית הכנסת. משך השנים המקום שינה את אפיו והתאים אותו לתושבים המתחלפים של השכונה. כיום פועל במקום כולל חרדי ותפילות בנוסח הספרדי מתקיימים בשבתות ומועדים.