שכונת אבן ישראל נבנתה בשנת 1875 ולא היה לה בית כנסת יעודי. האנשים כנראה התפללו בבית פרטי או בבית הכנסת "בית אברהם" שבשכונת משכנות ישראל הסמוכה. בשלט ההנצחה בבית הכנסת נאמר שהתורם – צבי אריה לונסקי הכהן, הקדיש את ביתו עוד בחייו והוא נפטר בשנת 1890, כלומר בית הכנסת הוקדש בשנות ה – 80 של המאה ה – 19. בית הכנסת למעשה היה בית פרטי ובעבר הוא חולק לשני חדרים – האחד צמוד לשני. כיום זה אולם אחד ארוך. הספריה וחדר הלימוד כנראה שימשו כמטבח שממנו יצאו אל חצר קטנה הקיימת עד היום. הכניסה אל הבית ואל בית הכנסת היתה מהחצר של שכונת אבן ישראל, אבל כיום הכניסה אליו מרחוב אגריפס. נוסח התפילה נשמר עד היום כמו שהיה בתחילתו של בית הכנסת וכפי שמצוין על שלט ההקדשה – נוסח האשכנזי פרושי (נוסח אשכנז), למרות שהאוכלוסיה בשכונה השתנתה ורובה היתה ספרדית. בית הכנסת כיום פעיל וכל התפילות נערכות בו, הן בחול והן בשבת.
