בית הכנסת נמצא בשכונת אהל משה ברחוב הגלבוע 3.
למעשה שמו של בית הכנסת כפי שנכתב על השלט שלו – "בית אברהם ואהל שרה" והוא הוקם בשנת תרפ"ה (1925) כבית כנסת של עולי ינינא שביוון.  אברהם ושרה עלו מינינא לאחר מלחמת העולם הראשונה ובשנת תרפ"ה נפטר אברהם.  אז החליטה שרה להקדיש את ביתה כבית כנסת והיא התגוררה בחדר ליד בית הכנסת עד ליום פטירתה בשנת תרצ"ט (1939).
ליהודי ינינא היה נוסח תפילה מיוחד ומתפללי בית הכנסת בתחילת דרכו שמרו על הנוסח הזה.  לימים עלו לירושלים שרידי הקהילה שהגיעו לאחר השואה מתוך קהילה שרובה הושמד, והם הצטרפו לקהילה הקטנה שכבר היתה בירושלים.  כיום נעלמו המנהגים והנוסח כמעט לחלוטין ובבית הכנסת מתפללים בנוסח ספרדי ירושלמי.