נמצא ברחוב יפו 91 פינת סמטת בורוכוב בבית היתומים הספרדי (קומה ראשונה).
בניין בית היתומים הספרדי שנחנך בשנת 1908 נתרם על ידי שתי משפחות בוכריות: ישכרוף ובורוכוף.  היו בו בתחילה שני בתי כנסת באגפו הצפוני: בקומה ראשונה היה בית כנסת קטן לימי החול ובקומה שניה בית כנסת גדול יותר לשבתות, מועדים והזדמנויות מיוחדות, והוא גם אירח את הנציב העליון הרברט סמואל לתפילות יום הכיפורים.
נוסף על שני בתי כנסת אלו הוקם בקומה ראשונה בית כנסת נוסף וגדול והשתמשה בו אגודת "ישורון" שלימים הקימה את בית הכנסת הגדול "ישורון".  כמה שנים לאחר שאגודת ישורון עזבה את המקום השתמשה בבית הכנסת אגודת "על המשמר".
בשנת 1924 הקים הרב יעקב מאיר (מחשובי הרבנים הספרדים, כיהן כ"ראשון לציון" המקביל לרב קוק האשכנזי) ישיבה בבית הכנסת הקטן שנקראה "אהל יעקב". שפעלה עד לפטירתו של הרב בשנת 1939.
בשנות ה – 20 במקביל להקמת הישיבה התמקם בבית הכנסת הקטן, בית כנסת של יוצאי סלוניקי שפעל בתחילה בבית פרטי ועבר לבית הכנסת הקטן שבבית היתומים.  יוצאי סלוניקי ישבו שם במשך כ – 30 שנה.
בשנת 1925 הוקמה אגודה דתית לאומית ספרדית.  האגודה לא החזיקה מעמד זמן רב והתפרקה.  בשנת 1937 קמה האגודה מחדש בשמה "על המשמר".  האגודה רצתה בית כנסת משל עצמה והיה זה בית הכנסת הגדול שבקומה ראשונה של בית היתומים.  וכך פעלו זה ליד זה שני בתי כנסת : הסלוניקאי וזה של "על המשמר".
בשנת 1955 לאחר ששני בתי הכנסת החלו להתדלדל החליטו להתאחד לבית כנסת אחד בשם "קהל ציון", כאשר בימי החול התפללו בבית הכנסת הקטן ובשבתות , חגים והזדמנויות מיוחדות בבית הכנסת הגדול, וזה המצב שמשתמר עד ימינו אנו, אבל עם קהל קטן יחסית.
4 פעמים בשנה יש לבית הכנסת הזה עדנה.  מסורת שהתחילה כמעט מהיום שהתחילו להתפלל בבניין נשמרת עד היום ולפיה ב – 4 שבתות מיוחדות בשנה מתקיימות במקום דרשות של חשובי הדרשנים ובעיקר של ה"ראשון לציון" .  ואלו הם השבתות: שבת שובה שלפני יום כיפור, שבת זכור שלפני פורים, שבת כלה שלפני חג שבועות ושבת הגדול שלפני פסח.  בשבתות אלה הומה המקום ואנשים מגיעים מכל רחבי העיר לשמוע את דרשת היום, ואולי בשבתות אלו ישנה הרגשה שזהו בית הכנסת שאמור היה להחליף את בית הכנסת הגדול על שם רבן יוחנן בן זכאי שבעיר העתיקה.