תחילתו של השוק בסוף המאה ה – 19 כאשר פלאחים ערבים מהכפרים הסמוכים לירושלים הציעו את מרכולתם לתושבי השכונות הרחוקות מהעיר העתיקה.  הפלחים מכרו במגרש ליד שכונת בית יעקב שהיה שייך לבנקאי חיים אהרון ולרו.
לא היה זה שוק מסודר אלא אוסף של בקתות עשויות מעץ ופחים ובעיות התברואה בשוק היו קשות.
כאשר הגיעו הבריטים ביקש מושל ירושלים רונלד סטורס מהאדריכל צ'רלס רוברט אשבי לתכנן שוק מודרני שיפתור את הבעיות של השוק המאולתר, אבל תכניתו לא יצאה לפועל והשוק המשיך במתכונתו הישנה.
פרעות של תחילת שנות ה – 20 גרמו לריבוי הקונים היהודיים שחששו ללכת לעיר העתיקה ולשינוי במוכרים הערבים שהפסיקו לבוא ובמקומם הגיעו מוכרים יהודים.
בשלב זה בנתה ישיבת עץ חיים כ – 40 חנויות בקצה המגרש שלה אבל עיקר השוק המשיך לעבוד במתכונתו המאולתרת כמקודם תוך כדי עימותים עם המוכרים המסודרים ועם השלטונות הבריטיים.
ועד העיר ירושלים עזר למוכרים ובנה 4 שורות חנויות ברחובות התפוח והאגס בהם רוב המוכרים היו מהעדה הפרסית וביניהם משפחת בנאי.
אבל למרות זאת לצד המוכרים המסודרים ששילמו מיסים ודאגו לתנאים סניטריים המשיכו המוכרים בסככות שלא שילמו מיסים ולא דאגו לניקיון, למכור ובמחירים יותר זולים, וכמובן שזה גרם להתמרמרות גדולה אצל המוכרים המסודרים.

בשנת 1931 בעזרת בנק הלואה וחיסכון נבנו עוד חנויות בדרומו של השוק שנקראו "שוק הלואה וחיסכון", ושנה לאחר מכן נבנה השוק העירקי (שרוב הרוכלים בו היו מתפוצה זו) ממערב לשוק הישן.
בשנות ה – 40 נבנו חנויות נוספות ליד החנויות של ישיבת עץ חיים, והפעם ביזמת בית ספר כי"ח.במשך השנים גדל השוק והתרחב וגם האופי שלו השתנה שכן הוא מושך אליו גם בתי קפה, חנויות יקרות ואפילו פבים הפועלים בעיקר בלילות (בעיקר חמישי ומוצאי שבת) לשמחת האוכלוסיה היותר צעירה.
להרחבה באתר "אהבת ירושלים" מאמר: "שוק מחנה יהודה".