בשנת 1904, בעקבות פוגרומים ברוסיה ובמזרח אירופה, החלו יהודים צעירים לעלות לארץ ישראל (תחילת העלייה השנייה) כשהם חדורי לאומיות וציונות. חלקם השתתפו בקבוצות הגנה עצמית יהודיות שהתארגנו בערים שבהן התרחשו פוגרומים. רבים מאנשים אלה השתייכו לתנועות פועלים סוציאליסטיות מהפכניות וציוניות.
מושבות העלייה הראשונה שהוקמו בין השנים 1884–1904, נקלעו לקשיים כלכליים, סכסוכי קרקעות, התנכלויות ומכת גנבות מצד השכנים הערביים. תושבי הארץ הערבים והשלטון העות'מני לא ראו בעין יפה את המתיישבים היהודים החדשים. היהודים בארץ נחשבו אז כמי שדמם מותר והם כונו "ואלאד אל מיתה". ברוב המושבות התבססה השמירה על ערבים וצ'רקסים שנחשבו מקצועיים, והעבודה החקלאית התבססה על כוח ערבי זול. לא אחת ניצלו השומרים את מעמדם לעשות ביישובים הצעירים כבשלהם ולהזיק לאיכרים באיומים, באלימות ובגזל.
בליל שמחת תורה, כ"א בתשרי תרס"ח (28 בספטמבר 1907), התקיימה בחדרו של יצחק בן-צבי ביפו אספת הייסוד של ארגון "בר גיורא", שהשתתפו בה תריסר אנשים. על הפרק עמדו שתי הצעות: לייסד תנועת שומרים ולהקים קבוצת רועים. רעיון כיבוש המרעה היה לשחרר את היישוב מתלות בגורמים זרים מקומיים ולהקנות לו תדמית חדשה של זקיפות קומה ואוטונומיה תחת השלטון הטורקי.
יצחק בן-צבי כתב: " אין גאולה לעמנו בארצו אלא אם יעבוד בידיו ויעמוד הוא עצמו על כבודו ועל קיומו..." חבריו אימצו את סיסמת ההגנה העצמית עוד מימי הפרעות ברוסיה "בדם ואש יהודה נפלה, בדם ואש יהודה תקום" (מתוך שיר הבריונים של יעקב כהן). כאן, קיבלה סיסמה זו משמעות מעשית. עקרונות המסדר החשאי "בר גיורא" היו: "שחרור העם והמולדת והקמת מדינה יהודית". החברים נשבעו אמונים למולדת, משמעת, מסירות, הקרבה עצמית וחברות. את דרכם בחרו להתחיל בסג'רה (אילניה שבגליל התחתון) בחווה החקלאית של יק"א שאותה ניהל אליהו קראוזה. שם הקימה מניה וילבושביץ (לימים, שוחט) את ה"קולקטיב" הראשון, אשר התבסס על ארגון פועלים קואופרטיבי חקלאי, שאנשיו חיו בשיתוף ולקחו על עצמם אחריות מלאה על מעשיהם והצלחותיהם.
בסג'רה שמר על החווה החקלאית שומר צ'רקסי. לילה אחד באו אנשי "בר גיורא" לפני שער החווה, ביקשו להיכנס, אך השומר נעדר מהמקום. משהבינו כי אין שומר ניצלו זאת לתחבולה, גנבו את פרדתו של קראוזה והחביאו אותה בחורשה ליד המושבה. הם התלוננו אצלו על הפקרת המקום והפצירו בו להפקיד בידיהם את השמירה על החווה במקומו של הצ'רקסי. קראוזה פיטר את השומר ונתן את השמירה היהודית הראשונה בחווה לידי צבי בקר. בעקבות ההצלחה ניתנה להם גם השמירה על המושבה סג'רה. בקיץ 1908, נחתם חוזה השמירה עם ועד המושבה במסחה (כפר תבור). בזכות הצלחתם במשימות השמירה במושבות גדל הצורך בשמירה יהודית במושבות הגליל התחתון. חברי "בר גיורא" החליטו על הקמת הסתדרות של שומרים והפיכת המסדר החשאי שלהם לארגון מוכר וחוקי תחת השלטון העות'מני. שם חדש ניתן לארגון – "השומר". אספת הייסוד של ארגון "השומר" התקיימה בכפר תבור בכ"א בניסן תרס"ט (12 באפריל 1909). באספה זו נקבעה תוכנית שהגדירה את מטרת הארגון: "לפתח בארצנו אלמנט של שומרים הראויים לעבודה זאת". התוכנית כללה את אופן התנהלותו של הארגון והדרך לקבלת חברים חדשים. בראש הארגון עמד ועד בן שלושה חברים. לוועד זה היו סמכויות חוקיות כבאי כוחו של הארגון לחתום על חוזי שמירה ועבודה מול המושבות שביקשו את עזרתם. בסוף 1912 היה "השומר" אחראי על ביטחון רוב המושבות למעט פתח תקווה וזכרון יעקב והארגון דחה פניות ממושבות קטנות עקב מחסור בכוח אדם מיומן.
"השומר" דבק בשמירה עברית לצד עבודה עברית ולא פעם דחה נטילת אחריות בשל אי קיום התנאים שבהם האמין. בד בבד עם פעולות השמירה והעבודה פנו חבריו להקמת התיישבויות יהודיות חדשות. כך היה ב-1909 לאחר שהקימו את "לגיון העבודה" שחלק מחבריו, יחד עם חלק מחברי "השומר", הקימו "קבוצת כיבוש" באדמות אום ג'וני, ולאחר ש"הקומונה החדרתית" התיישבה במקום התיישבות קבע, שונה שם המקום לדגניה – היא אם הקבוצות.
ב-1913, לאחר שעזר "השומר" בכיבוש אדמות כרכור, פנו להקמת מושב השומרים על אדמות תל-עדש בעמק יזרעאל, שלימים נקרא תל עדשים. מושב שומרים זה היווה בסיס לפעילות הארגון. באוקטובר 1916 פנתה קבוצת שומרים בראשותו של ישראל גלעדי, להקים התיישבות בגליל העליון. תחילה, התיישבו באדמת חמארה ולאחר מכן פנו להקמת כפר "בר גיורא" על שם הגרעין שממנו צמח "השומר". אך עם מותו של גלעדי שונה שמו של היישוב ל"כפר גלעדי", להנצחת זכרו ופועלו.
בתקופת מלה"ע הראשונה חדל הארגון באופן כמעט מוחלט מלפעול עקב רדיפות ומאסרים של חבריו. לאחר ניצחון הבריטים וכיבוש הארץ, התגייסו פעילי "השומר" לגדודים העבריים ולז'נדרמריה הבריטית. לארגון הצטרפו חברים חדשים, ביניהם אליהו גולומב ויצחק טבנקין, שטענו כי יש להעמיד את השמירה על היישוב בידי גוף רחב ועממי ולא לדבוק בארגון שומרים בעל אופי אליטיסטי. על רקע זה ומאורעות תל חי בי"א באדר תר"ף (1 במרס 1920), סיים "השומר" את פעילותו הרשמית והוקם ארגון ה"הגנה".
