{"guides":[{"id":"4fd8a79a-3a24-4d2b-9584-5908fc7a2694","unique_id":"local-llm-self-hosting-guide-feb2026","title":"Self-Hosting Local LLMs: Complete Guide","title_he":"הרצת מודלי AI מקומית על המחשב: מדריך מקיף","summary":"Everything you need to know before running AI models locally - hardware, privacy, prompting, and realistic expectations.","summary_he":"כל מה שצריך לדעת לפני שמריצים מודלי AI מקומית - חומרה, פרטיות, פרומפטינג וציפיות ריאליסטיות.","long_content":null,"slug":"local-llm-self-hosting-guide","curation_note":"מדריך חיוני לכל מי שרוצה להריץ AI מקומית. מציג ציפיות ריאליסטיות ומדריך מעשי.","tool_name":"Ollama","feature_name":"Local LLM Self-Hosting","difficulty_level":"בינוני","topics":["Local LLM","Ollama","Self-Hosting","Privacy","Hardware"],"url":"https://www.xda-developers.com/things-i-wish-someone-had-told-me-before-i-tried-self-hosting-a-local-llm/","sources":null,"language":"עברית","created_at":"2026-02-09T22:17:06.050501+00:00","updated_at":"2026-02-09T22:17:06.050501+00:00","section":"complete","section_order":1,"section_title":"Complete Guide","section_title_he":"מדריך מקיף","long_content_he":"# הרצת מודלי AI מקומית על המחשב\n\nAI מקומי חצה את הסף מ\"צעצוע מגניב\" ל\"כלי שימושי באמת\" בזכות מודלים דחוסים (quantized) ותוספים שמפתיעים ביכולות שלהם, גם על חומרה צנועה.\n\n---\n\n## 🖥️ חומרה: ה-GPU הוא לא צוואר הבקבוק שחשבתם\n\nכשמדברים על LLM מקומי, השיחה מיד נופלת ל\"כמה VRAM יש לך\". אבל בפועל, זה רק חלק מהתמונה:\n\n- **מודל 7B ב-Q4/Q5** נכנס בנוחות גם ב-GTX 1070\n- **צוואר הבקבוק האמיתי**: רוחב פס של זיכרון (memory bandwidth) ועומס CPU\n- **מהירות דיסק חשובה** - טעינת מודלים של מספר GB מדיסק איטי = המתנה מתסכלת\n- **SSD עם PCIe Gen 3** ומעלה מומלץ מאוד\n\n**טיפ:** כרטיס גרפי ישן למשחקים מסוגל יותר ממה שאתם חושבים!\n\n---\n\n## 🔒 מקומי לא תמיד אומר פרטי\n\nאחת הסיבות העיקריות להרצה מקומית היא פרטיות - אין prompts שיוצאים מהרשת שלכם. **אבל זה נכון רק אם אתם זהירים:**\n\n- הרבה ממשקים מקומיים פופולריים מחזירים תלויות ענן בשקט: בדיקות עדכונים, embedding APIs, מערכות תוספים, אנליטיקס\n- קל מאוד לחשוף בטעות את ה-UI לרשת דרך reverse proxy\n- חשבו היכן השיחות נשמרות, כמה זמן הן נשארות, ומי יכול לגשת\n\n**כלל: אם המטרה היא פרטיות - בדקו כל רכיב בשרשרת!**\n\n---\n\n## ✍️ פרומפטינג חשוב הרבה יותר\n\nמודלים ענקיים בענן (ChatGPT, Claude) יכולים להסתדר עם פרומפטים מעורפלים כי יש להם שכבות fine-tuning שמפצות. **מודלים מקומיים קטנים - לא.**\n\n- **מודל 7B עם פרומפט טוב** ירגיש חד ואמין יותר ממודל 13B עם פרומפט גרוע\n- **System prompts קריטיים** - אין שכבת כיול מוסתרת שמפצה על הוראות מעורפלות\n- היו ספציפיים ומדויקים במה שאתם מבקשים\n\n---\n\n## ⚖️ זה לא תחליף 1:1 למנוי\n\nגם אם תריצו מספר GPUs חזקים עם מודל ענק - זה עדיין זעיר בהשוואה למה שחברות כמו OpenAI ו-Anthropic בנו. **וזה בסדר.**\n\n### איפה מודל מקומי כן מצטיין:\n- ✅ עוזר פרטי זמין תמיד\n- ✅ סיכום מסמכים\n- ✅ חיפוש בקבצים מקומיים\n- ✅ עזרה בסקריפטים\n- ✅ לוח תהודה לרעיונות\n- ✅ שליטה מלאה שלכם\n\n### איפה הוא לא מספיק:\n- ❌ משימות מורכבות שדורשות reasoning עמוק\n- ❌ יצירת קוד מורכב\n- ❌ ניתוח מסמכים ארוכים (חלון קונטקסט מוגבל)\n\n---\n\n## 🚀 איך מתחילים?\n\n### שלב 1: התקנת Ollama (הדרך הקלה ביותר)\n```bash\ncurl -fsSL https://ollama.com/install.sh | sh\n```\n\n### שלב 2: הורדת מודל\n```bash\n# מודל קל ומהיר (מומלץ להתחלה)\nollama pull llama3.2:3b\n\n# מודל חזק יותר (צריך 8GB+ VRAM)\nollama pull deepseek-r1:8b\n\n# מודל עברית/רב-לשוני\nollama pull qwen2.5:7b-instruct\n```\n\n### שלב 3: שימוש\n```bash\n# צ׳אט בטרמינל\nollama run llama3.2:3b\n\n# או חברו ל-Open WebUI לממשק גרפי\ndocker run -d -p 3000:8080 ghcr.io/open-webui/open-webui:main\n```\n\n### דרישות חומרה מינימליות\n| מודל | VRAM | RAM | דוגמאות GPU |\n|------|------|-----|------------|\n| 3B (Q4) | 2-3 GB | 8 GB | GTX 1060, RX 580 |\n| 7B (Q4) | 4-5 GB | 16 GB | GTX 1070, RTX 2060 |\n| 13B (Q4) | 8-10 GB | 16 GB | RTX 3070, RTX 4060 |\n| 70B (Q4) | 40+ GB | 64 GB | 2x RTX 3090 |\n\n---\n\n## 💡 השורה התחתונה\n\nAI מקומי מתגמל סבלנות יותר מחומרה חזקה. אם אתם מצפים לשחזר את חוויית ChatGPT - תתאכזבו. אם אתם מתייחסים לזה כמו לכל תשתית self-hosted - משהו לא מושלם, ניתן להתאמה, ותלוי באיך שמשתמשים בו - זה מתחיל להיות הגיוני מאוד.\n\n[מקור: Ty Sherback - XDA Developers](https://www.xda-developers.com/things-i-wish-someone-had-told-me-before-i-tried-self-hosting-a-local-llm/)"}],"total":1,"limit":null,"offset":0,"next_cursor":null}