AI לתיכנות אופליין

[מד]

האם יש איזה מודל של AI לתיכנות שאפשר להוריד ולעבוד אתו בלי חיבור לאינטרנט?
שאלתי את מר AI עצמו.. ונסתבכתי כהוגן.
אם יש למישהו נסיון בענין, נא לשתף איזה מודל עובד טוב שראוי להקדיש זמן לנסות אותו.
העדפה למודל שמדבר עברית, אבל לא מעכב.
בתודה מראש.

[צדיק תמים]

@מד לא ציינת מה מפרט המחשב שלך - GPU, ראם
המודלים הטובים הם גם כבדים

[מד]

לא חזק כ"כ..
Memory

8.0 GB

Speed:	2133 MHz
Slots used:	1 of 2
Form factor:	SODIMM
Hardware reserved:	113 MB

Available	2.8 GB
Cached	2.4 GB
Committed	6.1/10.6 GB
Paged pool	445 MB
Non-paged pool	239 MB
In use (Compressed)	5.1 GB (129 MB)

CPU

Intel(R) Core(TM) i5-6300U CPU @ 2.40GHz

Base speed:	2.50 GHz
Sockets:	1
Cores:	2
Logical processors:	4
Virtualisation:	Enabled
L1 cache:	128 KB
L2 cache:	512 KB
L3 cache:	3.0 MB

Utilisation	71%
Speed	2.89 GHz
Up time	0:16:27:47
Processes	213
Threads	2416
Handles	93093

GPU 0

Intel(R) HD Graphics 520

Driver version:	21.20.16.4542
Driver date:	24/10/2016
DirectX version:	12 (FL 12.1)
Physical location:	PCI bus 0, device 2, function 0

Utilisation	1%
Dedicated GPU memory	
Shared GPU memory	0.2/3.9 GB
GPU Memory	0.2/3.9 GB

[קומפיונט]

תנסה את TabbyML ניסיתי אותו בעבר ועושה את העבודה מצויין, לא חושב שזה יעבוד טוב בעברית.

רשימת מודלים נתמכים:
https://tabby.tabbyml.com/docs/models/

[יוסף בן שמעון]

@מד אין לך GPU תומך, יש לך מעט מאד זיכרון ומעבד יחסית חלש
קשה להאמין שתצליח להריץ מודל שפה על זה

[מד]

ראו זה פלא, המודולים הבאים עובדים מצויין במחשב החלש שלי (כמובן שלא מגיעים לקרסולי AI נורמלי אבל למקום שאין איש רובוט הם טובים מאוד)
gemma3:1b הטוב ביותר! גם מכיר עברית %90.
deepseek-r1:1.5b
phi3:mini
codellama:7b
הרצתי אותם באמצעות ollama.

@קומפיונט ניסיתי להתקין כפי ההוראות כאן ופגשתי בשגיאת 418 הידוע.. אך הנ"ל טוב לי.

[קומפיונט]

@מד הייתי בכל זאת ממליץ לך לנסות את tabby, זכור לי שהוא גם מבוסס על ollama והוא מציע לך ממשק web נוח לצ'אט והשלמות אוטומטיות ב - vscode.

לא ברור לי איפה פגשת את 418, אני לא נתקלתי בזה. אולי זה קשור להורדה של מודלים מסויימים.

אם אתה רוצה לנסות תוריד את זה: tabby_x86_64-windows-msvc-vulkan.zip

[מד]

@קומפיונט זה מה שעולה בשורת הפקודה:

C:\Users\User\Downloads\tabby_x86_64-windows-msvc-vulkan (1)\tabby_x86_64-windows-msvc-vulkan>tabby.exe serve --model StarCoder-1B --chat-model Qwen2-1.5B-Instruct --device cuda
Writing to new file.
File exists. Resuming.
File exists. Resuming.
The application panicked (crashed).
Message:  Failed to fetch model 'StarCoder-1B' due to 'Fetching 'https://huggingface.co/TabbyML/models/resolve/main/starcoderbase-1B.Q8_0.gguf' failed: Server returned HTTP status client error (418 I'm a teapot) for url (https://cdn-lfs-us-1.hf.co/repos/b8/59/b8596c1f6bafea5f6148f64b38391e867c08e0e726a8ce9e3581a6661a82c28e/1bb6441486d102db03dac30c82d6b1029ee4f9f5d73f27444fa58cbfcd7cfa0f?response-content-disposition=inline%3B+filename*%3DUTF-8%27%27starcoderbase-1B.Q8_0.gguf%3B+filename%3D%22starcoderbase-1B.Q8_0.gguf%22%3B&Expires=1747218501&Policy=eyJTdGF0ZW1lbnQiOlt7IkNvbmRpdGlvbiI6eyJEYXRlTGVzc1RoYW4iOnsiQVdTOkVwb2NoVGltZSI6MTc0NzIxODUwMX19LCJSZXNvdXJjZSI6Imh0dHBzOi8vY2RuLWxmcy11cy0xLmhmLmNvL3JlcG9zL2I4LzU5L2I4NTk2YzFmNmJhZmVhNWY2MTQ4ZjY0YjM4MzkxZTg2N2MwOGUwZTcyNmE4Y2U5ZTM1ODFhNjY2MWE4MmMyOGUvMWJiNjQ0MTQ4NmQxMDJkYjAzZGFjMzBjODJkNmIxMDI5ZWU0ZjlmNWQ3M2YyNzQ0NGZhNThjYmZjZDdjZmEwZj9yZXNwb25zZS1jb250ZW50LWRpc3Bvc2l0aW9uPSoifV19&Signature=VZt28OuqB7g0isoau9E13%7E9ipUfcWFObm72LYtS7oZQm9V-zILdumQ3mTML%7EMegpHxaiLzwLLgfjaS6GPXQftlh7TDmswVg848N1Atesu3UTTEK3DjJd5QxCtd8kqtrFVvIV5jHcIQeowNHCbfzTPrKjmb6S7NSzq5s7%7E0YveLMMcUvQ3L2wzzZqZE-ZsL14%7EAWilPCIhgVI6wx8bxh6x9aqK9MHPfaOrZPzD1sPFi9N39WNWdwh4fhwyZoZPS-hfIM813mZC78r8hL8Iyxc0Wfl-83wIMSUXBE7OI%7ESiM-ISXjNFb1F6igNWmi0sPwAMXBx99vHXAKFtjitgv7HRw__&Key-Pair-Id=K24J24Z295AEI9) HTTP status'
Location: D:\a\tabby\tabby\crates\tabby-download\src\lib.rs:210

Backtrace omitted. Run with RUST_BACKTRACE=1 environment variable to display it.
Run with RUST_BACKTRACE=full to include source snippets.

C:\Users\User\Downloads\tabby_x86_64-windows-msvc-vulkan (1)\tabby_x86_64-windows-msvc-vulkan>

וכשאני מסנה לגשת ישיר לאותו קישור שמופיע שמה מופיע: אופסס.. סוג הקובץ לא נתמך בסינון אוטומטי, אני לא שולח פניה כי בדיוק אתמול שלחתי פניה עבור מודל אחר ואמרו בזה"ל:

תוכל לפרט על המודל?
מדובר במודל של בינה מלאכותית שעונה לשאלות?
[אם כן אין אפשרות לפתוח]

עכל"ק

[קומפיונט]

@מד שים לב שיש שתי סוגי מודלים, המודל StarCoder-1B זה מודל שמיועד רק להשלמת קוד ולא לצ'אט, תציין להם את זה בפנייה ואולי יפתחו, המודל השני זה באמת LLM שמיועד לצ'אט בנושאי קידוד אבל יכול להיות שגם לעוד נושאים, אם gemma3 ו - deepseek-r1 כן יורדים לך דרך ollama אני לא רואה סיבה למה שזה יהיה חסום ממקומות אחרים.

חוץ מזה אתה צריך לשנות את הסוף של הפקודה מ device cuda-- ל device vulkan--

[מד]

@קומפיונט כתב בAI לתיכנות אופליין:

והוא מציע לך ממשק web נוח לצ'אט

זה יש גם ב-ollama באמצעות Simple Chatbot

והשלמות אוטומטיות ב - vscode.

זה יש ג"כ ב-ollama ישיר בגיטהוב קופילוט שב-vscode.

לא ברור לי איפה פגשת את 418, אני לא נתקלתי בזה. אולי זה קשור להורדה של מודלים מסויימים.

אמור לי בבקשה בדיוק איזה מודל אתה משתמש בה, כנראה אותו כבר נפתח בעבר.

---

@קומפיונט כתב בAI לתיכנות אופליין:

אם gemma3 ו - deepseek-r1 כן יורדים לך דרך ollama אני לא רואה סיבה למה שזה יהיה חסום ממקומות אחרים.

ollama ו-tabby הם שני תוכנות שונות שמורידים מודלים משני אתרים שונים ואין ביניהם שום קשר. עריכה: זה היתה טעות גדול.

[קומפיונט]

@מד אתה צודק, ollama יספיק לך, יש לו גם יותר מודלים שנתמכים.