AI לתיכנות אופליין

מד

האם יש איזה מודל של AI לתיכנות שאפשר להוריד ולעבוד אתו בלי חיבור לאינטרנט?
שאלתי את מר AI עצמו.. ונסתבכתי כהוגן.
אם יש למישהו נסיון בענין, נא לשתף איזה מודל עובד טוב שראוי להקדיש זמן לנסות אותו.
העדפה למודל שמדבר עברית, אבל לא מעכב.
בתודה מראש.

צדיק תמים

@מד לא ציינת מה מפרט המחשב שלך - GPU, ראם
המודלים הטובים הם גם כבדים

מד

לא חזק כ"כ..
Memory

8.0 GB

Speed:	2133 MHz
Slots used:	1 of 2
Form factor:	SODIMM
Hardware reserved:	113 MB

Available	2.8 GB
Cached	2.4 GB
Committed	6.1/10.6 GB
Paged pool	445 MB
Non-paged pool	239 MB
In use (Compressed)	5.1 GB (129 MB)

CPU

Intel(R) Core(TM) i5-6300U CPU @ 2.40GHz

Base speed:	2.50 GHz
Sockets:	1
Cores:	2
Logical processors:	4
Virtualisation:	Enabled
L1 cache:	128 KB
L2 cache:	512 KB
L3 cache:	3.0 MB

Utilisation	71%
Speed	2.89 GHz
Up time	0:16:27:47
Processes	213
Threads	2416
Handles	93093

GPU 0

Intel(R) HD Graphics 520

Driver version:	21.20.16.4542
Driver date:	24/10/2016
DirectX version:	12 (FL 12.1)
Physical location:	PCI bus 0, device 2, function 0

Utilisation	1%
Dedicated GPU memory	
Shared GPU memory	0.2/3.9 GB
GPU Memory	0.2/3.9 GB

קומפיונט

תנסה את TabbyML ניסיתי אותו בעבר ועושה את העבודה מצויין, לא חושב שזה יעבוד טוב בעברית.

רשימת מודלים נתמכים:
https://tabby.tabbyml.com/docs/models/

יוסף בן שמעון

@מד אין לך GPU תומך, יש לך מעט מאד זיכרון ומעבד יחסית חלש
קשה להאמין שתצליח להריץ מודל שפה על זה

מד

ראו זה פלא, המודולים הבאים עובדים מצויין במחשב החלש שלי (כמובן שלא מגיעים לקרסולי AI נורמלי אבל למקום שאין ~~איש~~ רובוט הם טובים מאוד)
gemma3:1b הטוב ביותר! גם מכיר עברית %90.
deepseek-r1:1.5b
phi3:mini
codellama:7b
הרצתי אותם באמצעות ollama.

@קומפיונט ניסיתי להתקין כפי ההוראות כאן ופגשתי בשגיאת 418 הידוע.. אך הנ"ל טוב לי.

קומפיונט

@מד הייתי בכל זאת ממליץ לך לנסות את tabby, זכור לי שהוא גם מבוסס על ollama והוא מציע לך ממשק web נוח לצ'אט והשלמות אוטומטיות ב - vscode.

לא ברור לי איפה פגשת את 418, אני לא נתקלתי בזה. אולי זה קשור להורדה של מודלים מסויימים.

אם אתה רוצה לנסות תוריד את זה: tabby_x86_64-windows-msvc-vulkan.zip

מד

@קומפיונט זה מה שעולה בשורת הפקודה:

C:\Users\User\Downloads\tabby_x86_64-windows-msvc-vulkan (1)\tabby_x86_64-windows-msvc-vulkan>tabby.exe serve --model StarCoder-1B --chat-model Qwen2-1.5B-Instruct --device cuda
Writing to new file.
File exists. Resuming.
File exists. Resuming.
The application panicked (crashed).
Message:  Failed to fetch model 'StarCoder-1B' due to 'Fetching 'https://huggingface.co/TabbyML/models/resolve/main/starcoderbase-1B.Q8_0.gguf' failed: Server returned HTTP status client error (418 I'm a teapot) for url (https://cdn-lfs-us-1.hf.co/repos/b8/59/b8596c1f6bafea5f6148f64b38391e867c08e0e726a8ce9e3581a6661a82c28e/1bb6441486d102db03dac30c82d6b1029ee4f9f5d73f27444fa58cbfcd7cfa0f?response-content-disposition=inline%3B+filename*%3DUTF-8%27%27starcoderbase-1B.Q8_0.gguf%3B+filename%3D%22starcoderbase-1B.Q8_0.gguf%22%3B&Expires=1747218501&Policy=eyJTdGF0ZW1lbnQiOlt7IkNvbmRpdGlvbiI6eyJEYXRlTGVzc1RoYW4iOnsiQVdTOkVwb2NoVGltZSI6MTc0NzIxODUwMX19LCJSZXNvdXJjZSI6Imh0dHBzOi8vY2RuLWxmcy11cy0xLmhmLmNvL3JlcG9zL2I4LzU5L2I4NTk2YzFmNmJhZmVhNWY2MTQ4ZjY0YjM4MzkxZTg2N2MwOGUwZTcyNmE4Y2U5ZTM1ODFhNjY2MWE4MmMyOGUvMWJiNjQ0MTQ4NmQxMDJkYjAzZGFjMzBjODJkNmIxMDI5ZWU0ZjlmNWQ3M2YyNzQ0NGZhNThjYmZjZDdjZmEwZj9yZXNwb25zZS1jb250ZW50LWRpc3Bvc2l0aW9uPSoifV19&Signature=VZt28OuqB7g0isoau9E13%7E9ipUfcWFObm72LYtS7oZQm9V-zILdumQ3mTML%7EMegpHxaiLzwLLgfjaS6GPXQftlh7TDmswVg848N1Atesu3UTTEK3DjJd5QxCtd8kqtrFVvIV5jHcIQeowNHCbfzTPrKjmb6S7NSzq5s7%7E0YveLMMcUvQ3L2wzzZqZE-ZsL14%7EAWilPCIhgVI6wx8bxh6x9aqK9MHPfaOrZPzD1sPFi9N39WNWdwh4fhwyZoZPS-hfIM813mZC78r8hL8Iyxc0Wfl-83wIMSUXBE7OI%7ESiM-ISXjNFb1F6igNWmi0sPwAMXBx99vHXAKFtjitgv7HRw__&Key-Pair-Id=K24J24Z295AEI9) HTTP status'
Location: D:\a\tabby\tabby\crates\tabby-download\src\lib.rs:210

Backtrace omitted. Run with RUST_BACKTRACE=1 environment variable to display it.
Run with RUST_BACKTRACE=full to include source snippets.

C:\Users\User\Downloads\tabby_x86_64-windows-msvc-vulkan (1)\tabby_x86_64-windows-msvc-vulkan>

וכשאני מסנה לגשת ישיר לאותו קישור שמופיע שמה מופיע: אופסס.. סוג הקובץ לא נתמך בסינון אוטומטי, אני לא שולח פניה כי בדיוק אתמול שלחתי פניה עבור מודל אחר ואמרו בזה"ל:

תוכל לפרט על המודל?
מדובר במודל של בינה מלאכותית שעונה לשאלות?
[אם כן אין אפשרות לפתוח]

עכל"ק

תחומים - פורום חרדי מקצועי

AI לתיכנות אופליין