שליפת כל המשפטים בעברית מתוך קובץ PHP

[nigun]

יש לי קובץ PHP שבניתי ל API לימות המשיח
שכולל בתוכו הרבה מילים בעברית להקראה האוטומטית בטלפון
עכשיו אני רוצה לעשות רשימה מסודרת של ההודעות מערכת
האם יש איזהו תוכנה שתסדר לי רשימה של כל המשפטים בעברית?

[yossiz]

@nigun
regex?

[nigun]

@yossiz
מצאתי סקריפט בPHP ששולף את כל המילים בעברית אבל
א) אני רוצה שזה יחלק למשפטים
ב) איך אני מכניס לתוכו טקסט שהוא בעצם סקריפט של PHP
זה הסקריפט שלי

<?php
$input = "גככדגכfgfdgfdsgכגעיכדיעכ";
preg_match_all( "/[\\x{0590}-\\x{05FF}]+/u", $input, $matches );

echo '<pre>';
print_r( $matches );
echo '</pre>';
?>

[yossiz]

@nigun לא הבנתי למה אתה עובד עם סקריפטים
כל עורך טקסט ממוצע ומעלה אמור להצליח במשימה

[nigun]

@yossiz
אני מנסה לכתוב בnotepad++

/[\\x{0590}-\\x{05FF}]+/u

וזה לא עובד

[משחזר מידע]

למה אתה מתחיל מ 0x0590 עד 0x05FF ?
יוניקוד אלפא בית מתחיל מ 0x05D0 ועד 0x05EA

[nigun]

@משחזר-מידע
כי זה הקוד שראיתי בstackoverflow

[משחזר מידע]

@nigun אמר בשליפת כל השפטים בעברית מתוך קובץ PHP:

כי זה הקוד שראיתי בstackoverflow

אוקיי נניח (בכלל מאתיים, מנה) מ 0590 ועד 05D0 זה סימנים
https://en.wikipedia.org/wiki/Unicode_and_HTML_for_the_Hebrew_alphabet

[משחזר מידע]

@nigun אמר בשליפת כל השפטים בעברית מתוך קובץ PHP:

אני מנסה לכתוב בnotepad++

אולי notepad++ עובד על ascii (?!) (או HEX)

[nigun]

@משחזר-מידע
גם בויזואל סטודיו זה לא מוצא כלום

[משחזר מידע]

לך על HEX
הכי פשוט

[משחזר מידע]

@nigun אמר בשליפת כל השפטים בעברית מתוך קובץ PHP:

כי זה הקוד שראיתי בstackoverflow

תעלה ת'לינק לשמה

[yossiz]

@nigun אמר בשליפת כל השפטים בעברית מתוך קובץ PHP:

אני מנסה לכתוב בnotepad++
/[\x{0590}-\x{05FF}]+/u

וזה לא עובד

כי זה לא regex תקין. (ה-/ בהתחלה וסוף הוא לא חלק משפת regex אלא שפת PHP, הכפילות של ה-\\ גם נצרך רק ב-PHP, ה-u בסוף הוא דגל שגם לא חלק מה-regex)
זה תקין, אם כי יכול להיות שזה לא יעשה בדיוק מה שאתה רוצה...

[\x{0590}-\x{05FF} ]+

[dovid]

אפשר לכתוב א-ת בלי להבין הרבה באקסדצימלית, ושים לב לסמן למטה Regular Expression

[nigun]

@yossiz אמר בשליפת כל השפטים בעברית מתוך קובץ PHP:
עושה בדיוק מה שאני רוצה
(דהיינו מוצא משפטים שלמים)
אבל אני רוצה משהו כמו סקריפט שיוציא לי באופן מסודר את הכל
ניסיתי לכתוב משהו בפייתון אבל הסתבכתי עם הקידוד
האם זה הכיוון?

import re

string = unicode('אבגד', 'utf-8')
pattern = '[\x{0590}-\x{05FF} ]+'
result = re.findall(pattern, string) 

print(result)

[yossiz]

@nigun אמר בשליפת כל השפטים בעברית מתוך קובץ PHP:

עושה בדיוק מה שאני רוצה

מקווה שזה נכון למרות שלא נראה לי...
לדוגמה:

אבל אני רוצה משהו כמו סקריפט שיוציא לי באופן מסודר את הכל

עדיין אין צורך בסקריפט, אפשר ב-vscode כך:

• ctrl+f [א-ת ]+
• ctrl+shift+l (בוחר כל המופעים)
• ctrl+c
• ctrl+n
• ctrl+v

ניסיתי לכתוב משהו בפייתון אבל הסתבכתי עם הקידוד

import re
 
string = u'\u05d0\u05d1\u05d2\u05d3 abc \u05d4\u05d5\u05d6\u05d7' # 'אבגד abc הוזח'
pattern = u'[\u05d0-\u05ea ]+' # '[א-ת ]+'
result = re.findall(pattern, string) 
 
print(result)

[nigun]

@yossiz
מצויין
עכשיו איך אני מסנן את כל הרווחים שהם לא בין מילים בעברית
עריכה: שמתי הכל באקסל ומיינתי מהגדול לקטן
אבל אולי יש דרך יותר חכמה

[yossiz]

@nigun האם המחרוזות ממוסגרות על ידי גרש או גרשיים?
אם כן, חפש:

[\'\"].*[א-ת].*[\'\"]

[nigun]

@yossiz
אני רואה שזה נושא ששווה ללמוד קצת יותר לעומק
מצאתי את זה
האם אתה ממליץ על זה או שעדיף להתחיל עם משהו יותר פשוט?

[yossiz]

@nigun אם אתה לא מכיר את הנושא ודאי שווה ללמוד אותו

דרך אגב, ה-regex שכתבתי למעלה לא טוב (כי הוא "רעבתני" מדי...)
ניסיתי כך:

['"].*?[א-ת].*?['"]

ועדיין לא עובד. אני לא מבין למה.
ה-? אמור למגר את ה"רעבתנות". אבל הוא לא...

אולי @dovid יכול לשפוך אור על הנושא.
עריכה: הבנתי למה לא עובד. אבל עדיין לא יודע איך כן אפשר לכתוב אותו
עריכה2: זה עובד:

['"][^"']*[א-ת][^"']*['"]

למעשה זה עדיין נכשל במקרים מסויימים אבל נראה לי שלטפל בזה מגרד את גבולות היכולת של regex-ים.

@nigun אמר בשליפת כל השפטים בעברית מתוך קובץ PHP:

או שעדיף להתחיל עם משהו יותר פשוט

לא נראה לי, זה לא נושא כל כך ענקי.

כאן יש אתר כיפי להתאמן

[שואף]

בדיוק לפני שבוע בניתי פונקציה (אסטריסק) שתשלוף את כל המשפטים בעברית, ושלוחה להקלטת כל המשפטים האלה לקריינות אנושית.
מכיוון שהיו גם טקסטים בעברית שלא צריכים קריינות (לדוגמא טקסט שנשלח במייל), אז ההגדרה היא שמה שמוקף במרכאות נקלט, ומה שבמרכאות כפולות לא.

		preg_match_all("#'(\p{Hebrew}.*)'#uisU", file_get_contents($script), $m);

[dovid]

["']([,.:?א-ת]+\s*)*["']

[שואף]

לא זוכר בדיוק, אבל הPHP לא מקבל תווים בעברית בREGEX.
גם אני עשיתי ככה בהתחלה ולא קיבל

[dovid]

@שואף לא דיברתי על php.

[nigun]

@yossiz
המדריך ההוא משתמש באתר הזה
ונראה לי שהוא נותן אופציות יותר מתקדמות

[חוקר]

@yossiz אמר בשליפת כל המשפטים בעברית מתוך קובץ PHP:

עדיין אין צורך בסקריפט, אפשר ב-vscode כך:

ctrl+f [א-ת ]+
ctrl+shift+l (בוחר כל המופעים)
ctrl+c
ctrl+n
ctrl+v

בPHPSTORM אני לא מצליח לבחור את כל המופעים, יש למישהו מידע איך ניתן לעשות את זה שם?

[nigun]

@חוקר
אולי Ctrl+Alt+Shift+J
ככה הבנתי מכאן

[חוקר]

@nigun אמר בשליפת כל המשפטים בעברית מתוך קובץ PHP:

אולי Ctrl+Alt+Shift+J

עובד!