פתיחת קובץ CSV גדול

אופקים

משרד התחבורה העלה נתונים לכאן בקבצי CSV, מדובר בקבצים גדולים ששוקלים 400 מגה וכנראה חורגים ממספר השורות המריבי שנמצא בגיליון אקסל.
איך אני יכול לפתוח את הקבצים האלה?

yossiz

@אופקים
https://tchumim.com/post/110054

dovid

פנקס רשימות, או עורך טקסט ידידותי יותר כמו notepadd++.
אם לא מפחיד אתכם קוד תוכלו לפתוח גם את התוכנה Powershell (זמינה בלחיצה על לחצן ההתחלה של windows בימני של העכבר או ע"י Win+X),
שם תוכלו לכתוב ככה:

 Import-Csv "C:\Users\admin\Downloads\b0dc4281-5356-4e03-b2d8-8d431a831747.csv" -Delimiter | OGV

אופקים

@yossiz זה לא עוזר.
גם כי אי אפשר לנתח נתונים באמצעות התוכנה הזאת, וגם בגלל שבקבצים יש שדות בעברית וזה יוצא מעוות

אוריי

@אופקים
תנסה אולי ליבא את הקובץ דרך קוד vba
עם הקוד הזה
כמובן תפתח באקסל החדש גיליון בשם data

Sub ImportCSVFile()
'Updateby Extendoffice
    Dim xFileName As Variant
    Dim Rg As Range
    Dim xAddress As String
'    xFileName = Application.GetOpenFilename("CSV File (*.csv), *.csv", , "Kutools for Excel", , False)
'    If xFileName = False Then Exit Sub
xFileName = "C:\Users\Desktop\products1.csv"
    On Error Resume Next
'    Set Rg = Application.InputBox("please select a cell to output the data", "Kutools for Excel", Application.ActiveCell.Address, , , , , 8)
'    On Error GoTo 0
'    If Rg Is Nothing Then Exit Sub
'    xAddress = Rg.Address

    Sheets("data").Select
    Selection.ClearContents
    xAddress = "A1"
    With ActiveSheet.QueryTables.Add("TEXT;" & xFileName, Range(xAddress))
        .FieldNames = True
        .RowNumbers = False
        .FillAdjacentFormulas = False
        .PreserveFormatting = True
        .RefreshOnFileOpen = False
        .RefreshStyle = xlInsertDeleteCells
        .SavePassword = False
        .SaveData = True
        .RefreshPeriod = 0
        .TextFilePromptOnRefresh = False
        .TextFilePlatform = 1255
        .TextFileStartRow = 1
        .TextFileParseType = xlDelimited
        .TextFileTextQualifier = xlTextQualifierDoubleQuote
        .TextFileConsecutiveDelimiter = False
        .TextFileTabDelimiter = True
        .TextFileSemicolonDelimiter = False
        .TextFileCommaDelimiter = True
        .TextFileSpaceDelimiter = False
        .TextFileTrailingMinusNumbers = True
        .Refresh BackgroundQuery:=False
    End With
    End Sub

את העברית זה מסדר בוודאי השאלה היא האם הוא יצליח בגלל גודל הקובץ

אופקים

@dovid אמר בפתיחת קובץ CSV גדול:

Delimiter

מורכב מידי בשבילי

אופקים

@אוריי אני חושב שהבעיה העיקרית נעוצה בגודל של הקובץ

אוריי

@אופקים
תוכל ליבא אותו לאקסס אני אישית לא עשיתי ולא מצאתי בקלות קוד טוב שעובד
אולי מישהו ימצא לך כאן כזה קוד

dovid

@אוריי לא צריך שום קוד,
הייבוא לאקסס הרגיל יעשה יופי את העבודה.
בגלל התשובה שלך הלכתי גם לבדוק את הייבוא של אקסל:
פותחים קובץ חדש, בכרטסת נתונים > ייבוא CSV > שמה בוחרים את הקובץ ובקידוד בוחרים ב"ללא".
זה עובד מצויין אבל זה ממש שוחט את המחשב וגם לא טוען את הכל:

התוצאה של שאילתה זו גדולה מדי לטעינה למיקום שצוין בגליון העבודה. לגליונות עבודה יש מגבלה של 1,048,576 שורות ו- 16,384 עמודות. טען את השאילתה למודל הנתונים במקום זאת.

אבל באקסס לא יהיה את הבעיות האלו אבל כשניסיתי היו גם שגיאות ייבוא, אין לי פנאי להבין למה.

OdedDvir

@אופקים תוכל לייבא לאקסס ולייצא לאקסל.
תבחר את הקידוד המתאים UTF-8.
ניסיתי ~~בהצלחה~~ ליצור קובץ אקסל של שנת 2020 (כ- 86 MB) (עיין בפוסט הבא שלי)

אוריי

@אופקים
אתה יכול לייבא באקסס ע"י האשף של אקסס
כך

יש לבחור בקובץ טקסט
אח"כ לבחור את קובץ ה csv
וליבא
שים לב שכדי לייבא בעברית יש ללחוץ באשף על מתקדם
כאן

אח"כ
יש לבחור בקידוד הבא

לבחור בהפרדה ע"י פסיק או טאב

אח"כ לחץ על אחר ותכניס את הסימן הבא |

והנה צילום מסך מהתוצאה

בהצלחה

אוריי

@dovid אמר בפתיחת קובץ CSV גדול:

@אוריי לא צריך שום קוד,
הייבוא לאקסס הרגיל יעשה יופי את העבודה.
בגלל התשובה שלך הלכתי גם לבדוק את הייבוא של אקסל:
פותחים קובץ חדש, בכרטסת נתונים > ייבוא CSV > שמה בוחרים את הקובץ ובקידוד בוחרים ב"ללא".
זה עובד מצויין אבל זה ממש שוחט את המחשב וגם לא טוען את הכל:

התוצאה של שאילתה זו גדולה מדי לטעינה למיקום שצוין בגליון העבודה. לגליונות עבודה יש מגבלה של 1,048,576 שורות ו- 16,384 עמודות. טען את השאילתה למודל הנתונים במקום זאת.

(כעת אני גם רואה שמספר העמודות שגוי, למרות שבתוצאות הראשונות זה היה נראה טוב).

אבל באקסס לא יהיה את הבעיות האלו אבל כשניסיתי היו גם שגיאות ייבוא, אין לי פנאי להבין למה.

@odeddvir אמר בפתיחת קובץ CSV גדול:

@אופקים תוכל לייבא לאקסס ולייצא לאקסל.
תבחר את הקידוד המתאים UTF-8.
ניסיתי בהצלחה ליצור קובץ אקסל של שנת 2020 (כ- 86 MB)

עד שכתבתי כבר הגבתם שאפו

OdedDvir

@odeddvir אמר בפתיחת קובץ CSV גדול:

ניסיתי בהצלחה ליצור קובץ אקסל של שנת 2020 (כ- 86 MB)

אני מתקן את ההערה הקודמת.
הייבוא לאקסס הצליח, אבל הייצוא לאקסל - לא עובד. (עובד חלקית כי יש מגבלה של שורות (עד 1048576)
כפי הנראה יש הכרח לנרמל את הנתונים כדי לייצא לכמה טבלאות.

אוריי

@dovid אמר בפתיחת קובץ CSV גדול:

זה עובד מצויין אבל זה ממש שוחט את המחשב וגם לא טוען את הכל:

לא נתקלתי בשום שגיאה
לקח לו 3 שניות עד שהוא ייבא את כל הקובץ

וזה נראה שהוא הוסיף את כל השורות

תחומים - פורום חרדי מקצועי

פתיחת קובץ CSV גדול