תחומים - פורום חרדי מקצועי

trew

הוא עורך נהדר ואני משתמש בו כל הזמן
אני מאוד אוהב לכתוב בו markdown

בכל אופן הוא לא כמו IDE, אני מנסה לכתוב איתו בפייתון והוא נותן השלמה אוטומטית בערך, בחלק מהספריות הוא בכלל לא נותן.
בקיצור אכן עורך מעולה ששווה לעקוב אחריו (גרסה פעם בחודש?).

פורסם במקור בפורום CODE613 ב11/08/2017 16:47 (+03:00)

trew

באותו רעיון אני ממליץ לך לשים אותו על raspberry pi כל עוד אין לך כמות גדולה של גולשים והאתר לא מספק קבצים להורדה זה יוכל לעבוד נהדר.
https://www.raspberrypi.org/

פורסם במקור בפורום CODE613 ב12/05/2017 12:53 (+03:00)

trew

זה אולי משחרר את הבעיה
רק שים לב שלתת הרשאות כל כך גבוהות למיקום הזה הוא לא הדבר המומלץ לעשות.

פורסם במקור בפורום CODE613 ב29/03/2017 14:40 (+03:00)

trew

פרוג שידרגו את האתר שלהם חסדי הקל
תוכל לקבל json עם פוסטים חדשים, כתבתי את רוב הסקריפט העבודה שנשארה יחסית קטנה.

תהנה

#!/usr/bin/python3

import requests
import time
import json

def getUpdate():
    with requests.Session() as s:
        url = 'http://www.prog.co.il/activity/get'
        headers = {'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/39.0.2171.95 Safari/537.36',
                    'Accept': 'application/json, text/javascript, */*; q=0.01',
                    'Content-Type': 'application/x-www-form-urlencoded; charset=UTF-8',
                    'X-Requested-With': 'XMLHttpRequest'}
        params = {"filters[nodeid]":0,
                   "filters[view]":"activity",
                   "filters[per-page]":10,
                   "filters[pagenum]":1,
                   "filters[maxpages]":20,
                   "filters[userid]":"0",
                   "filters[showChannelInfo]":1,
                   "filters[filter_time]":"time_lastmonth",
                   "filters[filter_show]":"show_all",
                   "filters[filter_new_topics]":1,
                   "isAjaxTemplateRender":"true",
                   "isAjaxTemplateRenderWithData":"true",
                   "securitytoken":"replace with your security token"}
        resp = s.post(url, data=params, headers=headers).json()
    return checkUpdate(resp)

def checkUpdate(json):
    ''' parse json to return only the new posts

        params json: json file of 10 last update post
        type json: dict
    '''
    pass
    # DOTO



# update per 5 min
while True:
    print(getUpdate())
    time.sleep(60*5)

פורסם במקור בפורום CODE613 ב20/04/2017 00:09 (+03:00)

trew

@אליעזר

שלום!
האם מקובל להציג כאן קוד לדון עליו ולא רק שאלות בו?
אם לא, תקנו אותי בבקשה.

אם כן...

כאמור זה הקוד פייתון הראשון שלי, אשמח לכל הערה בונה, ולכן אני מצרף כאן את הקוד של הפונקציה שכתבתי היום...
יעודו:
מקבל שתי רשימות באורך זהה, הראשונה היא זו שאליה משווים, השניה זו שנבדקת בפועל. עובר לפי הסדר בלבד, ומשווה אברים, אברים לא זהים, מוחזרים ברשימה חדשה.

תודה לכולכם!
def filterNews(OldData, NewData):
    """filtr parms and return news date only (test if 1==1,2==2...)

    :param oldData,newList: identical lists of dictionary [{title:link},{title:link}]
    :return: Only data that is in the newData or null (if new[1]!=old[1],now[2]!=old[2]...)
    """
    try:
        if str(type(OldData)) and str(type(NewData)) !="<class 'list'>":
            raise AttributeError("the def work on list only!")
        if len(OldData) != len(NewData):
            raise AttributeError("The lists are not identical in length!")
        newList=[]
        startIndex=0
        endIndex=len(NewData)
        while startIndex<endIndex:
            if str(OldData[startIndex])!=str(NewData[startIndex]):
                newList.append(NewData[startIndex])
            startIndex+=1
    except AttributeError as er:
        print("Error:", er)
        return False
    else:
        return newList


old=[1,2,3,4,5]
new=[4,5,3,45,5]

print(filterNews(old,new))
print(old,new)

הגרסה שלי לקוד

עם הזמן תראה שאתה יכול להשתמש בפייתון בלי לדחוף לכל דבר try except
try except אתה משתמש במקומות שאתה נזרק מהתוכנית כי אתה לא יודע מה אתה מקבל ואין לך אפשרות לבדוק / לא כדאי לך לבדוק את שלל האופציות האחרות

def filterNews(OldData, NewData):
    """filtr parms and return news date only (test if 1==1,2==2...)
 
    :param oldData,newList: identical lists of dictionary [{title:link},{title:link}]
    :return: Only data that is in the newData or null (if new[1]!=old[1],now[2]!=old[2]...)
    """
       if not isinstance(OldData, list) and not isinstance(NewData, list):
        print("the def work on list only!")
        return None
    elif len(OldData) != len(NewData):
        print("The lists are not identical in length!")
        return None
    newList=[]
    for New, Old in zip(NewData, OldData):
        if NewData[New] != OldData[Old]:
            newList.append(New)
    return newList
 
old=[1,2,3,4,5]
new=[4,5,3,45,5]
 
print(filterNews(old,new))
print(old,new)

מה היה לנו פה
zip עובר על שתי מערכים בו זמנית אבר מפה ואבר משם
In [8]: a, b = range(1, 10), range(100, 1000, 100)

In [9]: for i, j in zip (a, b):
   ...:     print("{0} -- {1}".format(i, j))
   ...:     
1 -- 100
2 -- 200
3 -- 300
4 -- 400
5 -- 500
6 -- 600
7 -- 700
8 -- 800
9 -- 900

בפייתון מעבר על מילון בלולאה מוציא רק את המפתחות ולא את התוכן (אתה מקבל מערך של מפתחות)

In [13]: my_dict = {i:j for i, j in zip(range(1,10), "ABCDEFGIJ")}

In [14]: my_dict
Out[14]: {1: 'A', 2: 'B', 3: 'C', 4: 'D', 5: 'E', 6: 'F', 7: 'G', 8: 'I', 9: 'J'}

In [16]: for i in my_dict:
    ...:     print (i)
    ...:     
1
2
3
4
5
6
7
8
9

isinstance הצורה בפייתון שבודקים type של אובייקט

אחרי כל הברברת נראה שזה מה שאתה מחפש
https://github.com/GregUK/vb3_7_scraper

אגב זה לא רק לאתר אחד אלא למערכת פורומים אחת שנחשבת בין הפופולריות.

פורסם במקור בפורום CODE613 ב23/03/2017 19:39 (+02:00)

trew

תקרא את הכתבה הבאה תבין הרבה יותר.
http://www.digitalwhisper.co.il/files/Zines/0x45/DW69-4-CryptoWall3.pdf

פורסם במקור בפורום CODE613 ב07/03/2016 12:40 (+02:00)

trew

עכשיו בא נחשוב על מקום שמספק לעובדים שלו נט ומזריק לתוכו.
סתם גמ"חשב מסוג כזה או אחר.

בקיצור אינטרנט בדרך כלל הוא לא רק בשבילך

פורסם במקור בפורום CODE613 ב08/11/2015 12:08 (+02:00)

trew

גיקי ויעיל לחלוטין <img src="{SMILIES_PATH}/icon_e_smile.gif" alt=":-)" title="מחייך" />
רק בעיה אחת, התכונה הזאת עלולה להפיל את המשתמשים לMITM.
אני חושב שמגיע להם לדעת שיש הזרקה כלשהי.
אפשרות אחרת היא שלא בכל מקום התכונה הזאת תעבוד (יותר כאב ראש).

פורסם במקור בפורום CODE613 ב08/11/2015 09:03 (+02:00)

trew

<img src="{SMILIES_PATH}/icon_e_smile.gif" alt=":-)" title="מחייך" />
אני פה די הרבה זמן, יותר צופה מאשר מגיב...

פורסם במקור בפורום CODE613 ב06/10/2015 23:48 (+03:00)

trew

שלום לך

לא ספרת לנו באיזה שפה אתה מנסה לקרוא נתונים.
בפייתון עושים זאת כך https://pymotw.com/2/csv/

תיקון קטן שיכול לקצר את הקוד עוד קצת הוא להשתמש בopen
(איך כותבים פה קוד?)

משהו שרק תשים אליו לב, יש תקן ארופאי (אם אני לא טועה) ששם הפרדה על עמודות זה עם פסיק ועוד משהו.

פורסם במקור בפורום CODE613 ב06/10/2015 21:33 (+03:00)

trew

עד כמה שהבנתי הבעיה עם השירות הזה הוא מה קורה כשאתה רוצה לעבור ממנו לשרות אחר.

פורסם במקור בפורום CODE613 ב06/10/2015 21:36 (+03:00)

תחומים - פורום חרדי מקצועי

trew

פוסטים