סריקת אתר וזיהוי שינויים בנושא מסויים

0

תודה רבה על התגובה!
אני צריך ללמוד אותה בעיון.
בנתיים אודה מקרב לב על התגובה המושקעת ומועילה

פורסם במקור בפורום CODE613 ב26/03/2017 14:28 (+03:00)

trew

פרוג שידרגו את האתר שלהם חסדי הקל
תוכל לקבל json עם פוסטים חדשים, כתבתי את רוב הסקריפט העבודה שנשארה יחסית קטנה.

תהנה

#!/usr/bin/python3

import requests
import time
import json

def getUpdate():
    with requests.Session() as s:
        url = 'http://www.prog.co.il/activity/get'
        headers = {'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/39.0.2171.95 Safari/537.36',
                    'Accept': 'application/json, text/javascript, */*; q=0.01',
                    'Content-Type': 'application/x-www-form-urlencoded; charset=UTF-8',
                    'X-Requested-With': 'XMLHttpRequest'}
        params = {"filters[nodeid]":0,
                   "filters[view]":"activity",
                   "filters[per-page]":10,
                   "filters[pagenum]":1,
                   "filters[maxpages]":20,
                   "filters[userid]":"0",
                   "filters[showChannelInfo]":1,
                   "filters[filter_time]":"time_lastmonth",
                   "filters[filter_show]":"show_all",
                   "filters[filter_new_topics]":1,
                   "isAjaxTemplateRender":"true",
                   "isAjaxTemplateRenderWithData":"true",
                   "securitytoken":"replace with your security token"}
        resp = s.post(url, data=params, headers=headers).json()
    return checkUpdate(resp)

def checkUpdate(json):
    ''' parse json to return only the new posts

        params json: json file of 10 last update post
        type json: dict
    '''
    pass
    # DOTO



# update per 5 min
while True:
    print(getUpdate())
    time.sleep(60*5)

פורסם במקור בפורום CODE613 ב20/04/2017 00:09 (+03:00)

0

וואוו!
מדהים. איזה השקעה!
תודה רבה!

אעבור על הקוד בע"ה ואני בטוח שאחכים וגם יהיה לתועלת...

פורסם במקור בפורום CODE613 ב28/04/2017 00:18 (+03:00)

תחומים - פורום חרדי מקצועי

סריקת אתר וזיהוי שינויים בנושא מסויים