סריקת אתר וזיהוי שינויים בנושא מסויים
-
פרוג שידרגו את האתר שלהם חסדי הקל
תוכל לקבל json עם פוסטים חדשים, כתבתי את רוב הסקריפט העבודה שנשארה יחסית קטנה.תהנה
#!/usr/bin/python3 import requests import time import json def getUpdate(): with requests.Session() as s: url = 'http://www.prog.co.il/activity/get' headers = {'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/39.0.2171.95 Safari/537.36', 'Accept': 'application/json, text/javascript, */*; q=0.01', 'Content-Type': 'application/x-www-form-urlencoded; charset=UTF-8', 'X-Requested-With': 'XMLHttpRequest'} params = {"filters[nodeid]":0, "filters[view]":"activity", "filters[per-page]":10, "filters[pagenum]":1, "filters[maxpages]":20, "filters[userid]":"0", "filters[showChannelInfo]":1, "filters[filter_time]":"time_lastmonth", "filters[filter_show]":"show_all", "filters[filter_new_topics]":1, "isAjaxTemplateRender":"true", "isAjaxTemplateRenderWithData":"true", "securitytoken":"replace with your security token"} resp = s.post(url, data=params, headers=headers).json() return checkUpdate(resp) def checkUpdate(json): ''' parse json to return only the new posts params json: json file of 10 last update post type json: dict ''' pass # DOTO # update per 5 min while True: print(getUpdate()) time.sleep(60*5)פורסם במקור בפורום CODE613 ב20/04/2017 00:09 (+03:00)