sdu = SDU()
sdu.getGrades()
123456789101112131415161718192021222324252627282930313233343536373839404142434445464748495051525354555657585960616263
# -*- coding: utf-8 -*-&&&import urllibimport urllib2import cookielibimport reimport string&#绩点运算class SDU:&& && #类的初始化&& def __init__(self):&&&&&&#登录URL&&&&&&self.loginUrl = 'http://jwxt.:7890/pls/wwwbks/bks_login2.login'&&&&&&#成绩URL&&&&&&self.gradeUrl = 'http://jwxt.:7890/pls/wwwbks/bkscjcx.curscopre'&&&&&&#CookieJar对象&&&&&&self.cookies = cookielib.CookieJar()&&&&&&#表单数据&&&&&&self.postdata = urllib.urlencode({&&&&&&&&&&&&'stuid':'',&&&&&&&&&&&&'pwd':'xxxxx'&&&&&&&& })&&&&&&#构建opener&&&&&&self.opener = urllib2.build_opener(urllib2.HTTPCookieProcessor(self.cookies))&&&&&&#学分list&&&&&&self.credit = []&&&&&&#成绩list&&&&&&self.grades = []&&&&&&&& def getPage(self):&&&&&&req&&= urllib2.Request(&&&&&&&&&&&&url = self.loginUrl,&&&&&&&&&&&&data = self.postdata)&&&&&&result = self.opener.open(req)&&&&&&result = self.opener.open(self.gradeUrl)&&&&&&#返回本学期成绩页面&&&&&&return result.read().decode('gbk')&& && def getGrades(self):&&&&&&#获得本学期成绩页面&&&&&&page = self.getPage()&&&&&&#正则匹配&&&&&&myItems = re.findall('&TR&.*?&p.*?&p.*?&p.*?&p.*?&p.*?&(.*?)&/p&.*?&p.*?&p.*?&(.*?)&/p&.*?&/TR&',page,re.S) &&&&&&for item in myItems:&&&&&&&& self.credit.append(item[0].encode('gbk'))&&&&&&&& self.grades.append(item[1].encode('gbk'))&&&&&&self.getGrade()&&&&&&&& def getGrade(self):&&&&&&#计算总绩点&&&&&&sum = 0.0&&&&&&weight = 0.0&&&&&&for i in range(len(self.credit)):&&&&&&&& if(self.grades[i].isdigit()):&&&&&&&&&&&&sum += string.atof(self.credit[i])*string.atof(self.grades[i])&&&&&&&&&&&&weight += string.atof(self.credit[i])&&&&&&&&&&&&print u"本学期绩点为:",sum/weight&&&&&&sdu = SDU()sdu.getGrades()
好，最后就会打印输出本学期绩点是多少，小伙伴们最主要的了解上面的编程思路就好。
最主要的内容就是Cookie的使用，模拟登录的功能。
本文思路参考来源：
希望小伙伴们加油，加深一下理解。
转载请注明： &
or分享 (0)
您的支持是博主写作最大的动力，如果您喜欢我的文章，感觉我的文章对您有帮助，请狠狠点击下面的最近看了CSDN上一个专栏《》，其中最后一篇作者写了个例子，用爬虫计算山东大学绩点，顿时想到前一阵子搞测评的时候还得拿计算器一点点算自己的平均学分绩，也想写一个自己学校的计算学分绩的爬虫。（吐槽：这么简单的功能学校网站居然不实现以下！）
具体过程专栏作者写得很清楚，详见&。作者使用了Firefox的HTTPFox插件来进行POST和GET消息分析，并通过查看源代码来查找到模拟登陆和查询成绩时的URL（其实这里使用Firefox的FireBug插件更简单）。使用这两个插件使我这个对网站编程一窍不通的人都能搞出个模拟登陆来。
根据那篇博文，整个过程分为以下几步：
打开教务系统网站，查看登陆时发送了哪些信息，分析POST和GET信息，并在模拟登陆时使用；
进入网站后，查看如何与网站交互，同步骤一，分析这些信息，在模拟查询时使用；
使用爬虫模拟登陆和查询，得到成绩页面的html代码；
使用正则表达式提取得到的html代码中的所有成绩信息；
通过提取到的成绩信息计算平均学分绩。
具体操作细节可以参考上面那篇博文。此处不再赘述。
这里写一下我遇到的问题。上述博文中，作者登陆成绩查询系统后，直接找到成绩查询页面的URL就可以得到成绩页面的html代码，而在我们学校的教务系统中我却怎么也找不到该URL。经过N多次实验发现，我们学校查询的时候也会发送一个特定格式的POST信息，然后才会返回成绩页面，也就是说得再次模拟发送一次浏览成绩信息。感觉是由于自己对网站相关知识不了解，认为只要模仿就能取得结果，殊不知这里查询方式的不同，浪费了不少时间。
得到网页信息后，就需要写正则表达式来提取成绩信息。关于Python的正则表达式详见：。对于正则表达式不熟的人推荐一个在线测试的网站： ，这个网站可以测试写的正则表达式能不能正确匹配要提取的信息。
附上源代码：
1 # -*- coding: utf-8 -*-
2 # author: Kill Console
3 # 功能：计算西工大研究生本学期成绩学分绩
5 import urllib
6 import urllib2
7 import cookielib
8 import re
10 REQUIRED = '&font color=red &\xe5\xad\xa6\xe4\xbd\x8d\xe5\xbf\x85\xe4\xbf\xae\xe8\xaf\xbe&/font&'
11 ELECTIVE = '\xe5\xad\xa6\xe4\xbd\x8d\xe9\x80\x89\xe4\xbf\xae\xe8\xaf\xbe'
13 class NPUSpider:
def __init__(self, stuid, pwd):
self.login_url = 'http://222.24.211.70/grsadmin/servlet/studentLogin'
self.query_url = 'http://222.24.211.70/grsadmin/servlet/studentMain'
# 成绩查询url
self.cookie_jar = cookielib.CookieJar()
# 初始化一个CookieJar来处理Cookie的信息
self.post_data_login = urllib.urlencode({'TYPE':'AUTH', 'glhj':'', 'USER':stuid, 'PASSWORD':pwd})
# POST登录数据
self.post_data_query = urllib.urlencode({'MAIN_TYPE':'3', 'MAIN_SUB_ACTION':'浏览成绩', 'MAIN_NEXT_ACTION':'LL', 'MAIN_PURPOSE':'/jsp/student_JhBrow.jsp'})
# POST查询数据
self.opener = urllib2.build_opener(urllib2.HTTPCookieProcessor(self.cookie_jar))
self.course_data = []
# 存储一门课的信息，包括课程号、课程名、学分、成绩等
self.weights = []
# 存储学分
self.scores = []
# 存储成绩
self.GPA = 0.0
def init_spider(self):
req_login = urllib2.Request(url = self.login_url, data = self.post_data_login)
# 自定义一个登录请求
result_login = self.opener.open(req_login)
# 访问登录页面
req_query = urllib2.Request(url = self.query_url, data = self.post_data_query)
# 自定义一个查询请求
result_query = self.opener.open(req_query)
# 访问成绩页面
self.process_data(result_query.read().decode('gbk').encode('utf-8'))
# 由于存在中文，先解码再编码
self.calculate_GPA()
def process_data(self, res_page):
self.course_data = re.findall(r'&TR&\s+&TD width=60 class=style2&&div.*?&(.*?)&/div&.*?&div.*?&(.*?)&/div&.*?&div.*?&\s+(.*?)\s+&/div&.*?&div.*?&(.*?)&/div&.*?&div.*?&(.*?)&/div&.*?&div.*?&(.*?)&/div&.*?&div.*?&(.*?)&/div&.*?&/TR&', res_page, re.S)
for item in self.course_data:
self.weights.append(item[4])
self.scores.append(item[5])
def calculate_GPA(self):
sum_score = 0.0
sum_weight = 0.0
for i in range(len(self.course_data)):
if self.course_data[i][2] == REQUIRED and self.scores[i].isdigit():
# 判断该科目是否是必修且是否有分数，若是则进行计算
sum_score += float(self.weights[i]) * float(self.scores[i])
sum_weight += float(self.weights[i])
self.GPA = sum_score / sum_weight
def print_GPA(self):
print u'课程代码\t\t类型\t\t学期\t\t学分\t\t成绩\t\t得分日期\t\t课程名称'
print '-'*120
for item in self.course_data:
if item[2] == REQUIRED:
rqd = '\xe5\xad\xa6\xe4\xbd\x8d\xe5\xbf\x85\xe4\xbf\xae\xe8\xaf\xbe'
print '%s\t\t%s\t%s\t\t%s\t\t%s\t\t%s\t\t%s' % (item[0], rqd, item[3], item[4], item[5], item[6], item[1])
print '%s\t\t%s\t%s\t\t%s\t\t%s\t\t%s\t\t%s' % (item[0], item[2], item[3], item[4], item[5], item[6], item[1])
print 'The GPA is %.4f' % self.GPA
62 def main():
stuid = raw_input('student ID: ').strip()
pwd = raw_input('pass word: ').strip()
spider = NPUSpider(stuid, pwd)
spider.init_spider()
spider.print_GPA()
70 if __name__ == '__main__':
以下是一个西工大本科生学分绩计算脚本，由于测试时没有进行教学评估的查询不了，只能查询本学期成绩，所以计算的是本学期成绩学分绩（只计算必修）：
1 # -*- coding: utf-8 -*-
2 # author: Kill Console
3 # 功能：计算西工大本科生本学期成绩学分绩
5 import urllib
6 import urllib2
7 import cookielib
8 import re
10 REQUIRED = '\xe5\xbf\x85\xe4\xbf\xae'
11 ELECTIVE = '\xe4\xbb\xbb\xe9\x80\x89'
13 class NPUSpider:
def __init__(self, stuid, pwd):
self.login_url = 'http://jw./loginAction.do'
self.result_url = 'http://jw./bxqcjcxAction.do'
# 本学期成绩查询url
self.cookie_jar = cookielib.CookieJar()
# 初始化一个CookieJar来处理Cookie的信息
self.post_data = urllib.urlencode({'zjh':stuid, 'mm':pwd})
# POST的数据
self.opener = urllib2.build_opener(urllib2.HTTPCookieProcessor(self.cookie_jar))
self.course_data = []
# 存储一门课的信息，包括课程号、课程名、学分、成绩等
self.weights = []
# 存储学分
self.scores = []
# 存储成绩
self.GPA = 0.0
def init_spider(self):
req = urllib2.Request(url = self.login_url, data = self.post_data)
# 自定义一个请求
result = self.opener.open(req)
# 访问登录页面
result = self.opener.open(self.result_url)
# 访问成绩页面
self.process_data(result.read().decode('gbk').encode('utf-8'))
self.calculate_GPA()
def process_data(self, res_page):
self.course_data = re.findall(r'&tr class=.*?&td.*?&\s+(.*?)\s+&/td&.*?&td.*?&\s+(.*?)\s+&/td&.*?&td.*?&\s+(.*?)\s+&/td&.*?&td.*?&\s+(.*?)\s+&/td&.*?&td.*?&\s+(.*?)\s+&/td&.*?&td.*?&\s+(.*?)\s+&/td&.*?&td.*?&\s+(.*?)\s+&/td&.*?&/tr&', res_page, re.S)
for item in self.course_data:
self.weights.append(item[4])
self.scores.append(item[6])
def calculate_GPA(self):
sum_score = 0.0
sum_weight = 0.0
for i in range(len(self.course_data)):
if self.course_data[i][5] == REQUIRED and self.scores[i].isdigit():
sum_score += float(self.weights[i]) * float(self.scores[i])
sum_weight += float(self.weights[i])
self.GPA = sum_score / sum_weight
def print_GPA(self):
print 'The GPA is %.4f' % self.GPA
50 def main():
stuid = raw_input('student ID: ').strip()
pwd = raw_input('pass word: ').strip()
spider = NPUSpider(stuid, pwd)
spider.init_spider()
spider.print_GPA()
58 if __name__ == '__main__':
阅读(...) 评论()