梭哈小游戏王...

梭哈术语(七张牌、五张牌)_百度知道Python 爬虫遇到形如 小说 的编码如何转换为中文?_问答_ThinkSAAS
Python 爬虫遇到形如 小说 的编码如何转换为中文?
Python 爬虫遇到形如 小说 的编码如何转换为中文?
&dt&学科主题:&/dt&
&dd&&a href="openlink.php?keyword=%E9%95%BF%E7%AF%87%E5%B0%8F%E8%AF%B4"&长篇小说&/a&-中V-当代&/dd&
&dl class="booklist"&
&dt&中图法分类号:&/dt&
&dd&&a href="openlink.php?coden=I247.5"&I247.5&/a&&/dd&
&dl class="booklist"&
&dt&提要文摘附注:&/dt&
&dd&小说中的主公,正是因为当年盗墓的爷爷赘杭而在杭,开了一家小的古董”子,守护着那群长沙土夫子古墓不知名怪物捭中b命抢Q的战V帛书……&/dd&
如何解决?
不行,django只提供了数据库的ORM
不行,django不负责这个
# tested under python3.4
def convert(s):
s = s.strip('&#x;') # 把'长'变成'957f'
s = bytes(r'u' + s, 'ascii') # 把'957f'转换成b'u957f'
return s.decode('unicode_escape') # 调用bytes对象的decode,encoding用unicode_escape,把b'u957f'从unicode转义编码解码成unicode的'长'。具体参见codecs的文档
print(convert('长')) # =& '长'
print(re.sub(r'&#x....;',
lambda match: convert(match.group()),
全文替换后的结果:
&dt&学科主题:&/dt&
&dd&&a href="openlink.php?keyword=%E9%95%BF%E7%AF%87%E5%B0%8F%E8%AF%B4"&长篇小说&/a&-中国-当代&/dd&
&dl class="booklist"&
&dt&中图法分类号:&/dt&
&dd&&a href="openlink.php?coden=I247.5"&I247.5&/a&&/dd&
&dl class="booklist"&
&dt&提要文摘附注:&/dt&
&dd&小说中的主人公,正是因为当年盗墓的爷爷人赘杭州而身在杭州,开了一家小的古董铺子,守护着那群长沙土夫子从古墓不知名怪物捭中拼命抢出的战国帛书……&/dd&
# for python2.7
def convert(s):
return ''.join([r'u', s.strip('&#x;')]).decode('unicode_escape')
ss = unicode(ss, 'gbk') # convert gbk-encoded byte-string ss to unicode string
print re.sub(r'&#x....;', lambda match: convert(match.group()), ss)
这个是charref, HTML 的解析库都可以处理好, 不需要手工处理.
Python 标准库有 HTMLParser(html.parser in Python 3)
第三方库推荐
添加你想要问的问题
PHP开发框架
开发工具/编程工具
服务器环境
ThinkSAAS商业授权:
ThinkSAAS为用户提供有偿个性定制开发服务
ThinkSAAS将为商业授权用户提供二次开发指导和技术支持
让ThinkSAAS更好,把建议拿来。
开发***微信print(re.sub(r'&#x....;',
lambda match: convert(match.group()),
全文替换后的结果:
这个是&charref, HTML 的解析库都可以处理好, 不需要手工处理.Python 标准库有&HTMLParser&(html.parser&in Python 3)第三方库推荐&
阅读(...) 评论() &

参考资料

 

随机推荐