[转]量化投资求学无门？手把手教你搭建金融数据库！
原文地址：http://mp./s?__biz=MzAxNTcwMzk0NQ==&mid=&idx=2&sn=f4eccdee828b410ba0999d19b0ead65d&scene=23&srcid=0308neifB9JTawXAYgL9Wlgl#rd
越来越多的人在做Quant，可是对新手来说该如何搭建量化系统呢？
1、量化投资，数据是基础
量化投资的理念现在越来越被人熟知，不论是在学校还是在职场，对量化投资感兴趣，想要一试身手，甚至是将Quant定为职业目标的人也越来越多。不过许多朋友现在还只是临时搜罗有限的数据，做一些零星的研究、测试和计算。与其这样没有明确目标地小打小闹，不如着手建立一个比较完善的“量化投资研究系统”，下面我将和朋友们分享一下我在这方面尝试的心得。
中国有句古话叫做“兵马未动，粮草先行”，对于量化投资研究而言应该改为“模型未动，数据先行”，高质量的数据是出色研究的基础。需求决定功能，我们要做哪方面的量化投资研究，决定了我们需要哪些数据。
我所理解的量化投资研究大致包括3块内容：
1.学术化的研究工作，例如金融时间序列分析，这一块研究主要集中在各种金融产品的交易数据上，例如股票、期货、期权的价格，基金净值等等；
2.构建交易策略或投资组合，这一块研究需要交易数据、宏观经济指标和公司财务数据等等；
3.策略回测，这一块研究需要大量历史交易数据，用来测试评估交易策略和投资组合。
“天下没有免费的午餐”，为了获得数据，要么付出金钱成本，购买数据终端（例如Wind终端）；要么付出时间成本，自己动手搭建维护一个金融数据库。如果没有机会摆弄万得、彭博，还是***那句话----“自己动手，丰衣足食”。
信息时代，最大的数据源就是互联网，而且在绝大部分情况下，互联网可以提供公开免费的数据。所以我们要搭建的数据库实际上是依赖“网络爬虫”获取互联网上的数据。不过在讨论如何获取数据之前，为了确保将来的工作简单高效，先要“约法三章”：
1.尽量以下载文件，而不是抓取网页内容的方式获得数据；
2.尽量减少抓取网页的次数，换言之，一张网页上的数据要尽可能的多；
3.尽量抓取静态网页内容，而不是动态网页。（有一个简单的规则区别静态和动态网页，如果网页内容变化之后，地址栏里的URL链接跟着变化，就是静态网页，反之则是动态的。）
2、寻找金融数据源
废话不多说，下面正式讨论如建立自己的金融数据库（目前只限于股票和基金数据）。
首先来到上交所和深交所的网站，目的是找到股票代码和指数代码列表。深交所以文件下载的方式提供股票和指数代码（业界良心），上交所则是以网页形式提供。天天基金网以网页的形式提供了基金代码列表
接下来看股票和指数的交易数据，要想获得这些数据，一个最自然的想法就是到主流门户网站上去找。事实上网易、新浪、和讯和东方财富等门户网站都以网页的形式提供每日交易数据。不过网易这一次成为了业界良心，网易提供数据下载服务，可以下载csv文件获得股票和指数的历史交易数据，以及股票最近一周的高频交易数据。网易提供的数据甚至包括除权调整过的昨收数据。
成交明细（平安银行）
和交易相关的另一种重要数据是“复权因子”，可惜提供复权因子数据的网站并不多，新浪这一次成为了业界良心，新浪以静态网页的形式提供每日的复权因子。
基金净值数据，和股票跟指数一样，门户网站大多以网页的形式提供历史净值数据，不过和讯这一次做了业界良心，和讯在基金的历史净值网页上展示了该基金所有的历史净值数据。
基金净值（华夏成长）
一些基本资料层面的数据，例如上市公司的基本资料，基金的基本资料等，对于这些数据，网站之间的大同小异区别不大。
最后看上市公司的财务数据，有些类型的量化投资特别需要研究公司财务数据，尤其是量化选股，需要大量财务数据构造因子，用来对股票估值和预测未来收益率。不过对比多家网站之后，不幸地发现不同网站提供的财务数据格式不尽相同，数据内容也是有出入。这一部分数据的搜集比想象的要复杂得多，将来会专门写一篇文章讨论这个问题，暂时搁置一下。
3、开始搭建金融数据库
通过上面的文章，数据源已经基本确定了，接下来就要“修渠引水，汇入水库”。水库的话，就选择最常用的数据库MySQL；水渠的话，这里用R语言。
前面讲过了，整个数据库依赖网络爬虫获得数据，所以修水渠之前要先掌握下面几个方面的基本知识：
R的语法，以及如何使用RCurl、XML、xml2等R包设计爬虫；
网页的基本结构，以及如何利用FireFox浏览器的FireBug插件或Chrome浏览器研究网页结构；
正则表达式；
XPath语法，以及使用XPath提取html文件中的特定节点。
看起来需要很多的知识准备，不过以我个人的经验，每个方面只要掌握最基本的知识就可以利用R做出一个靠谱的爬虫。如果想要集中时间系统化的学习上述知识，这里推荐两本书《Automated
Data Collection with R》、《XML and Web Technologies for Data Sciences
with R》和一篇网络教程《55分钟学会正则表达式》。
接下来用一个实例演示如何获得数据。
首先，到交易所网站手工收集整理A股的股票代码和指数代码列表，分别保存在文件SH.A.list.txt、SH.IDX.list.txt、SS.A.list.txt、SS.IDX.list.txt中。用R函数readLines读取称为相应的字符串向量，接着构造“市场代码向量”用来标识股票和指数对应的市场，沪市记为0深市记为1，将这些向量组合成数据框（data.frame，R中常用的数据结构，类似excel表格）A.list和IDX.list。
第二步，找到包含所需信息的网页，解析网页链接的模式。以平安银行为例，现在想要获得股票的首次上市日。网易平安银行的网页链接是http://quotes./1000001.html，1000001中开头的1是市场代码，000001是股票代码。在Chrome中打开网页，按F12打开网页分析工具，找到“首次上市”节点，右键复制XPath，即“/html/body/div[2]/div[22]/div[2]/p[9]”。
至此，金融数据库从无到有。未来数据库的维护工作可以安排在周末，利用一个下午的时间，运行R程序获取这一周新增的数据，并导入MySQL。在实际操作中，建库和维护会遇到很多琐碎的细节问题，比如说网页编码、股票退市、新发股票、网站出现故障、表的设计等等，这里不能展开来讲，只能在动手的过程中自己摸索，具体问题具体分析具体解决。
（来源：科学投资 & &
& 作者：徐瑞龙）
限时干货下载：
回复【0】免费获取『券商内部投资手册及投资策略报告』！
版权说明：内容来自网络，如涉版权问题，请与我们联系，谢谢！
华尔街前沿（hejqianyan）
已投稿到：
以上网友发言只代表其个人观点，不代表新浪网的观点或立场。Sky So Blue 美国高中交换生2013年总结
来源：搜狐出国
　　Sky So Blue成立于2005年，总部位于美国佐治亚州的亚特兰大市，创始人Mr.David Wu Chenguang2006年获得佐治亚理工大学全额总统奖学金，是第一位获得此奖学金的华人。他在美国积累20年的经验不但有在美国法制体系里成长的经历，也融合了中国传统价值观。David Wu全权负责来自中国交换生在美国的生活与学习，对每一位学生都十分了解。
　　Sky So Blue美国高中交换生项目坚持"放飞梦想，追求卓越"的服务理念，致力于帮助中美学生从另一个视角认识世界，帮助他们适应越来越全球化的时代竞争，在社会上处于有利地位，为中国优秀学生搭建通往美国高中的桥梁和通道。
　　据记者了解，"Sky So Blue美国高中交换生项目"与国内其他交换生项目不同，中国学生寄宿在美国基督徒的家庭中（中美双方家庭视频交流认可），共同生活。寄宿家庭全部由David Wu亲自面试选拔，保证寄宿家庭的安全并给学生提供最优质的生活，帮助学生更好地融入美国文化之中。
　　日8名学生通过Sky So Blue机构正式成为美国高中交换生，开始他们为期10个月的美国高中交换生学习。截止到今天，9个月过去了，记者再次采访到Sky So Blue美国高中交换生机构的负责人Mr.David Wu Chenguang，他说还有一个月，这8名学生即将结束在美国一年的高中交换生生活，在过去的九个月的时间里，学生们在美国的学习生活由不适应到现在已经能够自如的和美国学校老师、寄宿家庭家长灵活沟通，这个过程是艰辛的，但结果是可喜的。
　　据悉这8名学生2014年8月份大部分学生将返回美国继续完成他们的高中学习和生活。
　　以下是Sky So Blue美国高中交换生机构的负责人Mr.David Wu Chenguang针对这8名美国高中交换生学习生活写的总结，便于即将去美国高中交换的学生家长参考。
　　又一次写中文博客，评俺这中文水平估计总会有漏的错别字，看不懂的说话啊！咱们的2013年圣诞聚会真是像一场梦，那4天过的太快，太快乐了！之前每次见到你们我都觉得应该有个大哥哥的样子，想尽量提醒你们学业的事。这次能撒开了跟你们一起玩耍，真是爽！也给我两个感触：
　　首先让我又感受到年轻的快感，但我一边和你们玩的同时也总在想，啊呀真希望不是在撩起你们的玩欲，回家以后停不下来的玩了。这时代有好多好玩，好看，好听的东西就在你们手边。花一点时间让这些东西丰富一下生活没错，但得把"主行"做好（你们的主行就是吸收狂，aka学者），否则丰富半天自己肚子里没点东西怎么申好大学？
　　第二，你们走的那天下午我忽然感受到我爸妈，美国家庭，学校老师，联校区长都曾说过的，孩子们不容易！马上要离开熟悉的朋友，中餐，如家的轻松回到就是再爱你们的美国家庭，我也会不舍。所以既然上了贼船（虽然说成贼船，其实是个快艇，给你们带来很多优势的快艇），那就尽量从这次路途取得最大的收获！
　　呵呵，写着写着又有点讲大道理的趋势了。其实是想做个年度总结，记录一下咱们的历程和我对你们最深的回忆，看看其他同鞋的经历中有没有你可以学到什么的。
　　2014年亚特兰大SkySoBlue美国高中交换生的寄语与注意事项
　　你们每一个人都给我留下了很多印象，也知道我们上个学期经历的东西不是一两句能写完的，我就简单写了写，也为了让家长知道你们的努力。新的学期马上要开始了，过两天写新的仔细讲解咱们下半学期的计划。简单先说一下大家在2014需要特别注意：
　　1.新的学期成绩会跟上个学期的积累，提高的速度会慢所以准备好打场仗的计划，每个作业和考试都80分以上逐渐会上来的。要坚持！
　　2.考试比作业重要，project 也是。后面的课会越来越难，最起码应该提前3填开始复习考试，当天复习是不可行的！
　　3.70分算及格，75分算看得过去，80才是新的起跑线！申请大学时，80分一下是大吉，所以尽量把所有课程提高到80。
　　4.有富裕时间的同学应该开始准备TOEFL 和 SAT。在国内的学生一定已经开始复习，报班什么的，大家不要落后！建议大家在 网上买这本SAT书： 。还有这本TOEFL 书：
　　接待家庭应该都会用amazon，如果不会跟我说我给你定。
　　5.希望大家多利用这个博客，但新年里希望你们能尽量写英文的博客。就如在家里说的，只要你们写英文的博客（不用很多，每个几句），我就在下面改！
　　SkySoBlue美国高中交换生，更多信息可登陆：www.usexchange.net
(责任编辑：凡塔)
&&&&&& 搜狐出国隆重推出2013春季国际教育展大全…[]
主演：黄晓明/陈乔恩/乔任梁/谢君豪/吕佳容/戚迹
主演：陈晓/陈妍希/张馨予/杨明娜/毛晓彤/孙耀琦
主演：陈键锋/李依晓/张迪/郑亦桐/张明明/何彦霓
主演：尚格·云顿/乔·弗拉尼甘/Bianca Bree
主演：艾斯·库珀/ 查宁·塔图姆/ 乔纳·希尔
baby14岁写真曝光
李冰冰向成龙撒娇争宠
李湘遭闺蜜曝光旧爱
美女模特教老板走秀
曝搬砖男神奇葩择偶观
柳岩被迫成赚钱工具
大屁小P虐心恋
匆匆那年大结局
乔杉遭粉丝骚扰
男闺蜜的尴尬***
******：86-10-
***邮箱：下载作业帮***包
扫二维码下载作业帮
1.75亿学生的选择
blue skies后面的sky为什么要变成复数
米饭wan11678
sky是天,天空的意思,与形容词连用时,写作a …… sky,比如说,a blue sky.一般情况下,通常写作the sky,不用复数.但是也可以用复数形式skies,尤其指天空辽阔无边时.天空在中文里是不可数的,但是在英文里,sky的词源是cloud(云）,我想这大概就是sky能写成复数形式的原因吧.
为您推荐：
其他类似问题
扫描下载二维码