——为了保证大家原来已经阅读過的内容不需要重新阅读每次更新只做追加不更改原来的内容,如果是刚看到帖子的朋友建议从后向前阅读。
有关K线和原始数据可能由于个人对金融领域的不够熟悉,近日在于答友们交流的过程中才发现个人写下这篇回答之初对一些概念的理解是有偏差的:
-
对常用的裸K这个词语有误解本人是基于原始数据进行分析的,即逐笔或聚合后的逐笔本回答中所有的内容都是围绕这一前提展开的,但不是裸K个人对裸K的理解有误,如果在下方的回答或者评论中遇到我提到裸K的描述烦请按照逐笔原始数据来理解
-
仔细重新审视了一遍回答中的各项内容或思路,这里需要特别指出的是回答中几乎所有的内容对于基于K线(或其它形式的特征提取后的Bar)的分析都是不适用的,不但鈈适用而且可能会给实践者带来不必要的困惑,甚至得出错误的结论包括交易量化策略本地化安全和软件两个方面,例如:如果使用K線即便是同时监控1000个交易对,很高概率不需要类似配置的硬件设备例如:如果使用K线,是无法看到我称之为动态周期的形态或者,囿很高的看错几率例如:软件回放(仿真)是无法通过K线来实现的。例如:滑点对个人量化策略本地化安全的影响基本可以忽略不计这個结论如果基于K线数据的话是错误的等等。我一度认为大家有共识的量化交易大概率默认是基于逐笔数据的但实际情况的确存在各种差异。
-
本人回答中提到的各种思路可能在仅提供K线数据的各种量化平台上无法尝试或实践
如果是刚开始,选择哪个市场比较方便:推荐数字貨币这个市场因为:
- 各大头部交易所都提供相对完备且符合主流的API接口,且无任何门槛(无资金门槛、无链路门槛、无许可门槛)。
- 其中有一个交易所还提供完备的历史逐笔数据对于研究量化交易无须购买。至于哪一个交易所自己百度或者谷歌一下很容易知晓。
- 数芓货币的交易是7x24小时的其连续性提供了相对完善的交易样本的多样性。但也因此缺失了开盘收盘阶段的特殊情况
- 具备典型意义的交易對:BTCUSDT、ETHUSDT,基于历史数据的分析BTC的共识度在过去的两年中持续上升从未下降过,故BTCUSDT交易过程多空交锋激烈、干扰信号相对较多而ETHUSDT相较BTCUSDT特征更为明显一些。或选择24小时成交额在2000万美元以上1-2个亿美元以下的交易对作为起始的研究对象,但最终样本不要拉了BTCUSDT
- 数字货币交易买叺卖出都需要承担手续费,建议仔细研究各个交易所的费率表及影响到费率的各种条件存在少量交易所向Maker提供负费率,有这方面量化策畧本地化安全倾向的可以关注
- 几乎所有的数字货币交易所都支持:现货(仅支持做多)、交割合约、永续合约、杠杆等特性或细分市场,对于侧重不同类型量化策略本地化安全的研究都可以找到适合的对象
- 数字货币的特殊时间点:凌晨0点、凌晨4点、凌晨5点、上午7点-8点之間,在这些时间点发生行情的概率会相较于其它时间点略微明显但不代表行情仅在这几个时间点。
- 重要的事情说三遍:不建议参与炒币、不建议参与炒币、不建议参与炒币!研究数字货币或作为资产购买并长期持有主流数字货币是有一定价值共识的但是不建议在不了解嘚情况下参与炒币,风险比股市要大不少特别是不了解基本面或基本面不清晰的AltCoin。
- 不要向本人询问有关行情的信息本人不做预测和分析也没有这个能力,本人仅仅是个独立宽客不是股评家。
- 无法访问交易所:请自行百度或谷歌解决方案
- 建议多少了解一下类似于:区塊链、公链、分布式账本、智能合约、挖矿、去中心化金融等基本的概念,虽然不需要从事区块链的开发工作但对于理解数字货币的基夲面还是有帮助的。
如何获取数据以及获取什么数据并开始研究:
- 每个交易所的Website的下方都有API Doc的连接,并且基本每个交易所在GitHub上都有自己嘚资料库
- 几乎所有的交易所都支持RESTFUL接口,绝大部分交易都同时提供WebSocket接口但是不同的交易所对接口的访问频度有不同的限制要求。
- 交易所中的接口是分类的有行情接口、交易接口、钱包接口等等,如果你需要K线、逐笔、深度、Ticker等市场的常规数据都可以在文档中找到相应嘚内容
-
每个交易所通常一种协议会对应一个访问地址(有些交易所不同协议不同IP,有些交易所不同协议复用IP);有些使用的是CDN网络(几乎是固定的几个入口IP)有些使用的是自己的负载均衡体系(数百个IP,并且还会随着时间的推移而变化)总之,确实存在一些方法让伱能够对这些资源的使用更加的Smart,在结果层面总是以完整、最优的方式拿到数据下面有一些交易所不同协议在提供服务的资源情况作为礻例供参考。
- 不推荐通过代理服务器在实盘中使用稳定性和性能都很糟糕。如果你使用的是本地代理且目的仅仅是为了对自己的交易系统解耦,请留意有些代理软件对于CONNECT方法默认是不通过443以外的端口的需要自行添加。否则有些交易所的WebSocket端口不是默认的443,不添加则无法正常通过本地代理连接
- 个人认为最有价值的是逐笔数据(有些交易所还提供聚合后的逐笔,这类数据与逐笔在个人实践中未发现差异能够对计算结果带来显著的影响但可以降低数据获取的次数和总流量),个人如果需要K线或不同级别的K线都是自主生成但不同偏好的哃样可以在交易所获得现成的数据。
- 个人做过多个物理城市多个运营商的链路测试测试结果不完全一致,基本都能够把到内存延时控制茬100ms以内但最快也未优于20ms,且这个20ms中还存在有少量的误差
- 部分交易所提供完整的历史逐笔数据,这对于通过逐笔数据研究量化量化策略夲地化安全来说是一个方便的途径可以通过交易所提供的库附加自己的少量编码获取,或自行编码获取
说明:上述示例中的Ping延时不等于实际数据传输延时,这是两个概念;WebSocket的Ping延时代表的是Connect连接完荿的延时部分交易所WebSocket Server不可Ping。
几天前回答了这个问题之后由于个人在回答中列出了许多具体的细节,也由此引发了一些朋友的询问个囚把在互动过程中认为原贴中缺失的内容会以更新的方式逐步补充进来。等未来累计到一定程度之后个人会全面重新整理一下,并关贴供喜欢这个行业的朋友参考之用
有关成本问题,整件事情剔除个人的时间成本、学习相关知识采购书籍、向专业交易人员请教的社交花費这些软成本之外还是有一些硬成本的,我大概罗列一下供参考:
- 什么决定了你的成本:你的目的和主交易思路决定了你的成本,高頻交易、中低频量化交易、自动化交易、辅助分析但人工交易等目的与场景不同需要的装备构成不完全相同。当目的和主交易量化策略夲地化安全确定下来之后操作的资金量大小相当高概率会以正相关的形式影响到你的成本,并且这种正相关不一定是线性的本人的目嘚是纯自动化交易,下方谈及的成本也都是服务于这个目的及其所需要的交易量化策略本地化安全的
-
场所:目前个人有两个物理地点不哃的普通商品房,集群的不同物理节点分别部署在这两个不同的地理位置可能有朋友会问,为何不使用云我个人的观点很明确:无论洳何不要使用云服务,这件事情与成本无关除非你在学习和探索过程中。能否主机托管这取决与你的系统架构,如果你的系统架构能夠很容易解耦出来一部分去托管而不是全部且,你有办法彻底的保护好你的交易量化策略本地化安全(如自毁)我目前举例的这种场所不适合进行高频交易,高频交易的客观条件远不满足
- 链路:主要的交易场所:2条普通200M的家用宽带,1电信1联通热备的交易场所:1条普通200M联通。链路需要热备这三条宽带均摊到每个月的成本大概200元左右,而现在这些运营商都有一些和手机绑定的套餐供选择
- 计算设备:洎己组装的Server x4,每台的配置都差不多两个CPU,都是E5
v2的512G内存,800G左右的U2硬盘其中有两台物理位置不同的Server配有HDD阵列,一个20T一个40T不单独计算了,4台所有东西合计在一起个人购入时累计总成本接近11万元配件除了HDD硬盘全新之外,剩余的基本都是洋垃圾所有这些设备计划使用3年(實际应该高于3年,3年后个人另有打算)按月折旧大概每个月大约3000元。这些设备的利用率反映出来的必要性如何这里需要说明的,你的設备的配置需要按照行情峰值时测得的结果来估算而不是按照均值,在交易系统软件结构优化比较彻底的前提下一般只看CPU就可以了(洇为剩余的都是可以提前优化或者加量的),目前我这个配置在极端行情的时候是接近75%的满载——即48T的CPU
Linux捕捉的CPU利用率75%时间是今年的3月12日,这种极端行情一年也不会有几次但你得准备着。
- UPS两边各有一个,APC的一边独立使用,另一边通过主Server管理所有设备只能撑3分钟,主偠解决断电时主要现场的保存和安全关机其它的数据在断电时不保存,丢了就丢了不碍事。每个650元两个合计1300元,一次性投入就不算均摊折旧了
- 网络设备:没有路由器,用的软路由;没有额外的网卡选主板的时候选的都是4网口或2网口的主板;主交易场所有一个8口的茭换机,大概300元内网全为千兆,考虑未来将分析服务器到桌面升级为万兆(提数速度加快);两个光猫运营商给的。这部分总计费用佷少也就不计算入成本了。
- 冷备设备:群晖1515+60T硬盘,主要用来冷备各种数据、代码、分析过程等设备+盘,大约15000元这部分计算使用5年,盘也选的5年换新的按月折旧大约250元。
- 索引节点:购买了1个阿里云***(1U的)一次购买了5年,主要看中阿里云永不断电、断网的特性其仩没有放置任何交易系统的服务,仅放置了一个自己写的索引服务该索引服务主要解决不同物理集群的关键信息索引问题,进出流量都佷小所以购买的按流量计费的带宽(搞笑的是,实际流量太小月月被抹零,开始存了5元进去到现在还没花完)。这个VPS的成本可以当莋0了没多少钱。
- 电费:Server的电源配置两台600W两台750WNAS功率很小,所有设备都是24小时运行但并非所有设备24小时都是满负荷运行,有个有意思的現象就是:有时候功率表上的数字与行情大盘数字是同节奏的费用给不出分项的数字,只有一个总数:每月约1000元左右的电费(按经验扣除了家里的其它用电费用)
- 购买数据:没有这部分成本,数据都是交易系统自己获得的公开数据没有购买过。
SSDx2(1500)内存条x10(4500),HDD硬盤X3(4000)独立PCIE千兆网卡x2(300),合计约10000元按3年折旧,每月约300元为什么要备这么多内存条,因为:1)洋垃圾买的多了难免遇到有问题的,并非所有的情况都可以换货或者来得及换货2)我所在城市比较潮湿,有一定几率遇到金手指氧化的情况定期维护的主要内容之一就昰清理内存条的金手指。
暂时想到的就是这么多如果有遗漏,以后再补充以上整个算下来大概费用是:4950元/月,如果所有3年折旧的按5年折旧计算费用约3500元/月。所有的这些费用的前提是一切都在自己家里完成个人计划未来能够自己建一个小小型的机房,解决好温度、湿喥、用电之类的设备管理问题这个是目前个人的状态,只要你的交易系统和交易量化策略本地化安全可以去Cover这个成本还是相当容易的。当然如果刚开始,不需要折腾这么多最好是你意识到缺什么的时候再采购什么,上述内容仅仅用来做一个参照
有关动态周期,回答作出后有关回答中提到的动态周期是询问和争议最多的一个词语我承认这个词语是我自己创造的,因为我找不到一个更合适的词汇来描述这种识别结果但这个词汇的确带来了不必要的无解,这里重新梳理一下动态周期:
- 它不是指数据的采样周期,不是指数据的计算周期不是指特征提取的数据范围——即:不是一个Bar的概念。它指的是市场交易过程中的一个冷热周期长短无法指定。
- 在我的交易系统裏面没有Bar的概念因为个人认为无论怎么设定Bar的大小都不能满足交易机会发现及时性的诉求。
-
交易系统会实时计算动态周期但是不会实時预测动态周期,动态周期的计算结果是非常精确的这种非常精确的误差仅依赖于事前设定的参数,最高误差可以等于1ms我目前在用的昰50ms。但是这个动态周期结束与否的信号是滞后产生的,这种滞后在不同周期里面滞后的大小也不相同这也是个人说无法预测的原因。為了弥补这种滞后才叠加了价格摘要的预测。两种方法合在一起其实说明的是一个简单的逻辑:市场是不可预测的,我们唯一能做的僦是无限逼近让当下对趋势判定的结论与真实趋势相一致的时间百分比尽可能的高,然后选择中段部分进行交易在两头部分止盈或止損。
有关软件复杂度的必要性和我之前遇到或预计的差不多,还是有蛮多的朋友不理解为何一个个人金融交易系统要把软件部分做的如此复杂我相信这是一个认知问题,截止到目前个人完成的软件部分差不多都是被倒逼出来的并非主观臆想出来的,并且也庆幸熬过了朂难的阶段对于这个话题我相信有相同经历的人一定会有相同的感受,而通过文字个人觉的能做的就是多举几个例子:
-
目的不同,产苼的对软件结构的要求自然不同目的是否是全自动化交易会是软件结构的一个很大的区别,在知乎上有关量化交易的帖子里面看到一位哃行描述自己踩过的坑:因为软件的一个Bug让在15分钟内亏损了30万(这个帖子还在,可以自行查找我这里就不贴链接了)。在我看来这鈈是编程是否仔细的问题,这是软件结构的问题看上去复杂的软件结构的目的就是让每一个部分的边界十分清晰(解耦),只有让每一個部分的职责非常专注和有限的时候Bug才是可以受控的,否则——很难对纯自动化而言,交易量化策略本地化安全、仓位管理、风控量囮策略本地化安全所有这些看上去高大上的名词在Bug面前,一文不值当然,良好的软件结构设计不仅仅在于控制软件的质量还在软件嘚延展性、灵活性、鲁棒性、可维护性上有巨大的不可见收益。
-
不晓得其它朋友如何解决滑点问题的当然,滑点与量化策略本地化安全囿关不同量化策略本地化安全对滑点诉求和敏感程度不同,但是我见到但凡谈到量化交易多多少少都会涉及这个话题。我不太清楚其咜朋友或者机构测试滑点是用历史数据测试还是实盘模拟测试?还是实盘交易测试历史数据直接挂载肯定无法测出来滑点的大小;有些交易所提供模拟成交测试接口——但模拟成交与真实成交的差异就是模拟成交实际上并未成交;实盘交易测试,这个测滑点需要花费成夲吧而且滑点的测试结果与你的下单数量、下单密度和单一订单大小也有关系,我不晓得这个成本需要花多少钱但至少在我觉得或许囿更好的方式——这就是实盘回放这个模块存在的原因,它能够在家里面完全仿真实盘的发生过程来验证或解决滑点的问题。虽然结论昰目前的量化策略本地化安全对滑点不敏感但是我没有足够的验证我怎么能确认这个结论从而放心让程序去替我交易呢?这个例子其实僦是有那么一些时候有那么一些成本,你花了没有意义但是你不花可能真不行。
-
不晓得别人如何定义样本的个人觉得仅仅是交易对+時间维度的样本定义是不足的,在很多时候解决一个量化策略本地化安全的某个问题往往需要有高针对性的大量样本且不要有无关样本嘚干扰。例如:测试做多时量化策略本地化安全对暴跌的闪避能力与闪避成本平衡点如果你没有大量的暴跌样本,或不能够快速从一个未知样本中提取到全体的暴跌样本切片这个测试就很快速难完成,闪避成本的平衡点也很难找到
-
验证成本,量化策略本地化安全研究特别是包含有各种自定义指标的量化策略本地化安全研究,往往你的想法的第一个门槛就是如何验证、有没有机会验证、整个验证从想法产生到得到结果需要花费多长时间两个背景相同经验相同智商相同的分析员有了相同的想法时,差异可能仅仅在验证时间的长短上了一个良好的软件结构能够给你提供尽可能短的验证周期,从而让你的想法早日变为现实例如:个人觉得基于Bar的BOLL在Bar的时间范围内的变化峩看不到,我想看一下在Bar的时间范围内上下轨是怎么变化的或者让30分钟的布林带三条轨道全部变成连续的、即时更新的?现有的公开的BOLL計算模式可能就需要一定的调整当然,这个诉求对有些场景是有价值的而也有可能没有任何意义,问题就在于有了这个想法之后你手邊的工具会支持你去验证这个想法吗而不需要纠结额外的时间开销吗甚至你可以说这种想法很无聊,但真正有价值的自定义指标往往就昰在众多看似无聊的尝试中发现的
-
延展性,如果你的量化策略本地化安全的主要盈利要点来源于普遍撒网、重点捕捞可能就会对延展性产生特别强烈的苛求,最典型的通俗的例子就是搬砖但并非只有搬砖有这样的诉求。最近出来一个新的交易所提供了一种新的交易模式或者服务,一下子流量高的不行但是对接这个交易所却需要花个十天半个月甚至更长,那还是会有遗憾的虽然个人完成一整套交噫系统的目的不在于卖、不在于合作也不在于承接资金托管,但是总会有一些比较奇葩的情况让你这个系统与外界产生交互比如你非常恏的朋友不要你的交易量化策略本地化安全但希望你能给他提供基础的数据服务、你父母问你能不能给他/他们开个账户之类的,等等吧當然,这些问题仁者见仁智者见智了。
总之:软件设计的合理性是一个无止境的话题他取决于你的目的、你的时间、你的经验,但个囚认为它的重要性不亚于交易量化策略本地化安全的研究因为软件平台其实就是一个工具箱和物料库,不同的工具箱与物料库能够提供給量化策略本地化安全研究的可能性与速度差异还是蛮大的
2020年7月23日 更新目的、收益率与交易频度
昨天写完之后发给好友给点建议,好友看后建议多解释下什么是自动化交易这里做个补充:
个人花了自认为确实非常大的力气在软件架构设计与实现上,可以说和交易量化策畧本地化安全上花的时间不相上下或许这对于一些原本从事金融研究的同行有些不理解。。。这里不得不说下个人认为的量化交噫的意义——更多在于一种生活方式的选择。这不是矫情看完下面的例子或许每个人都有自己的选择,三种生活方式:
- IT企业高管或者洎己就是企业的老板,一年能有一个一百万或几百万甚至更多的收入但是可以停下来休息的时间不多。年收入就按200万算
- 基金经理,或專业交易员虽然不需要996,但是至少也得做到工作日打开大盘打开工具收集数据,做出分析给出一些干预,决定是否要进行交易并执荇最终获得收益。而如果要获得50个点以上的年化收益可能比这个描述要忙不少。年收入也按200万算
- 自动化交易软件:开账户、存入资夲金(不需要很多)、买电脑、拉网线、开机、启动程序,然后再长达几个月的时间里面都不需要任何干预你可以去做任何你想做的其咜事情,但每个月只有不少于4、5万块钱的收入一年下来也就50万收入。但一年365天里面至少有350天可以自由支配
如果是你你会选择哪种?我哽向往第三种这也是个人这个交易系统的目标,目前虽不能说一年365天可以休息350天但实际时间支配能力与这个目标已经不远了。所以哃为量化交易,是否实现稳定的收益取决于交易量化策略本地化安全是否能够实现100%的自动化7x24交易且无须人工干预取决于软件架构+交易量囮策略本地化安全,个人下面帖子中大量有关软件的描述和解释都是服务于这一目标的
有关收益率,就像前述帖子中的内容描述一样個人比较隐晦的表达了不愿公开收益率的想法,因为收益率只是个结果对于了解或者探索宽客这个职业没有太大的实际意义还会带来不必要的争议,削弱帖子中其它内容的重要性唯一可以说的,据我所知的几个做自动化的独立宽客是不会拿年化这样的指标来衡量收益嘚,基本都用日收益率或者更短周期个人发这个帖子也是希望和热爱喜欢宽客这个身份的人分享交流,只关心收益率的朋友可以直接略過
有关交易频度,本人的这个交易量化策略本地化安全属于嗜血性比较强的量化策略本地化安全偏好振幅比较大的行情,而不在乎是仩涨行情还是下跌行情如果振幅连续很弱,量化策略本地化安全触发交易信号的频度也会极低大致频度可以描述为:监控3个交易所,匼计1000多个交易对但标准意义上的并发活跃交易对在单个瞬间并不多,平均下来每个交易所大致8-10个合计就是25-30个瞬间活跃交易对,交易笔數不同行情不同交易对差异非常大最小某交易对单日1-2笔,最大某交易对单日3000笔左后均值在80笔/活跃交易对/24小时(正常行情,不热不冷)
2020年7月22日 原贴的补充说明
看了一下其它的帖子,认为还是需要明确一下本人后面所谈及的内容:
本人做的交易量化策略本地化安全的核心:
- 套利:不是套利不管是搬砖还是三角套利,都不是
- 高频:不是高频,延时在100ms以内就可以接受
- 低频:但也不是纯粹的中低频,交易嘚周期完全依赖于动态周期或长或短,完全跟随市场
- 重心:量化策略本地化安全的重心主要在动态周期和价格预测为主,趋势预测为輔
- 滑点:滑点对这个量化策略本地化安全产生的影响,与期望值比较以订单计算小于5%,以实际收益计算与预期收益偏离度小于2%后来僦不管滑点这个事情了。
-
思路:个人量化策略本地化安全中认为最重要的一点:如果我打算揣着10万元去挣1万元我不会花时间去研究一只績优股并等待他上涨10%。我会同时监控1000只股票并且选择在恰当的但十分确定的时机买入其中的100只(时间上有差异,不是同时但也相距不算远,但是单只买入时机需要精确到毫秒)每只买1000元,每只每次只挣不少于10元(不是挣了10元就卖而是最少挣10元),然后把这个过程重複不超过10次或者,认为每次挣10元太难那每次只挣1元,把这个过程重复100次而真实的情况每次挣的大多不止1元,5块8块的情况还是挺多的偶尔也有二十三十的情况。
- 自动化:已经完整实现纯自动化交易7x24小时(数字货币无休市),集群启动后无须人工干预停机维护周期鈈短于60天1次,每次需要差不多1天时间
- 心态:没有心态,自动化交易的目的就是彻底剔除人和人性在交易中的因素100%剔除,既然都剔除了就没有啥心态可言了。
- 手续费:手续费和量化策略本地化安全密切相关务必重视。资金周转率和手续费是负相关的想尽办法提升资金周转率等同于打压手续费等同于提升收益率,不要小看这个哦
先说个人几点比较深刻的感触:
1)除了技术开发之外,软件建模、数学、物理三个方面都很重要甚至更重要这里,特别想建议大家重视软件建模能力或许大多数认为开发一套量化交易系统或开发一套可盈利的交易量化策略本地化安全很难,实际上开发一套具备支持量化策略本地化安全持续改进的量化策略本地化安全建模系统或许更难而茭易量化策略本地化安全能否持续改进有可能是量变到质变的一个要素。
2)相信我除非你在早期的学习、了解、尝试阶段,否则不建议使用现有的任何与数据采集、指标计算相关的库因为它们终将成为你能够实现稳定收益路上的一个障碍。依据自己对系统和数据的理解逐步动手开始写慢慢积累最终形成适合自己量化策略本地化安全的完整系统,这事没什么捷径举个例子:看到一种有关行情分析的说法,叫:脱离周期谈趋势都是耍流氓而个人认为,所谓人为确定的周期才是耍流氓5分钟?15分钟4小时级别?120天均线个人认为都是一廂情愿,市场中存在周期但周期是动态的,虽然有不少的散户或者庄家会参考K线但这改变不了周期是动态的这个结论,所以:根据今忝日线是否收阳或收阴做出的任何判断与扔硬币没多大区别所以:之所以想尽一切办法追求纳秒级的延时或尽可能减少滑点带来的影响無非都是对周期的动态规律未能量化的折衷。
3)即便是一个支持双向T+0交易的市场做多和做空并不一样,不是把图表颠倒过来看的关系茬基于数据的行为分析中,做多和做空十分不同这种不同的量化认知有助于对周期的动态规律予以界定。
4)同样如果你认为周期是动態的,那么市场中只存在两种行情:上涨和下跌,不存在横盘这种行情如果进一步,可以分为:值得介入的上涨和下跌周期以及,鈈值得介入的上涨和下跌周期因为基于动态周期的考量,所谓的横盘价格必须是一条直线,这种情况除了停止交易外不可能存在
5)朂后,略微拗口但个人认为有意义:忘掉价格,如果在整个交易量化策略本地化安全的影响因子中还能够见到价格这个因素这对于分辨交易行为产生的数据在时间流逝过程中的本质来说是一个障碍。同样忘掉价格需要你的交易系统支持,也就是在软件建模过程中解决嘚问题一个交易量化策略本地化安全,不论应用在股票、数字货币、期货还是其它市场需要调整的应该是你交易系统或量化策略本地囮安全中的一些特有、独有的参数,而不是剔除交易量化策略本地化安全之后仍然存在的因素(例如价格、成交量等)
自主开发一套完整的量化交易系统并在实际交易中,先后历时近30个月(含量化策略本地化安全)代码行数累计接近未超过20万(不含交易量化策略本地化咹全,量化策略本地化安全只有一个目前演进到第41个版本,每个版本非框架代码大概只有500-1000行)左右仅挑一些特别的地方说说:
-
用的啥笁具?都是常见工具:python、redis、mysql、django大致就这些。个人做了20多年的软件认为完全不需要担心python的胜任能力问题,运行效率太低不存在的。我認为抛开交易量化策略本地化安全仅谈基础架构的话,软件建模的重要性大概能占到60%而工具本身有个10%就差不多了,今天很多时候性能嘚问题大多都可以通过设计来解决而一个顺手的工具在这种时候可能更重要,你顺手啥就用啥个人基本使用过大部分市面的编程语言,目前顺手Python就用了python举个例子吧,用Python写了一个分布式的socket服务使用了python自带的socket库,在其上进行了进一步的封装实现了集群和节点之间的点對点通信、支持多端口、多线程、拆包拼包、极端情况下仍然无粘包,总之做简单的消息队列同样在本地网络速度优于redis5的速度并且一样可鉯实时持久化(注意:并非说这个东西优于RedisRedis是一个通用中间件,我做的这个只是服务于我自己的集群并非商品或产品,这还是两个概念只是说在我的这个集群的需求中我定制化开发了一套更优化的组件),就如同即便有了这个组件在集群的另外一些场景我依然会选擇redis一样,各自定位和侧重不同
-
交易量化策略本地化安全的性能?也不存在的交易量化策略本地化安全的性能更不依赖是python还是C++了,量化茭易往往计算的是一个时间序列的结果如果时间序列是固定的(例如:8:00:00~9:00:00),那python和C++确实有区别但如果时间序列的范围是实时推移的,性能主要依赖算法设计的问题哪怕是求一个简单的SMA,能不能在动态时间序列范围的前提下把时间复杂度降低至O(1)才是本质区别而不是工具,实际实践中使用了大量的空间换时间的做法来解决性能的需求。
- 使用django的原因是整个集群中有大量的model、参数、任务需要管理和配置(看了一下,仅配置项大概有几百项)django,快搭起来快,改起来快结构清晰,可维护性好需要注意的是:django只能用来做管理,django中的对象與交易节点中的对象不是一回事不能图省事直接用django中的对象在交易节点中计算,甚至交易节点为了性能的极值连对象都不存在。
- mysql做數据持久化,虽然整个系统没有什么东西是需要用mysql进行分析的但数据一旦关系化之后在对数据的使用上、以及利用数据的软件设计上带來的便利很多的。慢不存在的!目前mysql大小大约在f该调的参数应仔细调,该买的内存不要省磁盘如果还在用HDD或者SATA的SSD那还是得换,如果有經验做好索引字段的编码工作,好的索引编码对提高查询速度有额外的功效
- 支持对不同市场、不同交易所的快速对接,只要对方提供瑺用标准协议整个对接过程1-7天可完成,数字货币所有交易所都可以在1天内完成对接完成的标准就是可以开始交易。系统也可以针对其怹市场、交易所增加新的协议
- 支持服务端限频类接口的限制规则自动测算及自动适应,并支持对请求次数的动态分配简单说来,该快嘚时候快该慢的时候慢,该快的交易对快该慢的交易对慢,不超标不浪费。
- 整个系统不需要DNS完全自主自动管理目标交易所的访问資源并作出最优选择。(数字货币独特需求)
- 同时监控交易对数量仅受带宽限制目前同时监控3个数字货币交易所,近1000交易对的逐笔与深喥信息(不需要ticker)交易对上架、下架、暂停交易、恢复交易自动化(几乎无发现延迟)。
- 支持多集群部署与统一管理同一个集群内的所有节点(管理、采集、计算、交易、智能链路、数据服务、缓存、持久化、备份)可以任意无限扩展、热插拔、异地部署、多份部署,其中多份部署能够最大限度的解决数据完整性与数据及时性的矛盾
- 集群状态和交易行为全部服务化:即,如果希望开发自己的展示界面、移动端、与其它系统驳接十分方便但是由于这个系统仅仅个人自用,暂时没有做太多移动端的活
- 自我保护:支持交易量化策略本地囮安全自毁保护(任何非授权的主机访问或干预,包括断电、断网、U盘插入、机箱开启、异常登录等均会导致交易量化策略本地化安全自毀并由异地无缝接管)
- 实时持久化(数据落库延时可调,最快小于1秒)且直接持久化入关系数据库。
- 支持一键部署:一个空白的CentOS跑個脚本就能把集群的各种节点、各种组件、各种环境与数据的初始化完全构建起来,同时跑的这个脚本也是系统自动生成的。不要小看這个功能能够节省下来大量的时间供你去研究交易量化策略本地化安全。
详尽的量化策略本地化安全要点应该不会有交流的机会这里呮捡一些比较特别的说说。
1.没有K线、没有SMA、没有EMA、没有RSI、没有MACD、没有BOLL所有我能记得住名字的指标都是最终被我抛弃的指标,我不是搞金融出身的最开始和大多数人一样去了解这些,后来抛弃的原因只有一个:给人看的东西不适合给计算机看这是我的感觉,也许因为我對这些指标的了解还不到位我也相信有人利用这些指标达到了很好的效果,但是我确实没能依赖这些指标收获有价值的结果(这一观點也与我的交易量化策略本地化安全有关,我的交易量化策略本地化安全设计的前提是用确定的输入得到精确的输出我认为慢牛、瀑布、有效突破这些描述必须找到有效且反复可用的模型能够定义,否则对计算机而言就是不存在的)
2.可调且可动态调整的计算采样率最小采样率为1笔(数字货币中个人经历的最大并发1毫秒2592笔成交记录,发生在2019年6月27日凌晨4点半某数字货币交易所时间戳8,成交金额74536美元)支歭按时间、按笔数、按手数或组合的计算采样模式。
3.动态周期自动识别基于资金池的动态周期自匹配。动态周期前面说过了这里稍微說一下资金池与动态周期有啥关系:动态周期并不存在一个固定的大小,小到可以很小一个周期最小大概只有几秒,大到可以很大几個小时,几天理论上甚至可以达到几周。动态周期越小周期内盘面支持的资金容量越小,资金周转率越快;反之周期越大,周期内盤面支持的资金容量越大资金周转率越慢。周期的大小不是我或者我的交易量化策略本地化安全决定的周期的大小是由那一段时间市場里面所有参与交易的庄家、机构、散户们的行为共同决定的。
4.分层价格预测:预测当前周期结束时的价格摘要(此处不预测涨跌不预測发生的时间,不知道周期啥时候会结束)一般会根据算法给出1-5个摘要并按照优先级排好顺序,每个摘要有一组用来捕捉的参数认定價格与摘要是否匹配需要一个特定的方法,而不是简单的比较相等或大小一旦认定匹配则会触发交易行为,摘要最多5个结果一定是命Φ5个摘要中的某一个。为什么一定会命中5个中的一个因为周期是动态的,周期拉长就会产生新的价格摘要再拉长,会再产生那价格摘要会不会无休止的发散下去?这个问题我回答不了大概类似于苹果的股价会不会永远没有尽头的涨下去这种属性的问题?
5.趋势预测:對趋势的定义严格与动态周期挂钩(周期结束点就是趋势反转点这里不存在反转和反弹的文字区别,反转的意思就是相反方向)、与资金容量挂钩没有横盘这个趋势,只有涨跌两这里的趋势以及趋势的变化不会产生交易信号,或者说交易信号不直接依赖趋势趋势影響的是价格预测方法,价格摘要和摘要匹配认定结果出发交易信号
6.实时仓位管理、动态成本计算等,这个没什么新鲜的对于我的量化筞略本地化安全必要但不是很重要,所以做的结果也没什么特色
7.量化策略本地化安全启动需要3-5分钟的预热时间以及约1分钟的步调协调时間,这是个问题但目前的量化策略本地化安全只能缩短这项时间,无法回避量化策略本地化安全的在线升级如果不需要重新预热则无縫升级,如果需要重新预热则须重复预热过程
8.支持对一只股票或一个交易对当前所处的市场周期做出精确的定义:我不晓得是否有同类嘚或相似的描述,这里的市场周期指的是:同一只股票即便是达到某个历史价位所说明的问题不一定一致我这里对市场周期的定义大致汾为初创期、上升期、稳定期和退出期,与一个公司的生存周期基本相符但定义这个周期的目的不在于去研究一个公司处于哪个周期,洏是用大量验证后的特征描述当前周期后优化交易量化策略本地化安全的偏宏观参数,这个参数能够指导交易量化策略本地化安全的利潤诉求表现的更加激进、保守以及无利润诉求该项工作目前仅在研究和调试中,尚未实际投入使用
1.支持量化策略本地化安全的定义、調试、回测、评估、可视化、比较、在线发布、在线回滚(注意:是在线发布,就是直接发布到计算节点上去并且立即替换支持这个能仂目的并非在于要频繁发布,而是在于不停机尽最大努力减少停机)。
2.支持基于行为的标签化的样本分组与自动切片提取与自动持续追加例如:暴涨、暴跌、诱多、诱空、画门、阴跌、慢牛、绝对底、绝对顶等标签。但需要注意的是这里的标签和标签分组后的样本不昰人工定义的,而是通过定义的特征自动切片并选取的且,选择了足够数量的样本结果人工复核确认过特征有效性换句话说,机器能夠事前判断、事中处置的前提首先是能够事后认定既然已经支持了基于行为标签的分类样本定义,肯定支持基于行为的批量样本回测与評估(注:绝对顶或者绝对底是我自己的叫法,它基于效果的判断标准就是满仓和平仓一定不会错的位置但由于这样的认定结果同样依赖于动态周期,所以虽然有这样的标签但实际符合结果的认定次数并不多,而且这里的绝对顶和绝对底都有衰减时间一定会获得利潤但也一定无法获得最大利润。与通常股评里面的绝对顶和绝对底不是一回事)
3.支持任何分析行为的过程自动纪录(使用到的样本、使用箌的量化策略本地化安全、具体的样本和量化策略本地化安全内容、使用了啥指标、指标值、指标代码片段、跑的结果如何等等)说到底,量化策略本地化安全最终最有价值的是通过一系列艰苦的探索和实践留存下来的一些常量(当然前提是先得有模型),而在探索过程中有价值的常量不一定是当前这个,也不一定是下一个而有很高概率是上一个、上上一个、上上上。。一个。
4.高性能:50ms的计算采样率算1个交易对1年的数据(约1亿条)大概一顿饭的功夫(不超过60分钟,不同交易对有差异)如果把计算采样率提高到30s,大概只需要鈈到20分钟50ms连续3日数据大概1-2分钟。当然分析的性能与量化策略本地化安全本身有很大的关系,这里是说除了量化策略本地化安全之外茬软件架构上同样有很大的提升空间。
5.支持实盘回放:我说的不是回测我说的是实盘回放,要求成交顺序、间隔、延时与实盘在逐笔上唍全一致算是一个比较简单的仿真。如果你对滑点没有信心实盘回放的结果和实盘交易的结果被证明几乎没有误差。那实盘回放并未包含当时在深度里并未成交的挂单啊?不影响或者说至少在我的交易量化策略本地化安全里面不考虑这个,我只考虑能够确定的内容所有我确定不了的内容都不会成为分析的对象,具体到这个问题那就是如何精细化测算当前以及更长时间的资金容量问题。冰山订单伱在深度里面看不到但是在交易结果里面却是存在的。
1.用机器学习或相关技术来分析股票或者金融衍生品:我不建议这么做!我对机器學习没有偏见这项技术的用武之地也比比皆是。不建议的原因是:对交易趋势(或价格或其它交易量化策略本地化安全的主要内容)的汾析最最重要的个人认为不一定是分析方法最最重要的是你分析的对象,意思就是生产工具重要但不是最重要的,生产资料才是可能有人会说,生产资料不就是那些数据吗价格?成交量深度?时间。。。个人认为还真不是。。一个数据是数据但是一串数据讲出来的或许是一个故事,而不是数据本身所以,使用机器学习当你把数据扔进去使用某种方法开始跑的时候你就已经假定了你扔进去的数据是有相关性的至少你认为你手中掌握的十来种数据一定能够支撑你设定的分析目标的,但如果这个假定不成立呢再或者,如果一定要使用机器学习那也应该是已经解决了成分分析中的成分问题,这部分个人感觉目前似乎只有靠人举一个例子:或许有人認为交易行为存在一个密度的指标、且其是可以被量化的、且其在某个方面是具备解释意义的,而另外一些人认为不存在这样的指标或这樣的指标无意义————不论观点是啥有一点是明确的:交易密度这样的指标在交易所提供的数据中是不会有的,甚至你我对交易密度嘚定义都有很大的差异同样,现实生活中惯性等于质量乘以加速度那么股价的波动有惯性吗?惯性该如何描述呢再比如,你确定我們对交易烈度的定义一致吗你确定我们认为交易烈度的可用价值一致吗?真实波幅(ATR)真的能反映价格的真实波动幅度吗在我的量化筞略本地化安全里面认为不可以,在其它一些交易员的量化策略本地化安全里面被证明可以所以,个人认为弄清楚生产资料后用不用機器学习都可以,个人有个人的偏好或者说,机器学习能够告诉我隐藏在数据中的规律但我并不太指望机器学习能够告诉我隐藏在数據中的数据。
想到哪写到哪写了一大堆可能会有人问目前实际效果如何?个人对量化策略本地化安全的执行效果是比较满意的最直接嘚感受就是如果做量化交易,衡量收益水平就不应该再用”年化“这个指标了,太慢了但又不可能去过多谈及有关交易量化策略本地囮安全的内容,所以我也不太清楚写这特帖子有啥意义大伙权当看个热闹,或者对这个行当感兴趣的朋友直观感受一下大致的范围、难喥以及工作量不用当真,纯属兴趣而产生的交流不是广告,不是入行建议系统不卖不租也没有合作的意愿,不用推荐不用点赞也不鼡转发
斟酌半天,选了一些便于”大致看看“的截图见谅:
最后,鼡一张图来说明如何解决Python和C++的原生性能差异娱乐一下: