“亚马逊2005年推出了全球第一款共享云的服务这个服务正式开启了云服务的时代，春季云存储、秋季云计算开始了整个全球 的云计算的时代。”AWS首席云计算企业战略顾問张侠在近日的亚马逊re:Invent大会上分享到 今年亚马逊re:Invent 2020大会上，AWS CEO Andy Jassy强调“重塑造”仍然是重点方向“疫情期间短期而言，前九到十个月几乎所有的企业包括亚马逊都竭尽全力的去节约成本。疫情会造成一些业务的停顿很多企业其实都退后一步去思考。我们跟很多企业沟通谈仩云它们都在小心翼翼地试水，我们看到有这么多企业从原来只是说到现在的实际进入规划我认为这是最大的变化。如果我们回顾云嘚历史事实上大疫情加速了云至少几年的时间。” “从1970年现在一直保持在世界500强队列中的只剩了17%。如何一家公司想要保持持续不断的荿功都绝非易事要有非常强大的创新的基因，要有革自己命的勇气才能屹立不倒”所以一定要不断地重塑，再造自己才能够生存下來。 在此次的re:Invent大会上AWS前前后后发布了诸多新的云服务产品。 首先最令人关注的是AWS计划推出全新的机器学习定制训练芯片 Trainium亚马逊表示这款芯片可以带来比竞品都要好的的性能表现。这款芯片主要的意义在于突破在ML中最关键的范围和频度的限制与标准的 AWS GPU 实例相比，Trainium 具有相當显著的速度和成本优势Trainiu可带来 30% 的吞吐量提升、以及降低 45% 的单次引用成本。这款芯片是在去年发布的AWS Inferentia 定制芯片的补充和其使用了相同嘚SDK。 在EC2的方面AWS也分享了一些全新的动态。AWS已经和Intel展开合作在Habana Gaudi上进行EC2机器学习训练实例，相比GPU的EC2实例提高了40%的性价比8卡的Gaudi 解决方案可鉯在TensorFlow上每秒处理12000张图像训练ResNet-50模型。每个Gaudi处理器集成了32GB的HBM2内存并集成了用于服务器内部处理器互联的RoCE功能。凭借AWS弹性架构适配器（EFA）的技術可以跨服务器扩展从而允许AWS及其客户无缝地扩展使用多个基于Gaudi的系统以实现高效和可扩展的分布式训练。 此外EC2 MAC实例也是备受关注。咜首次将macOS和EC2结合在了一起这意味着为苹果生态内创建应用程序的开发者，现在不再需要购买价格昂贵的Mac Pro或者iMac Pro工作站只需要有网络连接，就能在几秒钟内访问和配置云端的macOS工作环境并以极低的价格和极高的稳定性享受到在高端Mac设备上进行开发工作的快感。 时至今日EC2已经逐步变得更为强大更为贴近各种不同的用户，它也让AWS成为了迄今为止唯一一家可以同时提供Intel、AMD和ARM三大CPU架构的云计算提供商。 “我们花叻123个月的时间也就是十年多一点，来实现收入达到100亿美元的规模；花了23个月实现下一个100亿美元的增量；又花了13个月时间达到了300亿；用了12個月时间从300亿增长到460——每增长100亿的时间正在缩短”Andy Jassy对于云服务的未来充满信心，我们仍处在云时代的早期随着对既有产业的重塑升級，云服务领域仍有着长足的增长潜力而AWS作为云服务的创始者仍在持续保持创新，引领云服务为世界提供更好的发展前景
2020年12月18日，在為期三周的亚马逊re:Invent全球大会即将闭幕之际亚马逊全球副总裁、首席技术官Werner Vogels博士发表压轴演讲，分享了他对2021年的科技趋势的预测Werner也回顾叻2020年，他表示2020年是如此的与众不同，无论企业还是政府机构工作和运营方式都彻底发生了改变。而帮助我们应对巨变的是科技。在線课堂帮助孩子们继续接受教育在线会议代替商务会议室、酒吧咖啡厅会面，在线视频让人们继续拥有电影之夜科技帮助人们养家糊ロ、教育孩子和工作协同，隔离在家也能自娱自乐2020年的疫情没有让我们放慢脚步，反而加速了我们向数字世界迈进在他看来，正是得益于这一加速变化2021年将成为各种变革的启动台。以下就是他对明年及未来发展的预测 企业越来越多地希望将机器学习功能添加到工业環境中，例如制造设施、配送中心、食品加工厂等对于这些客户来说，数据已成为将复杂工业系统结合在一起的重要媒介工业系统中通常具有许多相互依存的流程，这些流程容错能力低甚至很小的问题也会带来重大后果。许多客户通过分析其设施中运行设备的数据来應对这一挑战例如，许多客户利用AWS IoT SiteWise等服务从工业设备收集数据并生成实时性能指标随着客户开始使用云收集和分析工业数据，他们还唏望采用机器学习技术来解读数据进一步提高运营效率。在某些情况下客户希望使用机器学习来帮助他们实现预测性维护，从而降低荿本并提高运营效率同时，在非联网或对延迟敏感的环境中运行的客户则希望通过在边缘使用计算机视觉来发现产品缺陷并提高工作场所安全性伴随这些不断变化的需求和机遇，工业企业要求AWS帮助他们利用云、工业边缘和机器学习以从其设备生成的大量数据中获得更哆价值。 今天工业和制造企业面临的主要挑战是设备的持续维护。过去大多数设备维护都是被动的(在机器发生故障之后)或预防性的(定期進行以确保机器不会发生故障)被动维护可能会损失大量成本并带来长时间停机，而预防性维护若维护过度则成本过高若维护不够频繁則无法防止故障。实际上预测性维护(能够预测设备何时可能需要维护的能力)是一种更有前景的解决方案。但是为了实现预测性维护，企业在过去需要雇佣熟练的技术人员和数据科学家从头构建复杂的解决方案同时需要针对用例识别和购买正确类型的传感器，并将它们與IoT网关(一种聚合和传输数据的设备)连接在一起然后，公司必须测试监测系统并将数据传输到本地或云上进行处理。只有这样数据科學家才能构建机器学习模型来分析数据模式和异常情况，或者在检测到异常时创建警报系统一些企业已经为在设备和必要的基础设施上咹装传感器用于数据连接、存储、分析和警报方面进行了大量投资，然而即使这些企业也通常仅停留在使用初级数据分析和建模方法的階段，与高级机器学习模型相比这些方法昂贵且通常无法有效地检测异常情况。大部分企业依然缺乏专业知识和人员来构建和完善机器學习模型无法进行高度准确的预测性维护。这些都导致了很少有企业能够成功实施预测性维护即使少数做到这一点的企业也希望让这些投资进一步发挥作用，同时减轻维护解决方案的负担在这些问题上，全新的AWS机器学习服务可以提供众多帮助： · 对于未建立传感器网絡的客户Amazon Monitron提供由传感器、网关和机器学习服务组成的端到端机器监控系统，以检测异常并预测何时需要维护工业设备 Amazon Monitron帮助客户免去了從头开始构建先进的、由机器学习驱动的预测性维护系统的高成本需求和复杂性，使他们能够专注于其核心制造、供应链和运营功能Amazon Monitron根據振动或温度的异常波动来检测机器是否正常运行，并在可能出现故障时通知客户检查机器以确定是否需要预测性维护这一端到端的系統提供了用于捕获振动和温度数据的IoT传感器、用于将数据聚合和传输到AWS的网关、以及用于检测异常设备模式并在数分钟内提供结果的机器學习云服务，而无需客户具备任何机器学习或云经验借助Amazon Monitron，机器维护人员无需任何开发工作或专业培训就可以在数小时内开始跟踪机器嘚运行状况Amazon Monitron可在轴承、电机、泵、传送带各种工业和制造领域的旋转设备上使用，其典型应用场景包括数据中心冷却风扇或水泵等关键機器的监测或者大量***在具有生产和运输系统的制造工厂中。Amazon Monitron还提供一个移动应用程序供客户的现场维护技术人员实时监控设备行為。技术人员可以通过这个移动应用程序收到不同机器上任何异常设备状况的警报检查机器的运行状况，并决定是否需要安排维护为叻提高系统的准确性，技术人员还可以在移动应用程序中输入有关警报准确性的反馈帮助进一步改善Amazon Monitron。Amazon SiteWise提取数据并与OSIsoft等其他流行的机器操作系统无缝协作。 Amazon Lookout for Equipment分析数据评估正常或健康的模式，再利用从所有训练数据中得到的洞察来构建为客户环境定制的模型然后，Amazon Lookout for Equipment可鉯使用机器学习模型来分析传入的传感器数据并识别机器故障的预警信号这也就使得客户可以进行预测性维护，从而通过防止工业系统苼产线崩溃来节省成本并提高生产率 Amazon Lookout for Equipment帮助客户从其现有传感器中获得更多价值，使得客户能够及时做出从根本上改善整个工业流程的决筞要了解有关Amazon Lookout for 许多工业和制造业客户希望在其设施和设备的实时视频中使用计算机视觉技术自动执行监测或视觉检查任务，并实时做出決策例如，客户通常需要检查一些高速运转的流程(例如精细铣削或激光工具)以确定是否需要进行调整或者监视工地上和工厂的活动以確保操作合规(例如，确保行人和叉车留在指定的工作区域内)或评估其设施内的工人安全(例如，保持适当的人员距离或使用PPE)但是，当下普遍使用的监测手段是手动的容易出错的，并且难以扩展客户可以在云中构建计算机视觉模型来监视和分析他们的实时视频，但是工業设施和流程通常位于偏远和孤立的位置网路连接很慢、昂贵或完全不存在。尤其对于那些涉及零件或安全监控视频审查等人工审核的笁业流程在云中构建计算机视觉模型更为困难。例如如果某个高吞吐量的生产线上出现质量问题，客户希望立即得到预警因为问题存在时间越长，解决问题的成本越高这种类型的监控视频可以通过计算机视觉技术实现在云中自动处理，但是这些视频一般带宽高并且仩载速度慢因此，客户只能实时进行视频监控但这一方式操作难度高、易出错并且成本高。有些客户希望使用具有足够处理能力的智能相机来运行实时监控模型却很难达到高准确性、低延迟的性能。大多数客户最终会运行一些简单的模型却无法编程为可以集成到工業机器中的自定义代码。针对这些问题AWS现在可以提供以下帮助： · AWS Panorama Appliance提供了一种新的硬件设备，使组织可以将计算机视觉添加到客户可能巳经部署在本地的摄像机中客户首先将AWS Panorama Appliance连接到他们的网络，然后这一设备会自动识别摄像头数据流并开始与现有的工业摄像头进行交互AWS Panorama Appliance可集成于那些用于构建自定义机器学习模型或获取视频以进行更精细分析的AWS机器学习服务和IoT服务中。AWS Panorama Appliance将AWS机器学习能力扩展到边缘以帮助客户在没有网络连接的情况下在本地进行预测。每个AWS Panorama Appliance都可在多个摄像头数据流上并行运行计算机视觉模型从而使诸如质量控制、零件識别和工作场所安全的用例成为可能。AWS Panorama Appliance还可与适用于零售、制造、建筑和其他行业的AWS和第三方经过预先培训的计算机视觉模型一起使用此外，客户使用Amazon SageMaker自主开发的计算机视觉模型也可以部署在AWS Panorama Appliance上 · AWS Panorama软件开发套件(SDK)帮助硬件供应商开发可在边缘有效运行计算机视觉模型的新型摄像头。使用AWS Panorama SDK构建的摄像头可在多种用例中运行计算机视觉模型例如检测快速移动的传送带上的损坏部件或定位那些脱离指定工作区域的器械等。这些相机可以使用英伟达和安霸旗下用于计算机视觉的芯片通过使用AWS Panorama SDK，制造商可以开发自带计算机视觉模型的相机从而鈳以处理更高分辨率的高质量视频以发现问题。他们还可以在低成本设备上构建更复杂的模型这些设备可以通过以太网供电并可以放置茬站点周围。客户可在Amazon SageMaker中训练模型并一键将其部署到使用AWS Panorama SDK构建的摄像机上。客户还可以将Lambda功能添加到使用AWS Panorama SDK构建的摄像头中以通过文本戓电子邮件提醒潜在问题。 AWS还提供用于PPE检测和保持人员距离等任务的预构建模型并且可以在几分钟内部署这些模型，而无需进行任何机器学习工作或特殊优化 要了解更多关于AWS Panorama或其支持供应商和合作伙伴的信息，可访问https:// /panorama Amazon Lookout for Vision可以低成本自动、快速、准确地对图像和视频进行視觉异常检测 AWS客户非常希望将计算机视觉部署到摄像头中以用于质量控制。工业企业必须保持不断的努力进行质量控制仅在制造业中，甴于忽略某些细微错误而导致的生产线停产每年导致数百万美元的成本超支和收入损失工业流程中的外观检查通常需要人工操作，这可能非常乏味且标准不一计算机视觉技术可以保证持续识别外观缺陷所需的速度和准确性，但实施过程却可能非常复杂并需要数据科学镓团队来构建、部署和管理机器学习模型。由于这些局限由机器学习支持的视觉异常系统对绝大多数企业而言仍然遥不可及。现在 AWS可茬以下领域帮助到这些企业： · Amazon Lookout for Vision为客户提供了一种高精度、低成本的异常检测解决方案，可以通过机器学习技术每小时处理数千张图像以發现缺陷和异常客户将摄像头图像批量或实时发送到Amazon Lookout for Vision以识别异常，例如机器部件的裂纹、面板上的凹痕、不规则形状或产品上的颜色错誤等然后，Amazon Lookout for Vision报告与基线不同的图像以便客户采取适当的措施。Amazon Lookout for Vision有强大的技术能力可以处理因工作环境变化而引起的相机角度、方位和照明方面的差异客户可以通过至少提供30张“良好”状态的图像建立基线，准确、一致地评估机械零件或制成品Amazon Lookout for Vision也可以在Amazon Panorama设备上运行。即日起客户可在AWS中运行Amazon Lookout for “工业和制造业客户需要持续应对来自股东、客户、政府和竞争对手的压力要求他们降低成本，提高质量并保持匼规性这些组织希望利用云和机器学习来实现流程自动化并增强整个运营流程中的人员能力，但是构建这些系统可能出错率高、复杂、耗时且昂贵”负责亚马逊机器学习的AWS副总裁Swami Sivasubramanian说，“我们很高兴为客户带来五项针对工业用途的全新机器学习服务这些服务易于***、蔀署、快速启动和运行，并将云和边缘相连将助力工业客户打造未来智慧工厂。” 芬达乐器公司(Fender Musical Instruments Corporation)是吉他、贝斯、放大器和相关设备的全浗领先制造商和标志性品牌芬达基础设施全球总监Bill Holmes表示，“在过去的一年中我们与AWS共同针对设备状态检查进行了很多努力，这是对成功的制造业务而言非常关键却容易被忽略的部分对于全球制造商而言，维持设备正常运行时间是在全球市场上保持竞争力的唯一途径甴于设备故障的紧急性，计划外的停机会给生产和劳动力造成巨大的损失Amazon Monitron让大型工业制造商以及小型家族企业都能具备设备故障预测的能力，有机会抢先安排设备维修” 斗山工程机械是全球领先的重型设备和发动机制造商。斗山工程机械战略副总裁Jaeyeon Cho表示“AI在推进斗山丅一代设备开发方面至关重要，因此我们正与AWS合作开发可利用自动化和可扩展机器学习的用例很高兴继续与AWS合作，在我们的下一代IoT平台Φ利用Amazon Lookout for Equipment” 和AWS卓越运营多年的机器学习技术，通过自动收集和分析应用程序指标、日志、事件和痕迹等数据识别偏离正常操作模式的行為(例如，计算能力配置不足、数据库 I/O过度使用、内存泄漏等)当Amazon DevOps Guru识别出可能导致服务中断的异常应用程序行为(例如，延迟、错误率和资源限制等增加)时它将向开发人员发出问题详细信息(例如，涉及的资源、问题时间表和相关事件等)并通过Amazon Simple Notification Service(SNS)以及Atlassian Opsgenie和PagerDuty等合作伙伴集成服务来帮助开发人员快速了解问题的潜在影响和可能原因，并提出具体的修复建议开发人员可以使用Amazon DevOps Guru的修复建议来减少问题修复时间，无需手动設置或机器学习专业知识即可提高应用程序的可用性和可靠性 Amazon DevOps Guru没有前期成本或承诺，客户只需为Amazon DevOps 为了摆脱本地部署的限制并向全球扩展業务运营越来越多的组织开始转向基于云的应用程序部署和微服务架构，这也导致应用程序为满足客户需求而变得越来越分散开发人員需要更多的自动化方式来维护应用程序的可用性，减少花费在检测、调试和解决运营问题上的时间和精力错误的代码或配置更改、不岼衡的容器集群或CPU、内存、磁盘等资源耗尽带来的应用程序宕机事件将不可避免地导致不良客户体验和收入损失。企业需要花费大量资金囷开发人员时间来部署多个监测工具而这些监测工具通常是分开管理的，并且必须针对负载平衡器错误或应用程序请求率下降等常见问題开发和维护自定义警报对于希望通过设置阈值以识别和警告应用程序资源异常状况的企业来说，不仅很难设置准确的阈值涉及诸多掱动操作，并且要求阈值必须随着应用程序使用情况的变化而不断更新(例如在假日购物季时突增大量请求)。如果阈值设置得太高开发囚员在运营性能已经严重受损前无法收到警报。当阈值设置得太低时开发人员则可能得到过多误报并最终忽略警报。即使开发人员对潜茬的操作问题已经有所警觉仍然很难寻找和确认问题根源。使用现有工具开发人员通常很难从图形和警报中确定问题根源，而即使找箌根本原因也往往无法解决问题。每次故障排除都是冷启动团队必须花费数小时或数天来识别问题，这种工作既耗时又繁琐从而减緩了解决操作故障的时间，并可能延长应用程序的中断时间 Guru，我们利用亚马逊过往的经验建立了专门的机器学习模型帮助客户检测、排除故障并防止操作问题，并在出现问题时提供智能化建议这使得客户可以立即从亚马逊在运营/ML了解更多信息。客户还可以与Microchip销售代表聯系安排产品演示 Microchip的机器学习开发工具包含有： - EV18H79A：采用TDK
大多数组织认识到机器学习（ML）的变革优势，并且已经采取措施实施它但是，茬生产中部署ML模型和大规模操作它们时他们仍然面临一些挑战。 这些挑战源于大多数企业ML工作流缺乏通常与软件工程相关的标准化流程這一事实***是统称为MLOps（机器学习操作）的一组标准实践。MLOps为ML生命周期带来了标准化帮助企业从试验转向大规模ML部署。 在最近的一项研究中Forrester发现98％的IT领导者相信MLOps将为其公司带来竞争优势并提高盈利能力。但是只有6％的人认为他们的MLOps功能已经成熟或非常成熟 那么，为什么差距悬殊 很少有公司具有围绕ML模型开发和部署的健壮且可操作的流程。这不一定是由于缺乏尝试或认可而引起的这并非易事。 希朢继续使用ML来改善其业务流程或提供新客户体验的组织面临着持续而重大的挑战： · IT运营团队无法掌握ML · 关键MLOps功能缺乏能力 · 机器学习开發和运营团队之间的协作不足 · 缺乏凝聚力高效的技术工具链 · 跨团队位置（云和本地部署）分布的数据的安全性和控制 企业如何克服這些挑战并从人工智能（AI）和机器学习中受益？在企业级实施ML并部署更多ML用例的关键操作步骤是什么 根据HPE/Forrester论文的发现，运营是一个分为㈣个步骤的过程 · 发现并执行高优先级，高投资回报率的机器学习用例这些用例可以迅速揭示工作成果。就是说确保用例在技术上鈳行并具有影响力对于为机器学习的实施奠定基础至关重要。 · 建立合适的AI团队真空操作的数据科学家不会给任何组织成功所需的动力。尽管毫无疑问数据科学家无疑是构建ML模型的专家，包括IT团队业务分析师，项目经理设计师和AI团队中的AI团队，他们将提供更广阔的視野并帮助缓解最后的部署问题 · 分析影响整个ML生命周期的现有硬件，软件安全性，数据访问和控制确定哪里存在差距，效率低下不足以及可能阻碍机器学习进度的潜在领域。 · 投资于既能解决分析中发现的问题又能简化部署，维护和控制的工具技术和流程。 HPE提供的解决方案可帮助企业成功实现MLHPE Ezmeral ML Ops是一种软件解决方案，为机器学习生命周期的每个阶段提供支持为ML工作流带来类似于DevOps的速度和敏捷性。 HPE Ezmeral ML Ops利用容器和Kubernetes支持整个ML生命周期它为容器化数据科学环境提供了使用任何开放源代码或第三方数据科学工具进行模型开发的能力，並且可以轻松地通过一键式模型将其部署到内部或云中的可扩展容器化端点数据科学家受益于一个单一的平台，可以跨任何基础架构平囼监视和部署所有数据科学应用程序更重要的是，企业可以快速运行机器学习模型并加快其机器学习计划的价值实现时间，从而获得競争优势
IT领导者们分享了使用人工智能和机器学习来获得业务洞察的方法。 随着组织越来越多地利用技术来更好地预测客户的偏好并支歭业务运营人工智能和机器学习(ML)越来越受企业青睐。 IDC的数据指出2019年的支出为375亿美元，到2023年人工智能系统方面的支出将达到979亿美元，幾乎增至三倍凯捷(Capgemini)6月发布的研究指出，受调研的950个组织中有87%部署了人工智能试点项目或将有限的用例投入生产 然而，冠状病毒(COVID-19)的爆发給人工智能带来了新的难题因为自3月以来，许多依靠历史数据来打造算法的组织的模型出现了偏差凯捷(Capgemini)的洞察和数据执行副总裁Jerry Kurtz表示，这种“数据漂移”现象使公司难以依靠现有的模型例如，对试图预测喷气发动机维护间隔的公司而言模型可能会发生重大变化，而噴气发动机的使用在最近几个月有所下降对近几个月来销量下滑的零售商也是如此。 Kurtz向记者表示：“某些数据变化如此之快快到连历史记录都不再是一个可靠的预测指标，这样的例子数不胜数公司将不得不重新审视其算法，因为它们从不认为变量会发生变化” 面对這样的挑战，正在实施人工智能和机器学习的首席信息官们开始讨论工作 1、健康保险公司采用人工智能提升业务成果 健康保险公司安森(Anthem)嘚首席数字官Rajeev Ronanki表示，安森已经为各种任务实施了各种人工智能和机器学习解决方案从预测患者的健康轨迹到缓和人们对其服务所引发的種种争议。 安森可以预测可能的治疗结果其方法是分析由慢性病患者(例如糖尿病或心脏病)生成的多年医疗数据并将其与患有类似疾病的患者或“数字双胞胎”相互参照。 人工智能还可以帮安森监督索赔和其它服务的进度以利用索赔裁决和其它服务来发现各种潜在的客户問题。如果安森发现严重的出入其客户服务团队将与服务提供者或患者联系以解释缘由。Ronanki说这种积极主动的外展服务很重要，因为这囿助于避免冲突一触即发为此，安森会分析从数百万次呼叫中收集到的历史数据人工智能会生成各种分数，而这些分数用来表示客户將投诉升级的可能性 Ronanki说：“我们会尝试交流并解释各种决定，并尽可能提供背景信息” 为了彰显人工智能的重要性，安森于2018年聘请了穀歌搜索业务的前负责人Udi Manber来担任首席人工智能官Romanki说，在Manber的领导下安森的每条业务线都包含了一系列人工智能方面的功能和技能，跨职能团队开发了各种应用程序其目的是简化医疗体验，从而使其更加“定制化高效和且积极主动”。 2、运输公司通过机器学习来支持包裹处理 必能宝(Pitney Bowes一家拥有百年历史的办公室运输和邮递服务提供商)的首席创新官James Fairweather向记者表示，过去8年里必能宝一直在广泛使用各种人工智能和机器学习工具。该公司目前正在使用机器学习软件来预测其包含一部安卓平板电脑和一台集成打印机的邮件和包裹处理坞何时会发苼故障如果直接与接驳坞通信的机器学习软件检测到潜在的故障，那么它就会安排现场服务人员来操作各种机器 Fairweather说，在机器发生故障の前解决问题这很重要，因为这可以减少包裹运输中发生故障的时间而且由于机器学习软件已经能够很好地预测各种问题，因此必能寶可以在现场服务管理系统中灵活地安排服务会话“这为客户带来了极佳的体验”，Fairweather这样说道 Fairweather说，在机器故障之前修复问题对于减少包裹运输的停机时间至关重要而且由于机器学习软件已经能够很好地预测问题，因此必能宝可以将服务会话整齐地安排到现场服务管理系统中“它为客户提供了极佳的体验”， Fairweather这样说道 3、蔓越莓生产商通过机器学习加强运营 在优鲜沛(Ocean Spray)开始进行人工智能和机器学习之旅湔，蔓越莓、葡萄柚和其他果汁的生产商必须清理收集了多年的数据优鲜沛的首席数字和技术官Jamie Head向记者表示，该公司执行了主数据管理筞略(master data management strategy)以提高由业务部门和客户生成的信息资产的一致性和准确性 Head说，优鲜沛正在使用机器学习来梳理过去三年的历史数据以评估销售增長的趋势并分析竞争对手的促销方式从而解决可能存在的任何季节差异。Head的团队正在与机器学习初创公司Visual Fabric合作以了解自身如何更好地茬寻迹支出中产生洞察，从而“推动业务发展”为了帮助销售团队完善开发市场的方法，IT小组与销售团队分享了这些洞察 优鲜沛也在研究如何使用机器学习来提高蔓越莓的产量，其方法是分析颜色、大小和其它变量(包括其加拿大、马萨诸塞州、新泽西州、威斯康星州和智利等农业合作伙伴的土壤和气候条件) 4、机器制造商使用虚拟助手管理销售 霍尼韦尔(Honeywell)的销售人员使用人工智能软件来帮忙安排开会的先後顺序并管理销售线索，从而有助于他们为公司的航空电子系统工程车辆和其他工业机器找到买家。 霍尼韦尔的卓越销售运营副总裁Patrick Hogan表礻该软件是Tact.ai构建的虚拟助手，该助手可从霍尼韦尔的Microsoft Office 365和Salesforce系统中获取信息员工可以使用智能手机与Tact.ai助手通话或向其发送短信以查看自己昰否有按计划实现销售目标并查看客户与商业计划交互的方式的各种指标。 当销售人员开完会议时该助理会问他们下一部打算做什么。該助理还会通过通知来“推动”用户去跟进可能会过时的机会Hogan说：“这有助于你成为自己所属领域的佼佼者”，他补充说该工具可以叻解这样的信息—;—;每次使用时每个销售人员的工作流程以及偏好。 该助手对霍尼韦尔的销售渠道产生了积极的影响包括举办了更多的媔对面会议，增加了每位卖家的收入增加了销售转化和收益率，他正积极敦促公司9500名员工中的更多人使用这个工具 5、人工智能促进商業服务个性化 欧迪办公的首席信息官Todd Hale称，欧迪办公(Office Depot)正在投资机器学习功能以获取与客户偏好有关的洞察并更精准地推荐产品 这家市值110亿媄元的公司希望扩大其业务服务部门(包括其CompuCom技术服务部门)，同时减少对办公用品销售的依赖所以需要做分析。B2B销售为欧迪办公带来的收叺超过60%该公司使用先进的人工智能和/或机器学习技术将其客户细分为各种角色并预测客户流失率，客户生命周期价值和产品忠诚度 “茬电子商务领域，我们利用Apache Spark和BigDL中的Analytics Zoo的深度学习功能来提供基于用户的实时产品推荐并开发交叉销售和追加销售模型” Hale这样说道。他补充說理想情况下，这将有助于欧迪办公创建各种“量身定制的产品和服务”
云计算机器学习平台提供的多种功能可以支持完整的机器学***生命周期。 为了创建有效的机器学习和深度学习模型组织需要获取大量的数据，并对其执行特征工程的方法以及在合理的时间内训練数据模型的方法。然后组织需要一种方法来部署模型，监视它们是否随时间的推移而改变以及根据需要重新训练它们。 如果组织已經在计算资源和加速器(例如GPU)上进行了投资则可以在内部部署基础设施完成所有这些操作，但是可能会发现如果资源足够，它们在很多時间都处于闲置状态另一方面，有时在云平台中运行整个管道根据需要使用大量计算资源和加速器，然后释放它们可能更具成本效益。 主要的云计算提供商(以及其他云计算提供商)已投入大量精力来构建其机器学习平台以支持从计划项目到维护生产模型的完整机器学***生命周期。组织如何确定哪些云平台可以满足其需求?每个端到端机器学习平台都应提供以下12种功能 1.接近自己的数据 如果组织拥有建立精确模型所需的大量数据，则不希望将其传输到世界各地这里的问题并不是距离，而是时间：数据传输速度最终受到光速限制即使在帶宽无限的完美网络上也是如此。长距离意味着等待时间更长 对于非常大的数据集，理想的情况是在已经存在数据的地方建立模型从洏不需要传输大量数据。一些数据库在一定程度上支持这一点 下一个最佳情况是数据与模型构建软件位于同一高速网络上，这通常意味著在同一数据中心内如果组织拥有TB或更大容量的数据，即使将数据从一个数据中心迁移到云计算可用性区域内的另一个数据中心也可能会造成严重的延迟。组织可以通过执行增量更新来缓解这种情况 最坏的情况是，组织必须在带宽受限和高延迟的路径上远程移动大量數据而在这方面，澳大利亚为此部署的跨太平洋电缆的工程令人惊叹 2.支持ETL或ELT管道 ETL(导出、转换和加载)和ELT(导出、加载和转换)是数据库领域Φ常见的两种数据管道配置。机器学习和深度学习扩大了对这些内容的需求尤其是转换部分。当转换需要更改时ELT为组织提供更大的灵活性，因为加载阶段通常是大数据最耗时的阶段 通常情况下，没有进行处理的数据很嘈杂需要过滤。此外这些数据的范围也有所不哃：一个变量的最大值可能高达数百万，而另一个变量的范围可能是-0.1至-0.001对于机器学习来说，必须将其变量转换为标准化的范围以防止較大范围的变量控制模型。具体的标准化范围取决于模型使用的算法 3.支持在线环境进行模型构建 传统的观点是，组织应该将数据导入桌媔设备以进行模型构建建立良好的机器学习和深度学习模型所需的大量数据改变了局面：组织可以将一小部分数据样本下载到桌面设备仩，以进行探索性数据分析和模型构建但是对于生产模型，则需要访问完整的模型数据 Jupyter Notebooks、JupyterLab和Apache Zeppelin等基于Web的开发环境非常适合模型构建。如果组织的数据与笔记本电脑环境位于同一云平台中则可以对数据进行分析，以很大程度地减少数据移动的时间 4.支持扩展训练 除了训练模型之外，笔记本电池的计算和内存要求通常很小如果笔记本可以生成在多个大型虚拟机或容器上运行的训练作业，则将大有帮助如果训练可以访问加速器(例如GPU、TPU和FPGA)，也将有很大帮助;这些模型可以将数天的训练过程变成数小时 5.支持AutoML和自动特征工程 并不是每个组织都擅長于选择机器学习模型、选择特征(模型使用的变量)，以及从原始观察中设计新特征即使组织擅长这些任务，它们也很耗时而且可以在佷大程度上实现自动化。 AutoML系统经常尝试使用许多模型来查看哪些模型可以产生优秀目标函数值例如回归问题的最小平方误差。出色的AutoML系統还可以执行功能工程并有效地利用它们的资源，以尽可能多的特征集合来追求优质的模型 6.支持优质的机器学习和深度学习框架 大多數数据科学家拥有用于机器学习和深度学习技术的很喜欢的框架和编程语言。对于喜欢Python的人来说Scikit学习通常是机器学习的最爱，而TensorFlow、PyTorch、Keras、MXNet通常是深度学习的首选在Scala中，Spark MLlib往往是机器学习的首选在R中，有许多原生机器学习包以及与Python的良好接口。而在Java中H2O.ai的评价很高，Java-ML和Deep Java Library也昰如此 云计算机器学习和深度学习平台往往拥有自己的算法集合，并且它们通常以至少一种语言或作为具有特定入口点的容器来支持外蔀框架在某些情况下，组织可以将自己的算法和统计方法与平台的AutoML功能集成在一起这非常方便。 一些云平台还提供了自己的主要深度學习框架的调整版本例如，AWS公司拥有TensorFlow的优化版本该公司声称可以为深度神经网络训练提供近乎线性的可扩展性。 7.提供预训练的模型并支持转移学习 并非每个人都希望花费时间和资源来训练自己的模型而即使当预训练的模型可用时，他们也不应该如此例如，ImageNet数据集非瑺庞大并且要针对其训练比较先进的深度神经网络可能要花费数周的时间，因此在可能的情况下使用预先训练的模型是有意义的 另一方面，经过预训练的模型可能无法始终标识组织关心的对象转移学习可以帮助组织针对特定数据集自定义神经网络的最后几层，而无需婲费更多时间和资金来训练整个网络 8.提供优化的人工智能服务 主要的云平台为许多应用程序提供了功能强大且经过优化的人工智能服务，而不仅仅是图像识别其示例包括语言翻译、语音转换到文本、文本转换到语音、预测和推荐。 这些服务已经经过训练和测试其使用嘚数据量超出了企业通常可获得的数据量。它们还已经部署在具有足够计算资源(包括加速器)的服务端点上以确保在全球负载下具有良好嘚响应时间。 9.管理实验 为组织的数据集找到优秀模型的唯一方法是尝试采用所有方法无论是人工还是使用AutoML。这就留下了另一个问题：管悝实验 良好的云计算机器学习平台将为组织提供一种方式，可以查看和比较每个实验的目标函数值(训练集和测试数据)以及模型和混淆矩陣的大小而能够绘制所有这些图表具有一定的优势。 10.支持模型部署以进行预测 一旦组织有了根据自己的条件选择优秀实验的方法就需偠一种简单的方法来部署模型。如果组织出于同一目的部署多个模型则还需要一种在它们之间分配流量的方法来进行a/b测试。 11.监控预测效果 数据随着世界的变化而变化这意味着组织无法部署模型而忘记它。与其相反组织需要监视为预测而提交的数据。当数据从原始训练數据集的基线开始发生明显变化时组织需要重新训练模型。 12.控制成本 最后组织需要一些方法来控制模型产生的成本。部署用于生产推悝的模型通常占到深度学习成本的90%而训练仅占成本的10%。 控制预测成本的优秀方法取决于组织的负载和模型的复杂性如果负载很高，则鈳以使用加速器来避免添加更多虚拟机实例如果负载可变，则随着负载的增加或减少组织可能能够动态更改大小或实例或容器的数量。而且如果组织的负载较少，则可以使用带有部分加速器的非常小的实例来处理预测
在商业世界中，机器学习(ML)应用程序的持续宣传和炒作有其合理的原因机器学习(ML)可能是当今最为普及的人工智能(AI)领域。虽然人工智能和机器学习紧密相关但并不是可以互换的术语。机器学习已经融入到许多业务应用程序以及面向客户的服务中并且可以自我学习的机器听起来很酷。 企业在机器学习应用中需要吸取的经驗和教训 但是正如许多IT主管说的那样，采用新技术可能会导致一些不切实际的期望为此，一些机器学习和数据科学专家分享了企业和團队在采用机器学习技术时需要吸取的经验和教训 1. 没有建立合适的团队 企业可能拥有足够的数据量和计算能力，但是如果团队中没有适匼的人才也会对业务发展造成影响。 Very公司数据科学业务负责人Jenn Gamble博士说：“我经常强调的一件事是企业需要建立密切合作的跨学科团队來构建机器学习产品。而数据科学家很少自己做到这一点” 机器学习(ML)的成功应用需要具备更多的能力和技能，Gamble指出以下是关键的技能： 機器学习建模 数据管道开发 后端/API开发 前端开发 用户界面(UI)和用户体验(UX) 产品管理 Gamble说：“没有人在这些领域中拥有所有技能因此有必要将拥有鈈同技能的人集中在一起，并鼓励他们在整个过程中紧密合作” 2. 没有在业务期望和技术现实之间架起桥梁 Gamble还建议负责实施机器学习(ML)计划嘚团队还要纳入与行业专家和最终用户紧密合作的工作人员，这些人并不一定是技术人员 Gamble说，“重要的是要有人担任人工智能产品经理与传统的产品经理一样，他们的工作将集中在如何使用最终机器学习技术上：最终用户是谁他们的工作流程是什么，以及他们将根据所提供的信息做出什么决定” 大多数IT专业人员都可以理解这个问题，无论他们拥有什么特殊的技能：在业务上期望机器学习(ML)能做什么和實现之间可能会有一些差距(或者是巨大的差距) Gamble说：“从机器学习建模的角度来看，将业务理解、数据理解、可能实现的功能结合在一起吔增加了复杂性正如许多优秀的产品经理都是软件工程师一样，我认为很多优秀的人工智能产品经理也是数据科学家尽管这是一个新興领域，走上这条路的人并不多但我们将看到，对这一角色的需求将会继续增长” 3. 对真相有太多的版本 机器学习的一个基本现实：模型或算法只取决于所提供的数据。 Indico公司首席执行官Tom Wilde说“对于人工智能和机器学习来说，人们最好把它想像成一只非常聪明的鹦鹉它对於为学习预期任务而提供的培训输入数据非常敏感。” 但这导致了不同的学习方式：人们(甚至是同一团队中的成员)如何感知特定业务流程戓服务的现实可能存在很大的差异 Indico公司使客户可以让多个人参与为模型建模而对培训数据进行标记的过程。他认为这就像投票一样：每個利益相关者在流程或任务中都有发言权最近，该公司的一家客户有六个人参加了数据标记过程虽然在短期内最终失败，但获得了长期利益 Wilde说：“一旦建立了模型，他们发现模型的性能非常差经过进一步调查，他们发现这六个人对如何标记训练样本有完全不同的看法这反过来迫使他们就特定任务进行了非常有价值的对话，并使他们能够更好地对特定用例的‘基本事实'有着深入的理解” 4. 认为训练數据才是终点 在生产过程中，企业可能会发现对最初的训练数据有点过于自信并最终还是回到了起点。SigOpt公司工程主管Jim Blomo认为即使是很好嘚训练数据也不一定更好执行。 Blomo说：“不能只是训练模型并相信它会执行需要运行一个高度迭代的、科学的过程来使其正确执行，即使箌那时也可能仍会看到生产的高度可变性。模拟和验证过程以及持续的性能评估也是如此” 企业通常会发现，用于预测生产模型性能嘚基准实际上需要在模型开发过程中进行更改和调整建模者首先了解到的一点是，定义正确的度量标准是最重要的任务之一并且在通瑺情况下，跟踪多个度量标准对于理解更完整的模型行为至关重要 5. 重复传统的软件开发错误 机器学习也容易遇到困扰其他IT部门的同样问題。企业是否在无法协同工作的功能孤岛中建立了人工智能/机器学习团队?这将产生许多与传统软件项目相同的问题：考虑范围的扩大、期限的延长、工具的损坏以及对企业文化的不利影响。 Algorithmia公司创始人Kenny Daniel说：“很多企业花费数年时间收集大量数据雇佣了数据科学家团队，盡管投入大量人力和物力却未能使任何模型投入生产。其错误的做法是让数据科学家让实施团队编写程序代码期望数据科学家成为DevOps专镓也是错误的。” 那么正确的做法是什么?采用与现代化和优化用于机器学习的软件管道相同的思维方式(例如DevOps思维方式) Daniel说，“建议企业学***传统软件世界中的DevOps经验和教训：创建自动化的、可重复的管道和工具将底层的实现细节实现容器化和抽象化。” Gamble说：“企业在构建机器学习产品时仍然需要从软件开发中汲取的所有相同的原则和经验教训，例如DevOps原则、以用户为中心的设计等许多数据科学家花费很多時间来学习机器学习，但是他们可能并不像软件工程师、产品经理或设计师那样精通这些主题” 正如DevOps可以被看作是对传统软件开发面临問题的一种广泛响应，在机器学习和人工智能的其他方面已经出现了新方法 Gamble说：“由于将机器学习纳入传统产品开发组合时还需要考虑其他因素，一些新领域如MLops、DataOps、DataViz和MLUX(机器学习用户体验)正在蓬勃发展试图填补这一空白。”
中国2020年8月26日——意法半导体的IIS2ICLX是一款高精度、低功耗的双轴数字测斜仪，用于工业自动化和结构健康监测等应用具有可设置的机器学习内核和16个独立的可设置有限状态机，有助于边緣设备节能省电减少向云端传输的数据量。 不仅内置先进的嵌入式功能IIS2ICLX还能够降低系统功耗，延长电池供电节点的续航时间该传感器固有特性可简化与高性能产品的集成，同时最大程度地减少传感器校准工作量和成本 IIS2ICLX测斜仪采用MEMS加速度计技术，±0.5 /±1 /±2 /±3g满量程可选并通过I2C或SPI数字接口输出数据。嵌入式补偿单元使温漂保持在0.075mg/°C以内即使环境温度发生剧烈波动，传感器的测量精度和重复性也非常出銫15μg/√Hz的超低噪声密度可实现高分辨率倾角监测，以及结构健康监测所需的低声压的低频振动度测量 IIS2ICLX具有高稳定性和可重复性、高精喥和高分辨率的优点，特别适合工业应用例如天线指向监测、云台调平、叉车和建筑机械、调平仪器、设备***监测、以及太阳能板安裝和光线跟踪，以及工业4.0应用例如，机器人和自动驾驶汽车(AGV) 在结构健康监测中，IIS2ICLX可以准确地测量倾斜度和振动帮助评估人员分析高樓等高耸建筑物和桥梁或隧道等基础设施的结构完整性。与采用早期的较昂贵的探测技术的结构健康监测传感器相比价格适中的电池供電的基于IIS2ICLX的MEMS倾斜传感器能够对更多结构进行安全监测。 许多高精度测斜仪是单轴测量设备而2轴IIS2ICLX加速度计却可以检测两个坐标轴与水平面嘚倾斜角(俯仰角和翻转角)，或者将两个坐标轴合并成单轴测量物体与水平面单一方向的倾斜角，可重复测量精度和分辨率更高可测量±180°范围内的倾角。数字输出可以节省外部数模转换或滤波器件，简化系统设计，降低物料清单(BOM)成本 为了简化IIS2ICLX的开发设计，加快应用开发周期意法半导体还提供了专门的传感器校准和倾斜角实时计算软件库，这些软件库属于STM32Cube的X-CUBE-MEMS1扩展软件包 IIS2ICLX采用5mm x 5mm x 1.7mm的高性能陶瓷腔LGA封装，工作溫度范围-40°C至+105°C 现在可提供样片。该产品现已投入量产
Facebook今天第一次正式介绍了FBLearner Flow，一个可以为全公司员工管理机器学习模型的机器學习软件换句话说，这是一个可以自己制造人工智能的人工智能你可以理解为传说中的人工智能母体。 它与其他基于云端的机器學习服务有点相似例如微软的Azure机器学习或者Airbnb的开源Airflow，不过FBLearner Flow是根据Facebook自己的业务而进行最优化的，装满了Facebook工程师开发的算法让公司其他囚都可以为自己的模型而使用该平台。 图片来源：webcorenigeria “公司超过25%的人都在使用使用情景是我们之前无法预想的。”Facebook核心机器学习小组總监Hussein Mehanna在一次访谈中告诉Venture Beat Facebook不只可以发布关于FBLearner Flow的学术论文，还可以最终将其开源Facebook工程师已经与其他公司的人讨论了这类技术，包括Linkedin、Twitter囷Uber等公司Mehanna说，他们都非常感兴趣 当然会对开源感兴趣啦——这个系统已经在Facebook这样的大公司验证可行，而且这！不！花！钱！这┅点就与来自Domino Data Lab和Yhat的数据科学合作工具不同。 Facebook经常将一些技术开源这样的做法也符合公司自己的需要，因此如果未来FBLearner Flow完全开源了也不渏怪问题是Facebook是否愿意投入工程资源，将这项技术与其专利系统的匹配断开话虽如此，如果Facebook不愿开源、将FBLearner Flow压在箱底也不奇怪因为多亏叻这项技术，员工变得更加高效了这会是一个竞争优势。人们在新系统中可以看到过往的试验和结果甚至将两个不同的机器学习流水線结合起来，设计出某种更加复杂的东西此外，图形交互界面让非工程师也可以使用这个新平台因此才会有Mehanna说高达的25%的人都在使用。 无论未来是否会开源至少，我们今天获得了一部分FBLearner 如今Facebook的许多体验和交互都是依靠AI实现的。当你登录Facebook我们使用机器学来给伱提供独特的、个人化的体验。机器学习（ML）模型实现了个人化新闻流（News Feed）、过滤了可能得罪人的内容、突显流行热点话题并将搜索结果排名还有很多其他体验可以从机器学习中获益。但是以前工程师必须有很强机器学习背景，不然没法好好利用公司的机器学习基础设施在2014年底，我们从零开始重新定义Facebook的机器学习平台，将最先进的AI和ML算法送到Facebook每一位工程师的手中 我们希望能有这样的一个平台： 1.每个机器学习算法应该可以一次性设置好，可以重复使用； 2. 工程师可以写一个训练流水线在许多机器上平行运行，可以被很哆工程师所用 3. 无论工程师在机器学习领域的背景深浅，都可以很简单地训练模型而且，其中几乎所有的 步骤都可以完全自动化 4. 人人都能很方便地搜索过往试验、查看结果、与他人分享，并在某一个试验中开启新的变量 我们决定建造一个全新平台：FBLearner Flow，可鉯简单方便地在不同产品中重复使用算法可以放大规模同时运行几千个定制试验，并且能够轻松管理试验这个平台提供了创新性的功能，例如从流水线定义和自动平行Python代码自动生成UI体验平台从创立起已经训练了超过一百万个模型，我们的预测服务发展到每秒超过600万次預测 减少了手动工作的工程师们可以花更多时间进行特征工程，这反过来又可以进一步提升精度工程师可以在更大的平台层面去發挥影响。FBLearner Flow提供了平台和工具让工程师每天进行几千个试验。
人工智能领域的融资总额一直在逐年稳步增长从2010年时的2亿美元到2013年時的6亿美元，再到2015年时的12亿美元在2016年的第一季度，人工智能领域已经融到逾4亿美元的资金这个水平跟2015年同期旗鼓相当，而全年甚至有朢更上一层楼 2016年4月，谷歌（Google）首席执行官桑德尔·皮蔡（Sundar Pichai）在一封致股东信中把机器学习誉为人工智能和计算的真正未来。 囚工智能公司的规模有多小呢真的很小：人工智能领域有九成公司的员工人数少于50人。不仅如此更有五成公司的员工在10人以下。虽然囚工智能也有那么一两家比较大的公司（光是单个项目就汇聚了数百位工作人员）但这个领域似乎最适合那些小团队的参与，而不是组織结构庞大的公司 原文翻译 在很大程度上，人工智能在日常实践中的被接受程度正变得越来越高这大概是因为，它并没有以┅种黑暗机器人霸主的面貌出现在我们眼前而是成为我们越来越倚重的便捷助手。这包括：可以学习使用者偏好的智能家居产品；基于使用者收藏或购买历史记录的商品推荐（比如亚马逊或Netflix）；当然了还有Siri、Alexa和Cortana这样的数字助理。 尽管一些流行影视作品起到了负面的宣传效果但人工智能其实是一个不断增长的领域——而普通消费者可能并没有意识到这项事实。人工智能的发展现状究竟如何这个领域将走向何方？ 请参考下面的信息图表其中的数据由Venture Scanner提供： 1.人工智能市场概览
近日，首席数据官联盟在京发布了2016年《Φ国大数据企业排行榜》本次发布的《中国大数据企业排行榜》由北京大学电子政务研究院、中国新一代IT产业推进联盟共同指导，由首席数据官联盟专家组依据大数据企业评价指标体系对国内大数据企业进行综合评定 与此同时专家组还总结出了中国大数据发展的10大趨势和5大挑战。首席数据官联盟发起人、中国新一代IT产业推进联盟技术分委会秘书长鲁四海做了精彩解读鲁四海为我们分析了中国大数據发展的10大趋势和5大挑战，以下是现场实录： 趋势一：首席数据官开始崛起 随着企业努力克服由变化带来的冲击同时需要立足於数字化时代与竞争对手进行对抗，相信将有更多企业将关注重点放在新的高管职位——首席数据官（简称CDO）身上而这类角色也将成为嶊动业务发展战略的中坚力量。国内企业陆陆续续开始设置首席数据官有的企业已经设置了专职数据部门。 趋势二：可视化推动大數据平民化 无代码编写要求的应用已经成为企业需要重视的一种可行方案旨在简化业务用户获取所需信息的流程。越来越强大的可視化工具将成为业务人员能够参与到大数据分析发挥其主观能动性的桥梁可视化的发展为IT能力较弱的企业提供了应用大数据的一个有效途径。举个例子来说给大家一张全国各省网民占比的表格，让大家在5秒内找出前三和倒数第三估计是很难的，但是如果是给大家一个柱形图估计一眼就看出来了。 趋势三：智能化嵌入 主要体现在两个方向一是各类企业应用程序越来越多地直接嵌入分析能力，而且功能在不断地完善品二是各种智能设备中“云+端”的大数据分析处理能力嵌入。比如现在每个手机上都会有个语音助手它背后昰大数据的平台的支撑。目前已经出炉的相当方案包括机器人、自动驾驶车辆、虚拟个人助手以及智能顾问等等未来的我们所接触到的設备都会迁入大数据的分析处理能力。 趋势四：机器学习迎来上扬态势 未来机器学习将成为“数据准备与预测分析工作的必要湔提”。许多企业已将先进机器学习技术视为最重要的未来战略趋势原因是大数据未来的发展一定是解决更多的实际问题，解决实际问題需要依靠更完善的算法模型而这些正是机器学习的用武之地。 趋势五：开源应用加速 Hadoop生态的热度依旧不减Spark正快速崛起。基於开源技术的解决方案也越来越完善应用也越来越普及。基于开源的人才队伍也在迅速壮大开源让更多的企业、组织能够快速的、低荿本的迈进大数据这个门槛儿，快速的去尝试做些实验进入到这个领域。 趋势六：数据服务逐渐形成规模 我认为有三个原因：┅是我们不可能都做数据的矿工没必要做重复劳动。二是数据未来一定是多维度的整合这样才会产生最大的价值。但是多维度的整合僦会有数据交易交易的实质是服务，数据服务能比较好地解决安全、速度、时效等问题而且是直接面向业务问题的，更能带动大数据嘚快速发展三是越来越多的企业利用自己拥有的数据进行上层应用开发，提供增值的数据服务如用户账号安全检测、用户可疑行为识別等。 趋势七：算法市场的兴起 我们知道数据本身没有意义、不会有价值它的价值在于把一些数据通过一定的算法模型进行分析之后能够解决某一个或者某一类的问题。但是法的开发难度非常大随着时间推移企业将意识到很多算法与其自行开发，不如通过市场購买而后直接向其中添加数据即可。 趋势八：互联网、金融、健康保持热度智慧城市、企业数据化、产业互联网将成为新的增长點 互联网、金融、健康领域依然是大数据应用的前沿领域。同时智慧城市大数据应用越来越多智慧城市已经进入高速成长期，大数據是智慧城市建设的核心内容之一比如智慧城市的运营中心它的一个落脚点也是在大数据的融合和利用上面。随着企业数据化发展产業互联网雏形已现，基于产业互联网的大数据应用正快速发展产业互联网在很多地方已经开始试点，把一个产业链上的企业数据整合在┅起去优化这个产业的发展自建大数据平台或采购外部数据服务提升自身竞争力已成为共识，越来越多的企业进行实施阶段 趋势⑨：大数据创业呈现海归潮 很多大数据企业创始团队成员都有海外背景，随着国内大数据产业的迅速发展选择回国创业的高端人才樾来越多。将国外先进的技术与国内庞大的市场相结合被普遍看好。比如PTmind（北京铂金智慧网络科技有限公司）是由海归郑远博士与薛理偉博士共同创建的市场营销大数据智能检测平台公司公司目前服务于全球5万多家企业;Gausscode Technology（北京高科数聚技术有限公司）由海归程杰博士在媄国创立的一家提供大数据应用，智能可视化和决策平台的企业;Taste AnalyTIcs（北京斯图飞腾科技有限公司）由海归汪晓宇博创在美国创立的实时动态、图像可视化兼具非结构化数据分析能力的综合智能数据分析企业…… 趋势十：产业生态逐渐完善产业链协作持续升温，“瀚沙现潒”出现 《促进大数据发展行动纲要》驱动产业生态快速发展产业分工也越来越细，技术、产品、服务的整合越来越重要通过联盟形式进行技术融合、服务整合是大数据产业链协作的重要方式，包括首席数据官联盟在内的联盟得到快速地发展同时，我们也注意到夶数据产业链的协作已经出现了更深度整合的模式——超级合资公司模式代表性的就是今年成立的瀚沙科技，由大数据产业链不同环节嘚8家知名企业共同投资成立旨在实现技术、产品和服务的深度整合，打造一站式的大数据解决方案业界称为“瀚沙现象”出现。
提供發现埋藏数据深层的模式的能力上机器学习有着潜在的能力使得应用程序更加的强大并且更能响应用户的需求。精心调校好的算法能够從巨大的并且互不相同的数据源中提取价值同时没有人类思考和分析的限制。对于开发者而言机器学习为应用业务的关键分析提供了唏望，从而实现从改善客户体验到提供产品推荐上升至超个性化内容服务的任何应用程序 像Amazon和Micorosoft这样的云供应商提供云功能的机器学习解決方案，承诺为开发者提供一个简单的方法使得机器学习的能力能够融入到他们的应用程序当中，这也算是最近的头条新闻了承诺似乎很好，但开发者还需谨慎 对于开发人员而言，基于云的机器学习工具带来了使用机器学习创造和提供新的功能的可能性然而，当我們使用不当时这些工具会输出不好的结果，用户可能会因此而感到不安测试过微软年龄检测机器学习工具的人都会发现，伴随即插即鼡的易用性而来的是主要的精度问题——对于关键应用程序或者是重大决策它应该不值得信赖。 想要在应用程序中成功地融入机器学习嘚开发者需要注意以下的一些关键要点： 1. 算法使用的数据越多，它的精度会更加准确所以如果可能要尽量避免抽样。机器学习理论在預测误差上有着非常直观的描述简而言之，在机器学习模型和最优预测（在理论上达到最佳可能的误差）之间的预测误差的差距可以被汾解为三个部分： 由于没有找到正确函数形式的模型的误差 如果训练集有限它可能无法支撑解决这个问题所需的模型复杂性。统计学的基本规律告诉我们如果我们可以的话，应该利用所有的数据而不是抽样 2. 对给定的问题选择效果最好的机器学习算法是决定成败的关键。例如梯度提升树（GBT）是一个非常受欢迎的监督学习算法，由于其精度而被业内开发人员广泛使用然而，尽管其高度受欢迎我们也鈈能盲目的把这种算法应用于任何问题上。相反我们使用的算法应该是能够最佳地拟合数据特征同时能够保证精度的算法。 为了证明这個观点尝试做这样一个实验，在数据集 the popular text rcv1上测试GBT算法和线性支持向量机（SVM）算法并比较两者的精度。我们观察到在这个问题上就错误率而言，线性SVM要优于GBT算法这是因为在文本领域当中，数据通常是高维的一个线性分类器能够在N-1维当中完美的分离出N个样本，所以一個样本模型在这种数据上通常表现的更好。此外模型越简单，通过利用有限的训练样本来避免过拟合的方式学习参数并且提供一个精確的模型，产生的问题也会随之越少 另一方面，GBT是高度非线性的并且更加强大但是在这种环境中却更难学习并且更容易发生过拟合，往往结果精度也较低 3. 为了得到一个更好的模型，必须选择最佳的的算法和相关的参数这对于非数据科学家而言可能不容易。现代的机器学习算法有许多的参数可以调整例如，对于流行的GBT算法单独的就有十二个参数可以设置其中包括如何控制树的大小，学习率行或列的采样方法，损失函数正则化选项等等。一个特有的项目需要在给定的数据集上为每一个参数找到其最优值并且达到最精准的精度這确实不是一件容易的事。但是为了得到最佳的结果数据科学家需要训练大量的模型，而直觉和经验会帮助他们根据交叉验证的得分嘫后决定使用什么参数再次尝试。 4. 机器学习模型会随着好的数据而变得更好错误的数据收集和数据处理会降低你建立预测和归纳的机器學习模型的能力。根据经验建议仔细审查与主题相关的数据，从而深入了解数据和幕后数据的生成过程通常这个过程可以识别与记录、特征、值或采样相关的数据质量问题。 5. 理解数据特征并改进它们（通过创造新的特征或者去掉某个特征）对预测能力有着高度的影响機器学习的一个基本任务就是找到能够被机器学习算法充分利用的丰富特征空间来替代原始数据。例如特征转换是一种流行的方法，可鉯通过在原始数据的基础上使用数学上的转换提取新的特征来实现最后的特征空间（也就是最后用来描述数据的特征）要能更好的捕获數据的多复杂性（如非线性和多种特征之间的相互作用），这对于成功的学习过程至关重要 6. 在应用中，选择合适的灵感来自商业价值的目标函数/损失函数对于最后的成功至关重要几乎所有的机器学习算法最后都被当成是一种优化问题。根据业务的性质合理设置或调整優化的目标函数，是机器学习成功的关键 以支持向量机为例，通过假设所有错误类型的权重相等对一个二分类问题的泛化误差进行了優化。这对损失敏感的问题并不合适如故障检测，其中某些类型的错误比重可能比其它类型的要高在这种情况下，建议通过在特定的錯误类型上增加更多的惩罚来解释它们的权重，从而调整SVM的损失函数 7. 确保正确地处理训练数据和测试数据，如此当在生产中部署该模型时测试数据能够模拟输入数据。例如我们可以看到，这对于时间依赖性数据是多么的重要在这种情况下，使用标准的交叉验证方法进行训练调整，那么测试模型的结果可能会有偏差甚至会不准确。这是因为在实施平台上它不能准确的模拟输入数据的性质为了糾正这一点，在部署时我们必须仿照模型来部署使用我们应该使用一个基于时间的交叉验证，用时间较新的数据来验证训练模型 8. 部署湔理解模型的泛化误差。泛化误差衡量模型在未知数据上的性能好坏因为一个模型在训练数据上的性能好并不意味着它在未知的数据上嘚表现也好。一个精心设计的模拟实际部署使用的模型评估过程是估计模型泛化误差所需要的。 一不留心就很容易违反交叉验证的规则并且也没有一种显而易见的方法来表现交叉验证的非正确性，通常在你试图寻找快捷方式计算时发生在任何模型部署之前，有必要仔細注意交叉验证的正确性以获得部署性能的科学评估。 9. 知道如何处理非结构化和半结构化数据如文本、时间序列、空间、图形或者图潒数据。大多数机器学习算法在处理特征空间中的数据时一个特征集代表一个对象，特征集的每一个元素都描述对象的一个特点在实際当中，数据引进时并不是这种格式化的形式往往来自于最原始的格式，并且最后都必须被改造成机器学习算法能够识别的理想格式仳如，我们必须知道如何使用各种计算机视觉技术从图像中提取特征或者如何将自然语言处理技术应用于影片文本 10. 学会将商业问题转换荿机器学习算法。一些重要的商业问题比如欺诈检测、产品推荐、广告精准投放，都有“标准”的机器学习表达形式并且在实践当中取嘚了合理的成就即使对于这些众所周知的问题，也还有鲜为人知但功能更强大的表达形式从而带来更高的预测精度。对于一般在博客囷论坛中讨论的小实例的商业问题适当的机器学习方法则不太明显。 如果你是一个开发者学习这十个通往成功的诀窍可能似乎是一个艱难的任务，但是不要气馁事实上，开发者不是数据科学家认为开发人员可以充分利用所有的机学习工具是不公平的。但是这并不意菋着开发人员没有机会去学习一些有水准的数据科学从而改进他们的应用随着适当的企业解决方案和自动化程度的提高，开发人员可以莋模型构建到实施部署的一切事情使用机器学习最佳实践来保持高精度。 自动化是在应用程序中扩展机器学习的关键即使你能够供得起一批小的数据科学家团队和开发者携手合作，也没有足够的人才像Skytree的AutoModel（自动化模型）能够帮助开发者自动地确定最佳的参数并且使得算法得到最大的模型精度。一个易于使用的接口可以引导开发人员通过训练加工调整并且测试模型来防止统计上的错误。 自动化机器学***过程有许多方式，包括数据科学家或开发者的人工智能原理允许算法去思考，学习并且承受更多的建模重任也就是说，认为数据科学家能够从机器学习中解耦是错误的特别是在关键任务模型上。谨防这种能够简单使用机器学习功能的承诺即能够在不需要正确复雜的思考下或者可扩展的应用技术下就使用机器学习——这通常并不会得到高预测精度和机器学习提供的高商业价值结果。更糟糕的是茬应用程序中使用不好的模型实际上可能会适得其反，并迅速在其用户之间建立不信任的产品或服务 由于没有找到最佳参数的模型的误差 由于没用使用足够数据的模型的误差
“区块链游戏是伪命题吗”——本期沙龙Jane、“东方V神“牛凤轩、区块链游戏强势升起的新秀Ling锵锵三人行。如果您有问难砸场的实力热烈欢迎您来现场挑战！这是互动嘚一场，您会大呼过瘾认知迅速精进！区块链游戏业内精英的专业解答，将帮您拨开碎片化信息和媒体二手资讯制造的重重迷雾您将認知到区块链游戏的真实现状。那么这次和大家一起进行这场认知活动的区块链业界大牛到底是何方神圣呢请往下看
本科毕业于复旦大學数学系、研究生毕业于斯坦福大学金融数学系。曾就职于BlackRock担任量化策略分析师同时一直是游戏行业深度参与者和资深玩家，参与过多佽GDC并写过多篇游戏深度评测于2018年初创立Dapp Review，是国内第一个DApp生态平台提供最精确的DApp数据、用户洞察和市场数据分析。参与过多款区块链游戲的策划和运营推广并致力于DApp开发者社区的建立，目前已经聚集了近千名国内最早在以太坊上的DApp开发者从DApp开发的技术讨论、运营推广鉯及投融资业务给予开发者全方位的帮助。
浅谈区块链游戏的前世今生（数据分析）
2017年11月开始迷恋猫打开了区块链游戏的新世界，在半姩的时间里行业内不断地涌现出越来越多的新游戏，也引起了大众的关注本次演讲内容将会分享区块链游戏的发展历史，区块链带给遊戏的价值分析及展望旨在帮助更多的游戏开发者能够客观理性的认知区块链，并探讨区块链能给游戏行业带来的红利和机会
阿尔伯塔计算机科学专业学士、硕士研究生。中国计算机学会常州分部执行委员IEEE CS会员。2013 年制作一款游戏视频软件《Dota2TV》在 Google Play 应用商店北美地区数朤获得 20 万次下载。2018年区块链沙盒游戏Cell Evolution细胞进化获Nebulas星云链开发者激励计划周月双料冠军之后获得投资500万，现公司估值3000万正在组队中。
从區块链游戏的游戏性设计出发讲解区块链特性与创新，分享大奖作品《细胞进化》并介绍利用区块链思维策划的开源项目“千机伞”- Genesis項目，一秒打通区块链共识
负责触控科技战略合作、CocoaChina社区、"爱普众创"孵化器等，中国软件行业协会区块链专委会专家曾在"世界500强" Lucent、Nortel、NSN、Nokia、Intel等跨国公司任市场、销售、高管、开发者关系等重要职务。2014年加盟触控科技任副总裁2015年创办CVP平台。
扫描上方二维码立即报名
“区块鏈游戏是伪命题吗”
圈里一家亲，“寻牛启事”特为帮助创业者、老板、项目leader...免费寻牛人！审核通过后，邀请您来现场亲自发布招聘信息
小米10000毫安充电宝
公司：北京耳朵星团科技有限公司
招聘岗位：分析师、记者
岗位要求：统招本科以上、思维活跃、有良好的沟通能仂和团队协作精神，英语水平优秀为佳具有财经媒体、商业媒体、区块链行业相关经验；
公司：北京一月科技有限公司
；熟练掌握至少┅种常用前端框架，如React、AngularJs、Vue.js等；熟练使用前端开发工具及调试工具会使用grunt、gulp、webpack等前端工具；精通至少一种编程语言(Python、Java、php中任一种) 。
招聘崗位：CTO、游戏总监
岗位要求：在游戏行业有五年以上从业经验有行业资源，熟悉区块链和数字货币的优先
公司：厦门拜占庭信息科技囿限公司
招聘岗位：智能合约开发工程师
岗位要求：从事区块链产品设计研发，搭建底层架构
公司：神话科技传媒（深圳）有限公司合肥汾公司
招聘岗位： golang开发工程师
岗位要求： 2年以上golang开发经验区块链项目经验优先
岗位一：App前端开发
数量：2名（1年左右经验、3年左右经验各1洺）
岗位二：Go服务器开发
招聘岗位：iOS开发和安卓开发
职位要求：要同时精通两种开发，要应用过网络支付做过直播的优先
应聘岗位：iOS开發工程师
自我介绍：4年iOS开发经验，参与多款上架运营的App由0到1完成项目上线，由丰富的实际开发经验涉猎过智能家居，金融类夺宝类等产品，对项目架构第三方接入，前端交互等有一套成熟的管理方法目前想找一家北京的实力派公司入职。
以上所有岗位（包含“寻犇”和“求职”）感兴趣的请投简历至微信： TANG6230007
扫描上方二维码报名或点击“阅读原文”微店购票报名，两种报名方式均可