中国经济报道综合 随着信息化系统的建设以及管理线路的增多，给海量数据存储、信息传递带来了巨大的挑战，各运营单位现有的业务部门都分散地掌管着大量的信息和报表，数据之间无法互联互通造就了信息孤岛的局面。同时因为缺少全局化、结构化的数据支撑，使得决策的拟定无法立足于客观的运营基础之上，数据管理仓库系统是西安地铁基于大数据平台在智慧网络管理体系方面的初步实践，以应对运营管理的提质增效挑战，项目旨在实现西安地铁海量运营数据的集成化和智能处理，为用户提供实时、全面、可靠的运营数据，以支持其分析决策。
1.系统内涵与特性
地铁数据管理仓库是一个具备决策、学习、创新和交互能力的新型位移服务系统，其核心是通过借助新一代的思想、理念和技术，重塑人、列车、设备和管理系统之间的相互关系，将人从地铁系统中解放出来，实现从人适应地铁到地铁适应人的转变过程。
区别于传统的地铁系统人工感知和决策方式，地铁数据管理仓库通过利用各数据采集触角，依托大数据、云计算等方式，实时获取有价值的数据信息，实时全息感知系统中各要素的状态，通过对海量数据和信息的实时、集中、准确处理和分析，进而做出科学的决策，实现地铁全息感知和自主决策的功能，体现了地铁数据管理仓库的技术特性。
地铁数据管理仓库通过对大量数据、信息和知识的累积与迭代，持续将新技术、思想和理念融入自身，整合创新业务，自主适应内外部条件变化，更好的服务用户，实现需求侧的高效响应和供给侧的优质服务，推动行业成长与发展。开放创新的发展模式、不断融合提升的发展过程和持续适应新需求的发展状态，体现了地铁数据管理仓库的动态特性。
2. 西安地铁现状分析
现阶段西安地铁数据主要存在于生产网和管理网中的各个信息化系统中，各个信息化系统独立运作且两种网络之间互相隔离，这导致了西安地铁运营数据资源难以汇总、融合、集成，发挥其价值，并影响最终决策。
2.1早期规划局限性
出于数据安全的考虑，公司将网络划分为生产网和管理网。生产网主要存储生产类数据，例如票务系统、PIS系统、CCTV系统等。管理网主要存储管理类数据，例如物资系统、合同管理系统、培训管理系统等。但由于种种问题导致早期系统设计时，没有考虑的系统间（包含同一网络中系统和跨网络系统）的数据互通互用，随着信息化系统的不断增加这种问题日趋严重。因此，急需建立一个支持用户实时获取西安地铁各类生产管理系统和运营管理系统的数据管理系统。
2.2数据管理未形成规范
目前基本按照各个信息化系统的数据要求进行数据存储。数据制式缺乏统一标准，同类数据不同填报人员填报制式不同，此类数据难以分类收集、汇总、分析。在实际应用中，还存在以下问题：
l 数据重复录入
对于同一类业务，会存在对同一类数据，在多信息系统中重复录入的情况。又或者是管理手段不统一，运营公司的某些数据在信息化系统上，但其他数据又是线下收集。
l 数据缺失
目前业务数据由对应的信息化系统进行管理，但也仅限于软件的功能范围，对于超出软件范围之外的数据，多采用线下excel收集的形式，而线下文件不方便分享和管理，这部分数据就会成为信息化管理的灰色地带，造成数据资源的缺失。
l 缺乏主数据管理
后续要实现数据集成，必然会涉及到大量的跨部门沟通协调和跨系统数据统一工作。且实际实施过程中还需要进行大量程序开发、编码映射的工作，否则是无法集成的。如果没有统一标准，后续范围逐渐扩大后，会造成数据平台的混乱
2.3数据分析应用场景少
目前受限于系统之间的隔离和数据制式多样化，数据无法跨系统跨网络获取，数据分析局限于单个系统的统一制式数据，且表现形式单一，主要以可视化报表、日报、报告等形式呈现。
3.系统介绍
系统主要分为四部分，分别是数据维护平台、多元化展示平台、系统监测平台、基础服务。数据维护平台面向维护人员，主要负责数据日常维护，现阶段维护数据包括线路设施设备总数、线网客运量、票卡收入占比、疫情防控情况、客运服务关键指标、运营单位人力资源情况等。多元化展示平台面向使用者，主要负责数据展示，支持关键字模糊搜索，搜索结果复制转发、热门内容首页展示和重点信息滚动播放等多个功能。系统监测平台面向维护人员，负责监控数据维护平台、多元化展示平台和基础服务部分的程序运行状态、用户操作、非法访问以及多元化展示平台的用户访问数据汇总。基础服务主要为数据维护平台、多元化展示平台需要调用的基础服务，例如SQL Server数据库、Solr搜索引擎、kettle数据同步等。
3.1整体架构
图1 项目架构图
3.2数据维护平台设计及实现
数据维护平台位于PC端，主要通过人机交互的方式完成各类数据日常维护，主要包含五个模块，分别是登录注册模块、词条维护模块、客运量模块、数据更新模块、定时任务模块，所有模块均在服务端实现。
登录注册模块：采用基于角色的访问控制RBAC模型实现身份认证功能，非授权用户无法访问，新注册用户需管理员审核通过后方可使用。
词条维护模块：采用sql语句绑定词条的方式实现数据实时更新，对于纯文字类词条，直接展示词条列；对于定时更新词条，将数据列中数据部分与词条列中数据部分同名替换后再展示；对于带时间查询的词条，先将sql列与时间进行绑定，再执行绑定后的sql语句，最终将结果与词条列绑定再展示。
客运量模块：客运量数据的后台可视化展示，当客运量表数据更新后用户可在后台通过点击客运量模块按钮查看客运量详情，此功能主要为数据更新模块服务，当用户更新数据后，可在后台的实时查看客运量数据。
数据更新模块：同步外系统数据库、词条数据、Solr搜索引擎索引和本地SQL Server 数据库之间的数据，本模块将三个同步过程进行整合，用户可通过按钮直接实现三者数据更新。外系统数据库与本地SQL Server数据库同步时，首先执行服务端kettle脚本获取外系统数据库新增数据，然后在读取本地数据库最新数据，如果两者之间有差异则同步否则不同步。词条数据与本地SQL Server 数据库同步时，系统首先抽取定量词条执行其sql 语句列，如果sql语句执行结果和数据列不一致，则更新该条数据否则不更新。Solr搜索引擎索引与本地SQL Server 数据库同步时，每次从Solr端查询定量数据再从数据库端查询定量数据，如果两者之间有差异则同步，否则不同步。
定时任务模块：定时任务自动同步外系统数据库、词条数据、Solr搜索引擎索引和本地SQL Server数据库之间的数据。具体实现时采用spring boot 定时任务执行三个数据同步过程，由于数据维护平台用户访问量不大，所以系统默认每小时执行一次数据同步。
3.3多元化展示平台设计及实现
多元化展示平台位于移动端，负责细颗粒度数据和实时性较高数据的展示，主要包含五个模块，分别是身份认证模块、搜索模块、主页模块、帮助页模块、定时任务模块，其中身份认证模块、搜索模块、主页模块为服务器端和移动端共同实现，帮助页模块在移动端实现，定时任务模块在服务端实现。
身份认证模块：通过阿里服务端API提供的钉钉临时授权码配合本地服务器session实现用户无感登录。具体流程为，初次登录用户携带钉钉临时授权码信息至本地服务器，服务器端通过阿里服务端API验证临时授权码是否为公司内有权限用户，如验证通过则在服务端发放session令牌，后续用户可通过此令牌进行访问，以此来减轻本地服务器多次通过阿里服务端API进行身份认证的网络和运算压力，验证不通过则移动端提示当前用户无权限。
搜索模块：提供中文搜索词条的服务，系统出于可靠性考虑有两种实现方式，分别是SQL Server 全文索引和Solr搜索引擎，默认情况下为Solr搜索引擎，如果Solr搜索引擎出现故障或查询结果为空，则系统会通过SQL Server全文索引再次查询。Solr是Apache下的一个顶级开源项目，采用Java开发，它是基于Lucene的全文搜索服务器，关于Solr 服务的配置以及Solr导入Sql Server数据库表请参考Apache Solr官方文档，本项目将SolrJ客户端内嵌在系统中，通过SolrJ的API接口调用远程Solr服务，实现了Solr搜索引擎索引和本地SQL Server数据库的数据同步，以及通过SolrJ远程调用Solr搜索服务实现中文模糊搜索。SQL Server全文索引基于SQL Server 数据库，通过对词条表的词条列和关键字列创建联合全文索引实现，具体实现步骤参考SQL Server官方文档，在此不再赘述。
主页模块：负责内容展示，主要分为四个部分，分别是搜索框、换一换、滑动窗口、数据展示。搜索框主要负责读取用户输入内容，然后通过http请求调用服务端搜索接口获取搜索结果。换一换主要负责展示一些常见搜索项，然后通过http请求调用服务端换一换接口获取换一换数据。滑动窗口主要负责展示一些重点信息，然后通过http请求调用滑动窗口接口获取滑动窗口数据。数据展示主要负责搜索结果的展示，包括词条、图片、分页信息等数据。
帮助页模块：为用户提供系统使用方法，主要分为两部分，分别是操作指引和用户反馈。操作指引主要为初次使用用户服务，该部分详细介绍了系统多个功能，包括普通搜索、带时间搜索、界面缩放、文本复制、页面跳转等。用户反馈主要为用户提供信息反馈渠道，用户可通过点击对应超链接进行信息反馈，支持语音、文字、图片等多种方式。
定时任务模块：负责同步外系统数据库、词条数据、Solr搜索引擎索引和本地SQL Server 数据库的数据，与数据维护平台实现方式相同，在此不再赘述。
3.4基础服务组成
基础服务部分主要是一些项目正常运行所需要的组件、web服务、数据库、相关脚本等，主要包含五个部分，分别是kettle数据库间数据同步、数据持久化、搜索引擎服务、SQL Server全文索引、相关脚本。
kettle数据库间数据同步： Kettle是一个Java编写的开源ETL工具，可以简化数据仓库的创建，更新和维护，使用Kettle可以构建一套开源的ETL解决方案。在本系统中kettle作为数据库同步工具使用，即通过kettle将外系统数据库数据进行抽取，再同步到本地数据库中。
数据持久化：SQL Server是一个可扩展的、高性能的、为分布式客户机/服务器计算所设计的数据库管理系统，实现了与WindowsNT的有机结合，提供了基于事务的企业级信息管理系统方案。在本系统中SQL Server主要用来存储各类结构化数据。
搜索引擎服务：Solr是Apache下的一个顶级开源项目，采用Java开发，它是基于Lucene的全文搜索服务器。Solr提供了丰富的查询语言，同时实现了可配置、可扩展，并对索引、搜索性能进行了优化。在本系统中Solr主要用来做词条的全文索引，配合中文分词器IKAnalyzer实现用户搜索语义识别和结果快速查询。
SQL Server全文索引：SQL Server全文索引基于SQL Server全文引擎，全文引擎使用全文索引中的信息来编译，实现表中的特定词或词组的全文查询。在本系统中SQL Server 全文索引主要用来做词条的全文索引，通过全文索引实现搜索结果快速查询。
相关脚本：系统中的数据维护平台、多元化展示平台服务器开机自启脚本、Solr开机自启脚本、kettle执行脚本。
3.5系统监测平台设计及实现
系统监测平台主要负责监控数据维护平台和多元化展示平台的程序运行状态、SQL Server数据库运行状态、kettle脚本执行状态以及多元化展示平台的用户访问数据汇总，主要包含六个模块分别是数据维护平台监测模块、多元化展示平台监测模块、Solr监测模块、数据库监测模块、kettle脚本监测模块、访问数据汇总模块。
数据维护平台监测模块：数据维护平台服务器运行状态的监测包括启动、关闭、http访问、权限认证、用户操作等。关于服务器启动、关闭、运行状态、http访问等日志，由服务器软件自行实现并输出至数据维护平台服务器日志路径下。权限认证、用户操作日志由数据维护平台实现输出至数据维护平台服务器日志路径下。
多元化展示平台监测模块：多元化展示平台服务器运行状态的监测包括启动、关闭、http访问、权限认证、用户操作、用户搜索条件等。关于服务器启动、关闭、运行状态信息、http访问等日志，由服务器软件自行实现并输出至多元化展示平台服务器日志路径下。权限认证、用户操作日志由多元化展示平台实现输出至多元化展示平台服务器日志路径下。
Solr监测模块：Solr索引同步和Solr查询时的监测，由系统编码实现，本模块在数据维护平台和多元化展示平台中都有调用，因此最终的日志随两个平台进入对应平台服务器日志路径下。
数据库监测模块：Sql Server数据库的日常监测包括远程登录、数据增删改查、数据库事务、数据库异常报错等。日志主要分为两大类分别是错误日志和事务日志。错误日志分为SQL Server、SQL Server Agent、Database Mail以及 Windows NT。SQL Server使用日志记录数据库引擎启动和运行过程中产生的信息，这些信息不一定是“错误”的消息，按照消息的严重程度，分为三个级别，分别是：信息（Information）、警告（Warning）和错误（Error），SQL Server日志会按照消息发生的时间顺序记录消息。SQL Server日志用于记录SQL Server 引擎产生的消息，SQL Server Agent错误日志用于记录Agent运行过程中产生的信息，Database Mail 用于记录数据库邮件信息，Windows NT用来记录应用程序信息。事务日志主要分为undo日志和redo日志，这两种日志主要用来进行事务的回滚和重做，保证数据库事务的一致性。
kettle脚本监测模块：kettle同步数据库时整个过程的监测，包括数据抽取、数据转换、数据写入三部分，均由kettle自行实现，本系统配置日志输出路径为kettle下的日志目录，配置过程参考官方文档。
访问数据汇总模块：多元化展示平台中用户访问信息的汇总，该部分通过python编码实现。
3.6整体数据流向
按照系统架构图分析，系统数据最终流向数据维护平台、多元化展示平台和系统监测平台。
数据维护平台数据流向分为三部分，分别是人机交互数据填报、数据库间数据同步，SQL Server与Solr间数据同步。人机交互数据填报部分数据在SQL Server和数据维护平台间双向流动；数据库间数据同步部分由数据维护平台通过定时任务调用kettle脚本，将数据从外部数据库同步至SQL Server；SQL Server与Solr间数据同步部分由数据维护平台通过定时任务调用对应代码将SQL Server数据同步至Solr。
多元化展示平台流向分为三部分，分别是数据库间数据同步，SQL Server与Solr间数据同步、移动端数据展示。数据库间数据同步和SQL Server与Solr间数据同步与数据维护平台类似，均由多元化展示平台调用定时任务实现数据同步，除平台不同外，数据流向完全相同；移动端数据展示部分数据由SQL Server和Solr流向多元化展示平台。
系统监测平台数据流向分为五部分，分别是数据维护平台、多元化展示平台、Solr、Sql Server数据库、kettle，数据均由这五个部分流向系统监测平台。
4.结束语
西安地铁数据管理仓库将公司现有部分系统进行互联互通，实现跨系统、跨平台、跨网络等复杂业务场景下的数据获取、处理及多平台展示。在数据同步上提供多种方式收集数据（例如：kettle定时任务同步数据库、excel导入、人机交互），同时定时任务更新，执行kettle脚本，使施工管理系统数据库和数仓数据库互融。以移动端小程序对接阿里钉钉服务端API验证用户身份，配合基于角色的访问控制（RBAC）权限模型，完成用户无感登录，同时避免出现非法访问，数据篡改、盗取等安全事件。通过使用Solr搜索引擎配合中文分词器，简化搜索条件，提高搜索精度。
西安地铁数据管理仓库实现了线网轨道交通中各种数据的全面采集和有机整合，先后经历了防汛应急响应、疫情防控日报、十四运保障及节假日大客流等多场景考验，满足了管理人员对于线网设备情况、敞口段分布、车站出入口、客运量及列车开行情况等多方面数据的实时需求。相比之前数据方式获取无论是时间上还是准确度上都有了明显提高，通过更快更准确的数据获取管理人员可以做出更好的决策，提升西安地铁应急保障能力、运营指标和乘客对西安地铁运营情况的满意度，降低乘客投诉率，有利于西安地铁更好地服务广大市民。[参考文献][1]期刊文章：魏运.智慧地铁需求分析及功能规划研究．都市快轨交通，2020年2月，第33期。
（西安市轨道交通集团有限公司运营分公司 单华军 侯晶晶 刘成 谢灿供稿）
来源：中国经济报道
编辑：杨刚
“中国消费经济人物盛典©”作为消博会的重要活动，被誉为消博会最亮的名片之一，中国和全球消费经济人物最盛大的聚会，推动我国消费经济发展极具代表意义的创新活动。欢迎各有关政府及经济主管部门、行业组织、社会团体作为合作单位、支持单位尤其是欢迎组成10-20人的方阵团体参会；欢迎各消费经济生产经营、流通和服务企业参会、冠名；欢迎电商、网商和网红及MCN机构参会；欢迎产品赞助成为盛典合作伙伴。参与盛典，收获满满，相约海南，不见不散！
中国经济报道-“落地各省市县”系列重点项目：
项目推介|“健康中国”国家重点工程——国家健康医疗大数据重点项目
项目推介| 中国冰雪-《后冰雪情缘》综合文旅项目——成功助威冬奥后，为中国冰雪经济添一把“火”
项目推介|“易快停•城市级智慧停车项目”：集投融资、建设、运营、停车后服务产业链于一体的城市停车服务
项目推介| 苏州园林产业集团：姑苏印象·旅居小镇-落地投资建设运营一体化项目
项目推介| 北交所上市直通车——玖零中创上市加速器为企业提供一站式全产业链服务 实现快速上市
项目推介| 《中国推介》栏目：向世界推介中国 向中国推介世界
项目推介| 全国首届“兴品官”主播大赛暨数字乡村互联网营销师大赛
项目推介| 林业与草原局碳汇开发交易项目：助力企业实现“碳达峰、碳中和”战略目标
项目推介| 胡润百富全球500强俱乐部：从“走出去”与“引进来”打造招商引资的“品牌之都”
项目推介| 国际高新技术研究院——国家级超级项目孵化投放综合性平台
项目推介| 七星生态集团：一站式生态产业建设和运营综合服务“管家”
项目推介| 光大国信环保科技固（危）废资源化体系：打通固废综合利用的最后一公里
项目推介| 中国科学院喀斯玛科技孵化器：搭建公共孵化创业服务平台
项目推介| 中国科学院海外人才创业园及孵化器：构建“中科院公共孵化创业服务平台”
项目推介| 国家科技部院士专家协同创新中心——构建政产学研用一体化协同创新示范区
项目推介| 国家林业和草原局林产工业规划设计院——林草行业咨询设计的排头兵、国家队
项目推介| 国家发改委基金债产品（国信中数投资管理有限公司）
项目推介| 国家电力投资集团中电国际新能源——《新能源项目投资意向书》
项目推介| 中国化学工程集团中化学生态环境有限公司——清洁能源工程领域的领军者
项目推介| 中国船舶集团环境工程有限公司——专业化大型生态修复与环境保护产业平台
项目推介| 中国华电集团清洁能源有限公司：国内一流的综合能源服务提供商
项目推介| 中国交通建设集团良业科技集团股份公司——光科技服务商 用光讲好城市故事
项目推介| 中国航天建设集团——航天领域全流程一体化的智能建造解决方案
重点项目推介| 中国华录集团“数据湖+、智慧城市、智慧交通”项目
项目推介| 中信集团“产业+科技+金融”千亿特色产业集群项目
作为经济发展的“助推者”，中国经济报道联合北京各省市驻京机构商务协会、京忠智库等权威机构，被誉为赋能经济“三驾马车”超级集群综合赋能平台，“融媒体+商协会+专家智库”联手发力，助力地方政府招商引资，以独特的资源优势赋能企业发展！
王京忠总编辑介绍《中国经济报道》融媒体综合服务平台
北京各省市驻京机构商务协会等单位
工信部备案号：
