发布新帖

#大数据

0

大数据是一个研究如何分析并系统地提取信息的领域。大数据面临的挑战包括数据捕获、数据存储、数据分析、搜索、共享、传输、呈现、查询、更新、信息隐私和数据源。

了解更多信息。

文章
· 六月 11, 2023 阅读大约需 7 分钟
统一语义数据平台

数据平台一直在进化：从数据中心到数据中台，离散的数据资产得到进一步梳理和整合、按业务封装数据和操作数据的方法，并逐步提供了企业统一的访问、更新、检索、查询等数据服务。

然而市场上不乏听到数据平台的成功案例，却鲜见这些案例得到大规模推广。原因是什么呢？

一. 传统数据平台建设的挑战

传统数据平台的数据模型基于各自厂商的理解，缺乏统一行业数据模型和行业语义。可供参考的国内卫生信息数据元、数据集标准并非完整的行业语义，例如没有业务实体模型和数据元关系定义。传统的数据平台建设通常根据业务域，围绕数据应用需求组织数据。经常看到按业务域划分为CDR（临床数据中心）、ODR（运营数据中心）、RDR（科研数据中心）......

这造成了几个挑战：

1. 按业务域、而非业务实体来划分数据，虽然方便相应的业务域数据分析，但跨业务域重叠的业务实体数据，例如患者，需要跨数据中心同步。这些同步由于数据模型上的差异，往往非全息拷贝。随着同步次数越多，跨数据中心的数据越失真，造成数据资产多源不统一、数据资产一致性问题和时效性问题。

2. 数据平台产品语义表达上参差不齐，业务用户依赖数据工程师对数据理解和操作，无论是统计分析还是机器学习，海量的实施工作无法满足业务敏捷性要求；

3 0
3 766

尽管作为一个没有资金支持的医科专业学生，Case Western Reserve大学的Jane Hinkle最近在不到一周的时间里利用EHR供应商Epic的去识别化病人数据库Cosmos进行了临床研究，还得了奖。

Cosmos是一个HIPAA限定的数据集，整合了超过1.22亿名患者的Epic EHR数据。

"我们围绕Cosmos建立的概念就是我们所说的自助分析，这意味着Cosmos中的大数据被设置为Cosmos的任何用户都可以访问，"Epic的临床信息学家Dave Little博士在采访中告诉EHRIntelligence。"在简的案例中，我们看到一个医科学生能够带着一个有针对性的问题，从1.22亿的患者数据中找到她所需要的数据来回答这个问题。这在研究界历来是闻所未闻的。"

Hinkle的研究发现，儿科病人从COVID-19引发心肌炎的可能性是COVID-19疫苗的三到五倍。她告诉EHRIntelligence，她最初关注的是一项使用大数据工具来分析阻塞性睡眠呼吸暂停的研究。然而，当关于心肌炎是否是COVID-19疫苗接种的不良反应的问题出现时，Hinkle和她的研究导师、公共卫生硕士、医学博士、MetroHealth 公司的首席医疗信息官David Kaelber转移了他们的重点。

0 0
0 275
文章
· 一月 17, 2023 阅读大约需 3 分钟
HTAP 数据平台插入和查询速度测试

每秒插入大量记录，同时同步进行实时查询的能力称为混合事务分析处理 (HTAP)。 它也被称为 Transactional analytics 或 Transanalytics 或 Translytics，当存在来自工业物联网传感器的持续实时数据流或股票市场的波动数据时，它是非常有用的技术，并且允许实时或接近实时地查询这些数据集。

在本文中我将分享我在不同平台上运行带有测试流数据的演示，同时进行持续插入和持续查询，看看每个平台上有何不同反应，如在每个平台上输入和输出数据的速度以及它们的性能。 我在本演示中试验的平台包括：InterSystems IRIS、MariaDB 和 MySQL。

试验结果

20秒的测试时间里：

0 0
0 98
文章
· 一月 6, 2023 阅读大约需 8 分钟
《数据二十条》的号角声

国务院于2022年12月19日发布了《中共中央 国务院关于构建数据基础制度更好发挥数据要素作用的意见》（后简称《数据二十条》），如何有效利用数据已经成为下一步的趋势。另一方面，无论是基于数据中台还是数据编织理念，两者也都对如何利用数据提出了构想。因此医疗行业数字化建设的目标已不能再局限于如何收集数据，建立医疗行业数据的流通机制将会是为越来越普遍的需求。

时钟拨回几年前，数据中台概念开始火爆。人们对数据中台的定义、诠释尽管有诸多差异，通过数据中台降低数据共享和利用的成本则是共同的期望。但经过这几年的探索之后，中台已死的观点也在涌现。究其原因，除去中台概念在技术上的不确定，数据流通过程中的责权益的不清晰也是严重的制约因素。毕竟，数据中台自身作为一套技术框架并不能代替法律法规与市场自动将数据转变为商品从而创造出流通价值。

那么，如何能够使数据的流通合规合法，使数据能够如货币和商品一般自由流动，则是我们需要思考和探索的主题，这次《数据二十条》的出现，无疑为医疗信息技术工作者提供了一个明确的思考方向。

4 0
0 209
文章
· 一月 30, 2022 阅读大约需 4 分钟
统一技术的高效数据架构能帮助客户节约大量成本

我的几个孩子都很喜欢手工艺品，您可能会觉得作为一个父亲我会用夸张的表情表扬他们很有创意然后还拍照片发到Pinterest（世界上最大的图片社交分享网站）上去，但是我从来都没这么做过。我肯定爱我的孩子，我也确实认为他们有创意，但老实讲如果你有一个正上小学的孩子，你肯定很清楚他们实际的水平。

0 2
0 146
文章
· 十二月 19, 2021 阅读大约需 3 分钟
我们和Oracle、AWS、SAP数据库做了开源速度对比测试

如果您经常阅读我们的博客，您可能记得去年夏天我们进行了 InterSystems 速度测试，该测试由 ESG 验证，旨在测试数据库可以同时摄取和查询的数据量，以及这表现出的具体的影响。从那以后，我们 GitHub 页面的许多访问者一直在根据自己的想法重复验证这个测试

0 3
0 269
文章
· 四月 2, 2021 阅读大约需 7 分钟
数据应用方案分享之一：新生儿先天性心脏病筛查

着手书写“数据应用方案分享”系列文章的初衷是，希望从终端用户的视角阐述我们所期待的数据应用方式及其可能为医疗领域带来的获益，为医学信息工作者提供参考。在这个系列中，笔者会以临床常见疾病和流程为例，用真实的数据录入、获取、展现和使用场景说明需求；尤其是如何细致、精准的构建数据源头，以确保现代医学信息技术“有数可用”、“数用必达”。其中肯定有思虑不周全或逻辑不严谨之处，望各位读者按需审阅，取其精华、弃其糟粕。此外，本系列更多在于探讨数据应用的“可能性”，而非“可行性”。文中部分图片尚处于设想模拟阶段，并非真实系统图片，请知悉。

2 0
0 291
文章
· 一月 8, 2021 阅读大约需 9 分钟
InterSystems IRIS 和 Caché 中的多模型数据并行处理

众所周知，InterSystems IRIS 提供了很多的工具来提升应用系统可伸缩性。尤其在提升数据并行处理能力方面，InterSystems 做了很多努力，例如在 SQL 查询中使用并行处理，以及在 IRIS中引入最具吸引力的特征：分片（sharding）。然而，许多成熟的开发成果最初是在 Caché中完成的，而且已经迁移到 IRIS 中。这些成熟的开发成果大都使用 DBMS（数据库管理系统）的多模型功能，实现在单独的数据库中共存不同的数据模型。例如， HIS qMS 数据库同时包含语义关系（电子病历）、传统关系（与 PACS 的交互）和层次数据模型（实验室数据以及与其他系统的集成）。这些数据模型大多是通过 SP.ARM 的 qWORD 工具（一种直接访问 Global的小型数据库管理系统）实现的。遗憾的是，由于查询未使用 IRIS SQL，无法利用并行查询处理的新功能进行扩展。

而且，随着数据库规模的不断增长，大型关系型数据库所固有的大多数问题开始出现在非关系型数据库中。这就是我们关注可用于扩展的并行数据处理技术的一个主要原因。

在本文中，我将围绕多年来在解决任务时用到的并行数据处理展开多方位讨论，而这些是我在大数据问题探讨中很少提到的。我将重点讨论数据库的技术改造，或者更确切地说，是数据库转换技术。

0 0
0 336