大数据与化学数据挖掘.pdf

2015年第60卷第8期:694~703《中国科学》杂志社专题:,蔡文生,邵学广*南开大学化学学院分析科学研究中心,天津300071*联系人,E-mail:******@-11-03收稿,2014-12-08接受,2015-01-16网络版发表摘要数据是重要的战略资源,大数据挖掘技术已成为学术界、,综述了与化学研究有关的大数据研究状况,讨论了大大数据数据在基础理论与关键技术2个层面上的主要问题以及大数据挖掘技术在化学各领域中的应用,[1]、优化库存和物流缓和供需矛1大数据的基本概念盾、控制预算开支、,大随着人类对自然和社会认识的进一步加深及人数据分析被用于复杂疾病的早期诊断[2]、心血管病的类活动的进一步扩展,科学研究、互联网应用、电子远程治疗[3]、器官移植[4]、HIV抗体的研究[5]等已经商务、移动通讯等诸多领域产生了多种多样、,,一个崭新的概念——大数据用于基因组学[6]、生物医学[7]、生物信息学[8]等研究.(bigdata)应运而生,,大数据技术还被用于温室气体排放的检测[9]以据挖掘技术及其应用创造了巨大价值,对国家治理及政府信息管理[10]、企业决策、,大数据是一2008年,Science发表文章“Bigdata:Sciencein种新现象,具有4个带“V”字的特点:(1)数据体量thepetabyteera”[11].2011年,麦肯锡公司发布了《大(volume)巨大,达TB级,甚至PB级;(2)数据种类数据:下一个前沿,竞争力、创新力和生产力》的调(variety)繁多、来源复杂、格式多样,除了结构化数研报告,,据,还有半结构化和非结构化数据;(3)价值(value)美国奥巴马政府宣布投资2亿美元启动“大数据研发密度低,在大量的数据中,”,旨在提高和改进从海量和复杂数据中获取知例如在连续监控视频中,有用数据可能仅为1,2min,识的能力,加速美国在科学和工程领域发明的步伐,甚至1,,;(4)速度(velocity)快,数据的产生和各国纷纷提出了自己的大数据研究计划,其中增长速度快,,联邦政府建立了统当前,,商界一的门户开放网站——,开放部分公共数利用大数据关联分析,通过了解消费者行为模式的据,:刘言,蔡文生,,2015,60:694–703LiuY,CaiWS,