基于本体的网络信息聚合及其应用.ppt

5、基于本体的网络信息聚合及其应用
信息源:网页
爬取:爬虫(含动态网页)
解析:
基于本体的语义标注
全局本体
=概念+关系+实例
局部本体
-表格:1+1+N方法
-文本:条件随机场
生成聚合信息
存储、发布、应用
中间件层
应用层
信息源层
报价单位
产品
价格
报价日期
应用举例:粮食价格分析
数据来源:
- 中华粮网(/)
- 东北粮食网(jia/)
- 中国农业信息网(./jghq/)
- 中国畜牧网(:8001/html/market/)
- 中原畜牧网(ket/)
- 阿里巴巴农业资讯(./news/subject/v2-)
粮食价格分析
稻谷
小麦
玉米
—
时间序列分析:统计软件()
周价格曲线
事件关联分析
区划价格差异
中、长期预测,短期预测

指数平滑法
自回归法
ARIMA模型法
季节分解法
谱图分析法
稻谷
-:春节临近,消费旺季,涨价
-:旱情严重,涨价
:稻谷轮换出库,需求淡季,降价
:水灾,减产,涨价
红色:观测值
蓝色:拟合值

小麦
出现离群值(outlier):2月、3月、6月中旬
原因:原始数据错误、聚合处理错误、突发事件驱动
6月末-7月初:涨价(春季低温、化肥涨价、惜售)
预测:出现误差;短期预测难度大!须深入研究!
红色:观测值
蓝色:拟合值
绿色:预测值
真值
Outlier
Outlier
Outlier

小麦区划
周期性:7 天
预测:误差较小,周期性
华东
中南
华北
西北
东北
西南
红色:观测值,蓝色:拟合值,绿色:预测值
小麦区划
3-4月份:西南地区价格明显高!
原因:春季旱情严重。
网络信息聚合的意义
聚合信息服务
热门信息推送
按需求订制
难点:完整、精度、重组
行业领域应用
可靠建模依据
政策制订支持
事件关联分析
短期预测
方法与手段:基于本体的语义理解+时间序列分析
自然基金重点项目:非对称广域覆盖信息共享网络
三个参加单位:
清华大学(CESL实验室)
西南科技大学(绵阳,马建国教授、邢玲副教授、……)
电子科技大学(成都,隆克平教授、徐杰副教授、……)
经费:190万元
时间:2010-2013年,四年
合作研究方向:
非对称信息共享网络的数学、物理模型
信息共享网络动力学系统的大规模时空动态仿真
基于语义的网页分析、内容聚合、数据挖掘
合作形式:
博士后
校际合作
征询合作研究
任勇:******@tsinghua.
**********
谢谢
文件传输为主
Poisson到达:负指数分布
文件长度服从重拖尾分布:Bounded Pareto
网站文件服务时间也服从重尾的BP分布
重尾业务:持续时间具有重拖尾分布特性的业务
重拖尾业务实质:被长流调制的慢变的布朗运动
用户满意度指标:阻塞概率、平均响应时间
播存结构理论分析:有限忍耐度的排队系统分析