流量管理是基于网络的流量现状和流量管控策略,对
数据流进行识别分类,并实施
流量控制、优化和对关键IT应用进行保障的相关技术。
产生的背景
什么是流量管理
基于网络的流量现状和流量管控策略,对
数据流进行识别分类,并实施
流量控制、优化和对关键IT应用进行保障的相关技术。
业界的衡量标准
流量管理近年来和“网络或互联网服务的服务质量”,也就是我们通常说的QoS密切相关。为衡量服务质量,业界提出如下测量维度:
1时延时延是指IP包从网络入口点到达网络出口点所需要的传输时间。一些对时间敏感的应用,如实时的语音业务和视频业务对时延的要求最为严格。造成网络时延的主要因素可以简单地分为网络产生的时延和设备产生的时延。设备产生的时延一般是指设备处理业务数据时产生的时延,这与设备的性能有很大关系,包括网络各个层面的设备,如SDH设备、
路由设备和媒体网关等。网络产生的时延包括基本的
传输时延(即电信号或光信号在物理媒介上传输所需的固有时延)和链路速率时延(即当链路速率低于数据发送速率时产生的时延)。由于IP网络尽力而为的特性,设备产生的时延和网络产生的时延都还与实际网络中的数据流量状况有关。当数据量较大、网络和设备满负荷运转时。产生的拥塞和排队、调度和
转发时延将会显著增加。
2抖动语音信号是连续的,在发送端经过压缩打包后在IP网络中传输时,由于
数据包传送的路径可能不同,因此不同的数据包到达接收端的时间也可能不同,导致接收端在回放语音时产生时断时续的状况,称为抖动。接收端可以采用增加接收缓冲区的方式来对抖动产生的影响进行弥补。但是抖动缓冲区的大小将同时影响抖动和时延。如果抖动对语音质量产生了影响,那么增加抖动缓冲区的大小就可以将抖动减少到可以接受的程度;但是如果缓冲区过大,就会增加时延,同样会使得用户难以接受。典型的抖动缓冲区产生的时延为20ms,但是通常会达到80ms。抖动缓冲区的大小需要根据具体的网络情况来设定。
3
丢包率一般情况下,
数据包在网络中产生拥塞的点被丢掉,在传输线路中产生的错误包同样也会被丢掉。通常当接收包的数量超过了输出端口的大小限制时就会产生拥塞,由此而产生丢包。如果在包到达的一端没有足够的输入缓冲,也会造成丢包。丢包率通常被定义为一个连续若干个包以一定的时间间隔在网络中传送时,被丢掉的包所占的百分比。从用户体验的角度来讲,一般高于2%的
丢包率便无法接受了。
4
吞吐量吞吐量是指网络中IP包的传输速率,可表示为平均速率或峰值速率。网络的
吞吐量是衡量网络转发IP包的能力,主要取决于链路速率、
节点设备的
端口速率和网络的业务量状况。
5可用性可用性是指用户能够使用IP业务可用性功能的时间间隔占IP业务全部时间间隔的百分比。在连续5min内,如果一个IP网络所提供的
丢包率小于或等于75%,则认为该时间段是可用的,否则是不可用的。可用性主要用于衡量
网络设备、链路正常提供业务的能力,确定该网络设备、链路是否能够支持连续可用的
数据包传送业务。
流量管理技术的发展历史
TCP/IP起源于上世纪6 0年代末美国政府资助的一个研究项目,开始只是用于几台机器的连接通讯,后来需要连接的机器越来越多,网络也从小型局域网向局域网互连——这就是我们现在
广域网的最初雏形。TCP/IP在不断完善后被作为一项基础的通讯协议用于了
广域网,这是网络通讯发展上的一次里程碑式的变革,直到现在,我们还在继续使用TCP/IP。TCP/IP协议簇里的TCP和UDP协议,更是90%以上的应用要用的基础协议。
TCP是一种面向对象的
传输协议,为了保障数据传输的安全,在传输过程中需要进行多次协商建立连接,而UDP则不是面向连接的,关注发送速度而不关注数据安全性,是种粗暴的传输方式,当时应用不广,主要用于DNS解析等。但是那时候人们对于
广域网还是预计不足,由于广域网带宽明显小于局域网带宽,随着使用人数增多,网络出口处数据拥塞的瓶颈问题开始渐渐显露出来(瓶颈倒水),1986年初,Jacobson针对出现端倪的
网络拥塞开发了基础的
拥塞控制机制。
1988年Jacobson针对TCP在控制
网络拥塞方面的不足,提出了“慢启动”和“拥塞避免”算法。 1990年TCP Reno版本推出增加了“快速重传”快速恢复”算法。这几个算法称为了避免网络拥塞的基础,是目前网络没有陷入瘫痪的最大功臣。到1996年的时候,国外以
Packeteer(2008年被Blue Coat收购)为首的厂家为了解决跨国公司分公司访问总部业务服务器的速度问题首次推出了专业的流量管理设备。当时,一般跨国公司都是通过国际
专线连接总部和分公司,
带宽非常昂贵,而普通的
网络设备如
防火墙、
路由器和核心
三层交换机等无法识别第七层应用如Oracle、SAP 等,因此以
Packeteer为首的厂家开发出基于第七层应用的流量管理设备来满足这个需求。因为跨国公司的业务比较简单,应用数量也不多(一般为业务系统、邮件等),所以基于第七层应用的流量管理方式很适合这种网络环境。
2003年左右,互联网再次出现重大变革, P2P开始兴起,对于网络的冲击很大,通常P2P应用会占用网络的总流量的50%-80%,和当年跨国公司的网络环境相比,应用数量变得非常大,通常在1 万种以上,同时
出口带宽也变得非常大,从而使得基于第七层应用的流量管理方式遭遇了性能、技术和管理方式的双重瓶颈。
在P2P改变了用户网络行为模型图示中,我们可以看到用户的网络行为模型由以往的星状变成了网状。由于我们在之前看到所有的网络都是以
客户端和服务器之间的交互,用这种访问模型去构建现在所有的网络,而且我们的网络产品也是基于这种模型去设计和建造的。P2P出现之后,所有网络的模型,用户和用户之间产生了非常大交互的数据量,这样就形成一个扁平网状的模型,这种模型现在我们构建出来的基于
星形连接的模式是不适合P2P新的网络访问模型,这样就给整个网络带来非常大的灾难性的影响。可想而知,在这种网络环境下,几乎所以的用户都会面临“
网络拥塞”的挑战,造成的结果就是不到5%的P2P用户占用了90%以上的
带宽资源。
技术的现状
市场上二十多种流量控制产品做了研究,发现大多数仍是采用的是基于DPI的深度包解析技术(应用和协议识别技术)和
队列管理机制。
应用和协议识别技术
这种技术是对经过
流量控制设备的
数据包进行深度的拆包解析,并与设备自身的特征数据库进行匹配。原理上与当前流行的杀毒软件一致,但是杀毒软件是在本地进行的,流量管理设备是在网络出口处的,这种方式无疑会增大网络延迟,影响网络效率,并且对硬件本身也是折磨,遇到大流量的话,设备不是挂掉,就是直接放行流量。并且现在应用越来越多,P2P自身也在不断发展,第一代P2P:集中式P2P应用,Napster模式,固定TCP端口;这一代的P2P生命力十分脆弱――只要关闭服务器,网络就死了;第二代P2P:分布式P2P应用,跳跃端口,随机端口;盗用常用端口(如HTTP的80);HTTP隧道(伪装成HTTP流量);HTTP代理隧道(如SOCKS代理),第二代分布式P2P没有中央服务器,但是速度太慢;第三代P2P:介于集中与分布之间,属于混合型,采用分布服务器;发展到现在出现了所谓的第四代P2P,这一代P2P相比第三代,技术上没有很大的革新,(但有两个明显特点)增加无用随机数据(如BT等)和数据加密(如迅雷采用了密码学中的
高级加密标准AES加密法,又称Rijndael加密法,是美国联邦政府采用的一种区块加密标准。这个标准用来替代原先的DES,已经被多方分析且广为全世界所使用,号称三十年无法破译。)两个手段使协议流量特征模糊化;多协议并用,(比如迅雷就HTTP与FTP协议并存);这类特征都面对一个目的,逃避监管。
迅雷、 BT、eMule为代表的“加密化”趋势,让传统方案束手无策。从管理方式来说,以前基于第七层应用的微观管理流量的方式在大型网络中日益不适合,不但使最终用户觉得隐私没有保障,产生逆反心理,而且管理效果不佳。
从基于应用识别的管理图示来看,当新的应用层出不穷,而特征库的更新总是在新应用出现之后。在更新特征库这段时间,网络总是处在无序的状态,时好时坏。这样始终是一个变异——更新——升级的恶性循环。
队列管理机制
采取队列机制来管理数据包的传输,在上载方向上确实适用,但在下载方向上完全无能为力,这种通过丢弃已收到数据包的方式强行将某些应用占用的带宽降下来,将导致下载带宽损失。队列技术最大的两个问题就是对于所有流量造成延时和无法支持大于1000 的队列通道。
队列管理机制带宽控制图示中,以P2P控制为例,假如我们设定LAN中流量管理设备允许20%
下行带宽的P2P下载流量通过,这时从WAN上过来了40%的P2P流量,当这40%的P2P流量传到流控设备时,因为我们事先设定只允许20%的P2P下载流量
数据包通过,那么20%的P2P下载流量数据包就会被流控设备丢掉,但被丢弃的20%的P2P下载流控数据包仍然占用着WAN上的宽带。这个时候,除了允许的这20%的P2P流量外,我们发现只有60%
下行带宽可以用于其它数据传输,其实带宽利用率却只有80%,其中20%的流量被白白的浪费掉了。
发展趋势
当前的技术挑战
从上述的分析来看,不管是采用应用和协议识别技术,还是
队列管理机制,
带宽管理仍会面临如下的挑战:
A.互联网的应用及
传输协议成千上万,不可能保证所有的应用都能正确识别。
B.
迅雷等P2P新兴软件,采用私有加密协议,并通过常用端口进行连接(如80,443等)以逃避各种控制,增加应用流量管理对此类应用控制的难度。
C.由于应用的不断增加及频繁变化,流量管理设备本身需不断更新识别库,且识别库的更新也很难保证快速及时。
D.网络管理人员需要频繁策略以应对各种新的应用。
E. 各类信息流平均分获一定的带宽,网络闲时容易造成网络资源利用率低。
F. 只能控制网络内部的流量,对网络出口处的拥塞毫无帮助。
G.无法满足应用程序对实时性越来越高的要求。
未来的技术发展趋势
在P2P应用大行其道的网络年代,用户对能在控制好流量的同时,又保证网络资源利用率在最高状态;能自动识别滥用带宽用户并加以限制,又避免了先有应用后有识别码的恶性循环;能根据网络负载情况动态自动调整策略,又便于IT人员对当前的带宽应用进行分析和故障排查的诉求将会越来越普遍。
目前又有关于以提升带宽利用率,的带宽管理技术,“精确的端到端流量控制” 是什么概念呢。就是由接收端可以根据当前的网络负荷状况来遥控发送端。告诉发送端我能够接受多少的数据包,你就发送多少数据包从而避免了
网络拥塞的产生。使得网络整体连接状况总是处在平稳的状态中。
流量管理 软件
流量管理 V1.1.23
【系统平台】支持Android 2.2及以上版本
My Data Manager是
安卓客一款针对用户手机流量进行管理的实用工具,可设置月、日流量上限,可查看每款应用实用的流量,并支持临界报警,帮助用户有效安排流量使用,节省费用。
v1.1.23更新:
- 通知图标现在是看不到的
- 可选择匿名分享
- 新增无线装置支持
流量管理 硬件
流量管理系统是一套对网络行为应用流量进行分析、监管和管控的专业系统。天融信TopFlow能够对用户网络行为流量进行精细化管理,为管理者提供图形化的应用监视、应用分析、流量管理、应用统计、应用控制、流量审计、应用报表等功能,是最新一代应用丰富且管控精准的应用流量分析监管系统。网络卫士应用流量管理系统从百兆到万兆,全系列产品都具有很高的系统稳定性,适用于强调图形化应用行为监控分析、用户行为精细化控制、应用识别精准度大于99%、系统运行要求稳定的网络环境。
·应用识别准确率超过99%
通过完善的应用协议特征库(signatures)检测和伪装探测技术,并采用 DPI(Deep Packet Inspection)深度包检测技术来识别各种用户应用,特别对采用逃避技术的加密协议进行精准识别,如采用加密传输的迅雷、电驴、QVOD视频等加密类协议进行及时而精准识别,应用识别率超过99%。
·超高性能及高稳定性
1、天融信TopFlow采用先进的技术对硬件和软件进行优化处理:
硬件优化:采用多核架构,四核各司其职,专职处理管理、监控、检测和控制等模块,大大提升资源利用率。
软件优化:基于TOS平台,进行协议栈优化,对高性能处理需求进行中断处理函数和网卡驱动修改,优先处理,超高速放行。
策略优化:采用“节点”管理技术,优化检测匹配策略提高检测效率.
2、性能可达万兆(20G),并发可达2000万,用户数可支持50万,可用于运营商;高可靠性;双OS系统冗余备份功能,保证在任何状况下系统运行的稳定性,同时完善的bypass功能保证系统健康运行。坚若磐石的双进程容错技术,保障系统健壮,出错后自动愈合。
·用户行为精细化监控分析和管控
可实时显示单个IP流量速率和单个当前各个应用的速率明细,如放大镜一般层层显示,可快速得到基于用户应用行为的分析,帮助用户保护网络、及时发现恶意流量、阻止安全威胁和恶意流量及故障排除,发现性能问题;可视网络,了解你的网络应用和用户的活动;优化网络,保证应用和服务的性能;规划未来、决定未来需求、分析长期趋势、规划未来的需求及容量,层层监控分析剖析整个网络。
·详细的应用控制和分流
对http应用进行详细管控,如控制用户通过HTTP下载某类型文件,控制用户访问某些网站,也可控制用户在论坛及微博发帖,主动杜绝用户在某些网站发布不良信息;对DNS管控。如可根据不同运营商链路将DNS解析到对应的线路上,实现对内网DNS请求进行代理、对外网DNS响应进行劫持的功能。支持应用分流和流量代理功能,可实现应用路由、应用负载均衡功能,真正将网络的各种应用流量进行有效管理和控制。
·用户身份追踪
可提供单个IP对应的用户身份信息,如QQ号码、MSN账号、POP3账号等,便于身份追查;代理上网IP追踪:跨路由代理流量检查是基于最终用户的应用协议检查,能应对所有的共享机制,如NAT、网卡共享、软件代理等进行深度检查,也就是常说的一拖N用户检测、控制的功能;例如多个用户使用一台PC作为代理服务器上网,或跨越多级路由,此时流量管理系统就能检查到藏在后端的其他PC终端IP。
·丰富多样的报表及集中监控
天融信TopFlow应用流量管理系统通道流量、各应用协议/协议组的日图表、周图表、月图表;连接统计、节点统计、协议统计、PPS统计;自定义报表功能:用户可针对自己关心的IP/IP组、应用协议/协议组等不同的对象自定义一个报表,将针对多个对象的统计结果集中显示在一个图表中,减少日常监控的工作量;统计数据可以指定不同的线形和颜色以绝对值或叠加的方式显示;报表统计的时间跨度可以是当天、本周和当月。