就在别的公司感叹这老牌硬件公司IBM逐渐没落的时候,它再一次给我们带来惊喜,最近它发布最新的网络传输技术,能在极低的功率下使网络传输速度达到400Gbps,下载4万首歌曲仅需几秒,大批网友纷纷感叹“硬盘受不了”,“IBM,人类已经阻止不了你的脚步”;四大著名风投从自己的角度出发解读大数据创业的方向;Moz公司CEO结合自身创业实践,阐述了如何理智正确的使用AWS……
继去年IBM收购了Aspera公司,可以使一个24G的文件传输从原来的26小时消减到30秒。最近蓝色巨人IBM又展示了一项新的网络传输技术,北京时间2月16日最新消息:可以在极低功率下将数据传输速度提升到400Gbps,在这个速度下160G的4K超高清电影或者4万首歌曲将在几秒内下载完。超高速模拟-数字转换器(ADC)能够使云和数据中心之间的大数据传输速度比现有技术还要快四倍。
ADC将模拟信号转换为数字,这些0和1可以存储在计算机然后可以用来分析以及预测结果。例如,科学家们将使用成千上万的ADC转换器将起源于130亿年前宇宙大爆炸的模拟无线电信号转换为数字信号。IBM研究所主任Martin
Schmatz说:“我们的ADC支持IEEE标准数据通信,使我们能够解决大数据应用,有Semtech这样的合作伙伴,我们将在12个月内将ADC推向市场。”
初创公司想要发展,离不开风险投资商的青睐。开发营销软件,贴上大数据标签,这样的方式已经很难再吸收到资金了,大公司早已占据了市场,初创公司需要创意,需要发现新的蓝海。怎样运用大数据,考验着创业者的智慧。
企业使用 AWS,可以轻松购买计算、存储、数据库和其他基于互联网的服务来支持其应用程序。由于开发人员只需按使用量付费,无需前期资本支出,AWS被认为是向最终用户交付计算资源、数据存储和其他应用程序的一种最经济划算的方式。但是AWS是不是真的完美无缺、放之四海而皆准,Moz公司CEO Sarah Bird 结合自己的创业实践,分享了自己如何理智正确的使用AWS。
“在Moz我们产生了很多数据,这需要占用大量的计算能力,Moz首席执行官Sarah Bird在该公司的博客上写道。多年来,我们已经在AWS上花了很多的钱,它不仅使我们的利润减少了,而且使我们的产品不稳定。雪上加霜的是,我们建立的服务……不完整。”
自2012年开始一直到2013年,Moz在Washington、Virginia和Texas建立自己的数据中心。Moz并未完全放弃了AWS,而且也没有计划这么做,Moz首席技术官Anthony
Skinner在Hacker News写道,他的公司仍将在AWS上每年投入100万美元。
CDN的使用在Yahoo! Web性能规则上排第二,面临着地域性的网络差异,CDN已成为提高网站性能的首选利器;不幸的是,虽然CDN已经过多年发展,但是在国内中小网站上仍然很少被使用,国内开发者的CDN设计经验更是少之又少。近日,我们有幸邀请到国内知名CDN服务提供商又拍云的联合创始人兼运维总监为我们深度分析这个技术。
作者首先介绍了CDN作用包括:缓存代理、路由加速、安全防护、节省成本;紧接着从5个方面对比详细说明CDN架构:存储介质 vs IO的关系、随机读写 vs 顺序读写、大文件 vs 小文件、硬件红利 vs 软件设计、系统优化。
作者经验笔记:
BIOS里务必开启AHCI模式(能支持SATA热插拔和NCQ寻址方式,提速→300%,当然内核也要支持AHCI模式)
SSD的主控芯片相当于大脑中枢,非常重要,建议用Intel、Samsung、Marvell等知名品牌
SSD更适合应用在随机读写场景,因此需要认真思考什么场合应用
AOL.com的日访问人次已超过800万,月PV更达10亿之巨。近日,Lead Squirrel创始人、AOL架构师兼工程团队负责人、拥有10年架构经验的Dave Hagler在HighScalability上撰文分享了AOL高可用性(99.999%)网站架构。文章从设计原则、物理基础设施、流量、监视、内容管理系统、数据库、缓存等方面详细介绍AOL高可用性(99.999%)网站架构。
设计原则:关于架构的设计我们有着明确的思路,其中最重要的就是冗余一切,第二个原则就是AOL.com不能依赖任何共享基础设施去交付页面,即使某个系统或内容发生故障,AOL.com仍然需要维持着高可用。
监视:所有的应用程序都运行在AOL数据中心,包括AOL.com,都由一个自主研发的工具监控,类似于Amazon的CloudWatch,已投入使用多年。监视工具会实时的收集软硬件信息,并通过一个客户端应用程序提供报告、图及仪盘表,提供了主机、CPU、接口、网络设备、文件系统、网络流量、响应代码、响应时间、应用程序度量等众多信息。服务器端点更是每分钟都进行检查,并在超过基于可用性及响应时间设置的阈值时进行报警。
数据库:AOL.com上的内容是高度动态的,因此需要为每次页面访问都制定数据库和应用程序连接规则。除了在页面上提示,CMS同样包含了许多规则和条件内容,如果你在旧浏览器上,你可能会在顶部看到一个浏览器升级提示。因此,CMS数据需要足够的快,有能力处理流量的爆发,并且一直可用。我们当下使用的是MySQL 5,区别于前端的虚拟服务器,数据库服务器拥有更多的容量――16 CPU的物理服务器。
6. “阅后即焚”挖谷歌墙角,GAE技术大牛跳槽Snapchat
Snapchat是由斯坦福大学两位学生开发的一款“阅后即焚”照片分享应用,其最主要的功能是所有照片都有一个1到10秒的生命期,如果接收方在此期间试图进行截图的话,用户也将得到通知。Snapchat被视为Facebook和Instagram最强劲的竞争对手之一,为此Facebook还专门还推出了功能类似的照片分享应用Poke。Snapchat一直是谷歌的主要客户,此次它从谷歌挖走Magnusson除了减少了对谷歌的依赖之外,还有更大的计划。
Peter Magnusson 2010-2013年任职于谷歌,是GAE的工程主管,在他的领导下GAE成长为谷歌最大的产品之一,拥有400万注册应用程序、30万活跃开发者。
Peter Magnusson
所以Magnusson对此非常敏感,写道:“《华尔街日报》使我在谷歌的老朋友们对我有些误解。最新的声明是我们会不断评估替代品,而且随着时间的推移我们需要发展更多自己的基础设施,特别是在我们应用程序的专业领域。谷歌是一个伟大的伙伴,没有谷歌的云Snapchat是不可能成功的,我们希望继续和谷歌紧密合作。”
7. 15核芯片+数据平台,Intel软硬兼备的Hadoop战略
2月19日,英特尔宣布,面向服务器系统推出新款15核高端芯片Xeon E7 v2,以帮助大型企业更好地应对“大数据”处理需求,比如向大型科技客户提供实时分析等。其实英特尔不仅致力于制造更快的处理器,也越来越关注软件平台的作用。利用开源力量,导入创新技术,建立开放平台,不仅具有较高的性价比,还考虑到企业对安全性和可扩展性的需求。从一系列动作可以看出英特尔誓要与微软、谷歌、亚马逊一争高低。
该芯片强大的性能使英特尔占有“领先地位”,使其能够与对手AMD的x86芯片,以及IBM的Power系列芯片竞争。相较于IBM的RISC处理器芯片,新型芯片的运作性能提升了80%,而总体拥有成本(Total Cost of Ownership,TCO)则下降了80%。相较于上一代Xeon产品,英特尔全新处理器芯片带宽输入和输出性能是其四倍,内存容量是上一代的三倍,另外,该芯片还刷新了20项关键任务性能纪录。
用户选择英特尔
Apache Hadoop发行版,事实上是考虑到这个平台将会比其它平台更有效率,因为它将被最新的Xeon处理器优化。英特尔提供软件进行快速加密和解密数据(专为Hadoop平台开发的),为了更好的安全性还使用了AES算法。
2013年爱德华・斯诺登爆料美国NSA秘密执行的“棱镜计划”,使得网络信息隐私安全问题在一夜之间走到台前,成为倍受大众关注的焦点话题,2013中国互联网安全大会上,安全专家王清曾现场演示程序仅通过QQ号在1分钟内就可以查出你的真实姓名及社交圈,并不是靠黑客入侵电脑窃取信息,仅仅是收集你在各个网站上的个人资料进行汇总和分析就可以做到,大数据对个人隐私来说无疑是一剂“毒药”。IDF实验室团队负责人裴伟伟,通过对比国内外互联网企业隐私策略,进行了探讨。
以下是为进行隐私策略对比而选取的14家国内外互联网企业:国内企业:新浪、百度、奇虎、淘宝、腾讯、网易、搜狐;国外企业:Google、IBM、Microsoft、Facebook、YouTube、Twitter、Yahoo!。
文章从以下两个方面对比国内和国外隐私政策的不同,首先是网站隐私策略内容包括:个人资料信息、Cookie、存储个人信息说明、免责声明、涉及用户隐私行为是否征求用户同意、用户数据保护措施、提高隐私安全强度方法、详细的联系方式、信息收集方式;其次是隐私相关的法律法规:国外的法律法规、国内的法律法规、国内外隐私策略对比。