首页 > PHP资讯 > 创业信息 > Dropbox 弃用亚马逊云服务的启示

Dropbox 弃用亚马逊云服务的启示

创业信息
  

 

  Dropbox是一家坐落在旧金山的草创公司,在全球具有5亿用户。跟着规划的扩展, Dropbox弃用亚马逊云效劳,自立缔造了无穷的数据基地。这是一个工程上的豪举,它的含义也远远超出了Dropbox本身。

  Dropbox看上去仅仅核算机桌面上的一个文件夹,但有了它,你能够轻松愉快地把文件贮存在互联网上,或许把文件发送给别的人,或许在你的笔记本电脑、手机和平板电脑进步行同步。这个文件夹运用起来轻松天然,几乎不会耗费你的脑细胞。可是在这个文件夹的幕后,却有一个工程上的豪举。 Dropbox运用的大型机器网络代表着一种力气,在曩昔十年里,这种力气让互联网的基地发作了无穷改变。而在今天,它又迈入了一个令人瞩目的新期间。

  在公司诞生以后的开端8年里, Dropbox为5亿核算机用户贮存了海量文件。可是它并没有把这些文件真实存储在自个的地盘上。就像这些年许多别的科技草创公司相同,Dropbox也把东西贮存在了“亚马逊云效劳”上面。那是一个十分受欢迎的效劳,由国际上最大的在线零售商亚马逊供给。任何人都能够运用亚马逊云效劳来构建运转自个的软件,无需自个架起硬件。换句话说,Dropbox的海量文件是贮存在亚马逊的机器上,而不是Dropbox自个具有和运转的机器上的。

  但如今不再是这么了。在曩昔的两年半的时刻里, Dropbox自个架起了无穷的核算机网络,把海量文件转移到了一系列新的机器上,这些新机器是公司自个的工程师规划的,机器上运转的软件体系,也是由公司自个的程序员运用一种簇新的编程言语开发的。这些工程师和程序员,曾经在互联网巨子google(微博)、Facebook和Twitter开发过相似的技能,具有丰富的阅历。如今,Dropbox现已将大概90%的文件搬到了这个新的网上王国里边。

  毋庸置疑,这是一个无穷的工程豪举。但这一行为的含义远远超出了Dropbox本身。它突显了云核算怎么正在敏捷改动公司的经营方法。与此一同,它也提醒了一些翻六合覆的改变是怎么在曩昔十年里席卷全球硬件商场的。

  如今,不断增加的公司正在搬到“云端”——而不是脱离云端。依据调研组织Forrester的猜测,跟着google和微软这么的巨子进入云效劳商场,应战亚马逊的领军位置,到2020年,云核算的规划估计将达到 1910亿美元。亚马逊回绝对此事进行置评,但该公司上一年第四季度的财报显现,亚马逊web效劳部分营收为 24.1亿美元,适当于年化营收逾 96亿美元——留意,这是在Dropbox脱离以后的数字。

  可是,有些公司变得日益无穷,抵达了这么一个期间:弃用他人供给的云效劳,运用自个的定制技能,树立自个的网络,反倒愈加省钱。由于规划经济效应,亚马逊、google、微软能够把云效劳的报价保持在对比低廉的水平上。但它们向他人收取的报价也并非即是云效劳的本钱价。 “没有人把云效劳当做慈善事业来做,” 曾经在facebook作业过的Dropbox工程副总裁阿迪亚·阿加瓦尔(Aditya Agarwal)说,“这个效劳总之是有利润的。”假如你自个的规划足够无穷,那么不运用云效劳,反而能够节约不少资金。而Dropbox如今现已达到了这么的规划。

  尽管如此,树立这种规划的网络是一项十分艰巨的使命,并不是每一家公司都合适。 “正确的主意本来应该是:不要自个着手去做,” 乌尔斯·霍泽尔说。 他曾是加州大学圣巴巴拉分校的教授,也是google的第八位职工,掌管了google全球网络的树立,如今在协助运营该公司的云核算效劳。他解说说,大多数公司都没有无穷到规划经济的程度,也缺少相应的技能。假如公司的增加停滞了,这么做反而会让公司进退两难。Dropbox好像也有一丝这么的痕迹。近几个月来,专家和投资者对Dropbox不太看好,说它100亿美元的估值水分很大,由于该公司在招引真实的公司客户方面进展缓慢。

  可是霍泽尔也供认,关于有些公司来说,这么做也挺合理。至少就如今来说,Dropbox即是归于这种类型的公司。据Dropbox首席运营官丹尼斯·伍德赛德(Dennis Woodside)说,他们自个架起这个网络现已具有了“无穷的经济价值”。实际上,在弃用亚马逊云效劳的一同,Dropbox也展现了为何云效劳如此强大。该公司自个也修筑了基础设施,让他人无需再做这件事。并且,Dropbox自个也是一个云效劳公司。它把数据转移到自个的无穷网络上,此举也让它加入了亚马逊、google和微软的队伍,把全球硬件商场(以及全部IT职业)朝着一个全新的方向推进。

  文件的将来

  亚马逊是云效劳商场的主力军。它的首要竞赛者是google和微软。运用这三家公司供给的效劳,别的公司或许独立程序员能够构建并运转任何软件,而不用架起自个的硬件。这么的优点,只要全球最大的科技公司才干供给。

  与此一同,二级商场也在不断增加。这个商场以Dropbox为基地,它的首要竞赛对手包含Box.com、Saleforce.com等等。这些公司处在一个不相同的笔直商场——在互联网上供给预先构建的软件。就像巨子公司相同,它们也供给了一些工具,让公司和开发人员无需树立自个的硬件,就能够运用这些工具——这正是云效劳的招引力的精华。 “这个职业的下一个主要年代,即是渠道之战,”Box.com的首席执行官亚伦·莱维(Aaron Levie)说。 “关键疑问是:公司要在哪个渠道上构建自个的效劳?”

  Dropbox期望自个能变成其间的一个赢家,因而决议大手笔缔造自个的云效劳。可是,作业并没有那么简单。该公司将会面对来自亚马逊、google和微软的日益激烈的竞赛。事实上,这些巨子现已在应战Dropbox和Box这一类文件同享工具了。文件同享商场将来有也许萎缩。独自文件(独自的相片和视频,Word文档和电子表格)的同享,将变得不再那么主要。文件不是智能手机上的基地。并且有了Slack这种随时连线的消息和协作效劳以后,在桌面上,文件也离基地舞台越来越远了。

  Dropbox也很明白这全部。该公司的无穷估值,现已让它变成了备受专家和投资者非难的“独角兽”。近来几个月里,没有哪一家草创公司接受的压力比Dropbox更大,有许多人都对它在公司事务范畴与互联网巨子对立的才能表明了质疑。从该公司高管的一些讲话来看,很明显,Dropbox明白的认识到了国际正在发作改变。在该公司花费了这么多的时刻、金钱和精力打造自个的全球网络以后,如今的疑问是,公司本身的改变是不是适应了这个国际的发展方向?

  合理的地方

  詹姆斯·考林(James Cowling)在麻省理工学院读书的时分,就认识了Dropbox的创业者。其时他在那里读研讨生,专业方向是分布式核算体系(在几十个、几百个,乃至上千个设备上运转的核算体系),他和最早的一批Dropbox职工一同研讨这个课题,就这么,他认识了Dropbox的联合创始人兼首席执行官德鲁·休斯顿(Drew Houston)。在Dropbox不断生长的进程中,他们一向保持着联络,并且一同讨论过弃用亚马逊云效劳的条件和方法。 “这个主意好像十分斗胆,”考林说。

  考林说,2012年,互联网上最斗胆的立异公司google曾想把他招募到Spanner团队。Spanner是google的全球数据库,该公司的许多在线效劳都以它为依托。并且,Spanner也许也是地球上的最大最杂乱的数据库,是分布式体系中最有分布式特性的一个。可是考林仍是决议去Dropbox作业。 “我想创立一些东西,”考林说。Spanner现已建好了,但Dropbox的数据王国还没有。

  Dropbox在诞生以后的大有些时刻里,都选用了有些上运用亚马逊云效劳,有些上运用自个数据基地相结合的方法。用户经过Dropbox同享文件时,该公司就把这些文件贮存在亚马逊的Simple Storage Service(简称为S3)上,一同把这些文件的全部元数据——即它们归于谁,允许哪些人下载——存放在Dropbox自个数据基地的机器上。

  该公司的基础设施副总裁阿卡利·古普塔(Akhil Gupta)曾在google作业。考林和古普塔以及别的人一同,规划了一个全面的软件体系,Dropbox能够存贮存储成百上千PG的数据——适当于数以亿计个优盘的存储量——并且贮存效率比在亚马逊S3上高得多。他们给这个体系取名“魔法口袋”(Magic Pocket)。 “咱们的构想是,你能够把你全部的东西都存放在Dropbox上,不会走失,不会找不到东西,你随时都能够运用它们,它就像一个魔法口袋。”古普塔说。

  从实质上说,他们适当所以树立了公司自个的亚马逊S3,所不相同的,仅仅他们专门规划了软件,用来处理该公司特定的技能疑问。 “这不是对等更换,”阿加瓦尔说。 “而是一个专门为咱们自个度身定制的东西。”

  即便是在Dropbox还没有搬离亚马逊的时分,亚马逊就现已体现得像是Dropbox的竞赛对手了。亚马逊供给了自个的文件同享效劳,尽管它缺少Dropbox那样的用户友好度,并且品牌知名度也不如Dropbox,但这难免让规划相对较小的Dropbox感到忧虑。不过阿加瓦尔说,弃用亚马逊云效劳首要是财政上的因素,而不是竞赛上的因素。“你有必要把这些科技巨子想象是一个国家——友好邻邦,尽管你也许会与它们发作这么那样的小冲突,”他说。 “亚马逊在许多范畴都很超卓,但我以为,当一家云贮存供给商并不是它们的首要使命,这和咱们不相同。”

  作业最好真的能像他期望的那样,由于Dropbox现已压下了它的全部赌注。它依据自个的需求开发了自个的软件。并且还不仅仅是如此,Dropbox也度身定制了硬件:它自个规划了核算机。

  定制硬件

  多年以来,互联网巨子google、Facebook、微柔和亚马逊都在为自个的数据基地规划硬件——核算机效劳器、网络交换机,有些时分还包含用来贮存许多数据的硬件。这些公司别无选择,只能自个着手处理全部全部:由于它们的在线王国现已变得如此无穷,运用通用设备只会愈加贵重、愈加艰难。它们需求的是新式硬件——更廉价、更精简、更具可塑性。因而,它们和硬件制作商一同,和亚洲本地的零部件供货商一同,规划制作了专门的设备。

  如今,google缔造的效劳器比全国际别的任何一家公司都多——包含那些出售效劳器的厂商。亚马逊和微软在这方面也没落后。并且,由于这些公司供给云核算效劳,许多别的公司如今选用的硬件也和传统的通用硬件有不相同——特别是在Facebook开源了其定制设备的规划以后。如今,一些供货商,包含广达这么的亚洲制作商,都在出售根据Facebook硬件的商品。

  拉米·阿加马(Rami Aljamal)亲身阅历这个改变。他在Twitter规划了一系列精简机型,也在戴尔的新部分DCS作业过(戴尔树立这个部分,是期望夺回商场份额。google等公司规划自个的硬件,让戴尔丢失了一些商场份额)。如今,他在Dropbox的规划机器。就像google、亚马逊和微软相同,Dropbox以为它也有必要具有合适自个共同需求的机器。

  Dropbox存储了海量数据,因而它需求合适展开这个使命的机器。阿加马和他的团队在 Dropbox总部一个实验室里边规划了这种机器,他们称之为Diskotech。 “咱们最关怀的东西是磁盘,” 阿加马说。 “全部信息都贮存在磁盘上。”Diskotech宽约45厘米,长约106厘米,高15厘米,可存储多达1 PB数据(100万GB)。只需求50台这么的机器,就能够贮存人类有史以来写过的全部东西。

  进行更换

  考林和搭档从2013年夏天开端开发“魔法口袋”软件,花了大概6个月的时刻完结了初始代码。可是,这仅仅他们迈出的一小步。在体系建成以后,他们有必要保证软件能够正常作业,有必要让它在多个数据基地数以千计的机器正常运转。他们不得不为公司的新硬件改写软件,并且还得把全部的数据都搬离亚马逊。

  全部进程花了两年的时刻。毫无疑问,这么的项目是技能上的一大应战。可是与此一同,它也是后勤上的一个应战。在互联网上移动如此之多的数据是一回事,把这么多的机器搬到数据基地又是别的一回事,并且他们有必要在Dropbox持续为亿万用户供给效劳的一同做到这两件事。 “就好比是一辆正在行进的汽车,你期望能够在开车的一同,还能够更换轮胎。”机器扩大作业的负责人丹·威廉姆斯(Dan Williams,曾是Facebook网络工程师)表明。也即是说,在进行这些改变的时分,Dropbox不能停运。它不能对亿万用户说:你们的文件暂时无法运用了。这个艰巨使命圆满完结的最好方针之一,即是用户彻底留意不到公司有这么的改变。

  考林和搭档在写完开端的代码以后,就在一种对比规范的硬件上面进行了测验。他们的方针是接连测验180天不会呈现严重过错。团队乃至在Dropbox总部的墙上挂了一个倒计时钟。两个月以后,测验呈现了一个过错——也许会把数据存储到过错的地方——然后他们又把倒计时钟调回到180天。测验一共历时8个月。

  团队觉得这个体系能够正式运转的时分,就把代码移到了不断增加的体系上,一同也从亚马逊仿制了不断增加数据。公司与亚马逊的首要合约将在六个月后期满,他们决心到那个时分完结搬家进程,这么就不需求续签合同了。 “留给咱们翻开降落伞的时刻十分短,”考林说。

  把数据从亚马逊迁移到别的数据基地,这是一个史诗级的使命。从一台机器移动PB级的数据到另一台机器上,和下载几首歌到你的笔记本核算机上不可同日而语。即使是最快的互联网通道,带宽也是有限的。事实上,传输4 PB数据大概会花一天的时刻。 “你会受光速所限,”阿加瓦尔说。

  一同,他们还有必要把核算机运到数据基地架起好。你能够把这想成是你公司的IT人员为一个新职工装置核算机——可是以Dropbox那样的规划。这种作业有必要在有限的时刻内完结。由于假如不敏捷设置好数据基地,他们就无法敏捷地从亚马逊移动数据。该公司天天装置四十到五十个机架,每个机架上安放八台独自的机器。有一次他们遇到一个事端,不过不是核算机类型的事端。机器是用货车运到Dropbox各个数据基地的,那一次是在24小时以内,有两辆前往不相同数据基地的货车先后发作了事端。

  尽管呈现了这么那样的费事,Dropbox仍是在最终期限之前完结了使命。它没有与亚马逊续签合同。不过该公司在欧洲的事务仍是在持续运用亚马逊云效劳——这只不过是由于Dropbox在欧洲的发展不太安稳——可是,古普塔的团队把全部文件中的90%都搬家到了Dropbox的数据基地。

  转换编程言语

  跟着数据搬离亚马逊云效劳,硬件工程师阿加马和一个叫杰米·特纳(Jamie Turner)的程序员开端行动起来。Dropbox的“魔法口袋”——相似于亚马逊文件存储体系——仍然在一般机器上运转,下一步即是把它搬到该公司定制的硬件上。特纳在校园读的是英语专业,后来却变成了工程师,他曾在多个高科技草创公司的作业过。他与阿加马协作,保证定制的硬件能够与软件杰出符合。阿加马和别的硬件工程师规划的Diskotech机器能够包容PB级的数据。可是这儿边有个疑问,即是“魔法口袋”和新硬件不太兼容。所以,特纳开端用一种彻底不相同的编程言语重新编写“魔法口袋”。

  也许你会觉得有点古怪。为何要把代码装置到数以千计的机器里,然后更改这些代码,再把它们装置到数以千计的别的机器里?可是在规划无穷的互联网数据基地,作业即是这么操作的。机器敏捷变得老旧,不断呈现疑问,然后你就得更换它们。在大型数据基地,晋级设备是一种常态。所以,Dropbox先保证“魔法口袋”能够在通用的机器上运转,然后定制硬件,然后有必要保证“魔法口袋”和新的硬件能够杰出符合。

  考林、特纳和搭档开端是用google的Go言语来编写“魔法口袋”的。这是由于Dropbox在跟随一种更广泛的趋势。Go言语是专门为大规划分布式在线体系规划的,苹果有相似的Swift,Mozilla也推出了自个的Rust,此外还有一种独立言语叫D。程序员能够用它们疾速编写出能够大规划跨机器(跨过数以百计或许数以千计的机器)疾速运转的软件。

  可是关于该公司期望树立的大型贮存体系来说,Go的“内存占用”(在运转“魔法口袋”的时分所需求的核算机内存量)太大了。 Dropbox需求一种占用内存较少的言语,由于有这么多的文件流传输到机器上,会占用十分多的内存。所以在这个长达两年半的项目的中间,他们改用Rust编写了Diskotech设备的软件。Dropbox的数据基地如今选用的即是这么的软硬组合。

  也许面对的风险

  这是一项十分艰巨的工程。可是,像google、亚马逊和Dropbox公司做了这么的作业以后,别的公司就不用再阅历这么的费事了。这即是云核算的力气。当然,Dropbox不是google,也不是亚马逊。它不为程序员和公司供给根本核算才能和基础设施,来让他们树立和运转自个喜爱的任何软件。可是有了它,个人和公司的确无需架起专门的硬件能够同享和存储文件。Dropbox期望“同享”会变成一个渠道,这即是为何它创立了一个名为Dropbox Paper的在线文本编辑器和协作工具的因素:外部开发人员能够把自个的使用放在它的效劳上。

  疑问是,亚马逊、google和微软也在扩大自个的效劳,这也许会限制Dropbox的增加。在这么的情况下,该公司自个缔造的数据基地也许反而会变成一种累赘。旧金山的交际游戏公司Zynga在进入高增加期间的时分,就弃用云效劳,树立了自个的数据基地。可是后来,它的事务一泻千里,新建的基础设施没有用上。如今它又重新回到了亚马逊云效劳上。

  Dropbox的一个优势是,阿加瓦尔、古普塔、威廉姆斯都有过这方面的阅历。丹·威廉姆斯说, “假如你现已在Facebook或google做过这么的作业,你对这种高增加也许就会有点上瘾的感受,”威廉姆斯说。“你会很怀念那种感受。”

  这并不说他们做的是花架子,由于数据基地的确也许会协助公司节约许多本钱。可是,就像烟瘾酒瘾相同,这种“高增加瘾”本身也蕴含着某种程度的要挟。硅谷有一种说法,叫作“NIH综合征”,指一些公司创立林林总总的新东西,仅仅由于它们有这种创立新东西的癖好。

  不管这个行为是不是能协助Dropbox达成预期的方针,该公司如今都具有了自个的数据基地。这代表着一种情绪,一种从google开端逐步扩散到全部硅谷的情绪。google之所以取得无穷成功,不仅仅是由于它创立了一个很超卓的互联网搜索引擎,也是由于它创立了支撑该搜索引擎大规划运转的底层技能——以及别的许多效劳。后来Facebook从google招募了许多职工,差不多也是走的这条路。Twitter也是如此。如今Dropbox也走上了这条路。要变成一个伟人,你也许需求站在他人的肩上。可是,一旦你变成了伟人,你就会觉得,有必要缔造一个合适自个的家园了。(南京PHP培训机构

本文由欣才IT学院整理发布,未经许可,禁止转载。