如何利用Signiant SkyDrop进行数据大迁移？

在媒体行业，Signiant已经闻名于大型文档的迁移。一些广播公司，影视公司，游戏公司等类似的公司使用Signiant Media Shuttle，Signiant Media Exchange 和 Signiant Manager+Agents这样的工具来提高大型文档传送的流程速度。通过分析在云中扩张的工作负载，以达到将大型文档传输的解决方案应用于大数据的数据传输。

Signiant SkyDrop

Signiant的SkyDrop是一项为AWS用户提供大量数据移入Amazon S3的新兴服务，这项服务使AWS用户不用再担心附加的云基础设施管理。SkyDrop是一项混合的软件即服务（SaaS），这意味着Signiant管理服务器端。Amazon Elastic Cloud Compute（AmazonEC2）实例在SkyDrop服务器运行，Amazon Simple Storage Service（Amazon S3）传输组建，但最终用户运行的是一个轻的，客户端代理的程序。用户仅仅需要安装一个AWS认证的本地客户端，并设置要使用的Amazon S3桶，然后再将文件移入监控文件夹。对于频繁将大数据工作负载移入Amazon S3的用户，相比于Amazon EMR和Amazon Redshift，SkyDrop更加容易上手。

当用户使用Signiant的SkyDrop向Amazon S3传送文件时，其后台在高容量传输周期中自动缩放。SkyDrop的后台跨多个AWS可用区域，在多个Amazon EC2平台中负载平衡，所以这样不通过复杂设定的服务变得非常可靠。

就像在之前讨论的解决方法一样，Signiant的加速文件传输协议使用混合TCP和UDP，对远距离大文档的传输来说，Signiant可以最小化广域网延迟所产生的影响，从而导致相对来说较快的转移速度。Signiant宣传道其传输速率比FTP快200倍。重要的是，Signiant文档传输协议同时支持2项功能，而这在Tsunami UDP中不支持：AES-256位加密和智能传输重试。如果传输数据被任何原因中断，传输将会从中断的地方重启（运用大量文档重启算法）。如果文档已经存在于Amazon S3并且未被改变，SkyDrop将不会更新文档。

Signiant SkyDrop同时支持使用清单进行批量文档传输，所以用户可以有效地转移大量微小文档。用户需要事先在大量小文档中汇总压缩数据，这是为了通过紧密匹配文档与默认HDFS区块大小来优化大数据性能。如果用户的数据是通过GZIP等类似的形式压缩，那么数据将不可分离并且允许多个映射并行处理设定数据，这提高了大数据的性能。或者，用户只是将不同文件录入的数据载入Amazon Redshift表中。

一旦文档到达以AWS为基础的Signiant SkyDrop后端，HTTPS使用多部分上传API，使文档被安全地转移到Amazon S3上。

SkyDrop带有一个Windows或Mac的图形客户端，命令行接口，还具有多种提供一个SDK的编程语言。

设置Signiant SkyDrop

1 通过AWS Marketplace登录Signiant SkyDrop

2 在需要上传文档的Amazon S3桶中创建一个有读/写权限的IAM用户。

3 安装SkyDrop客户端并添加刚刚创建的用户名加上上传文档的Amazon S3的桶。

4 将文档拖入在SkyDrop中配置的指定保密文件夹中。片刻后，它会出现在Amazon S3上。

设置命令行界面（CLI）

1 通过加添加用户凭据配置SkyDropCLI，针对亚马逊S3存储和关键config.cfg文件。

2 使用CLI命令传输单个文件，只需使用-d上传参数。在下面的例子中Matt用位于us-east-1的m3.xlarge Amazon EC2实例在没有干扰的情况下运行，这都基于AWS的Amazon LinuxAMI。Matt传输一个1 GiB的未压缩文件，并用dd以美国标准升成到Amazon S3的桶。重要的是，这个文件位于EC2实例存储，从而使亚马逊的弹性块存储（Amazon EBS）的吞吐量不会成为一个扭曲测试的瓶颈。在这种情况下的平均传输速率大约是630Mbps。

skydrop -d upload /media/ephemeral0/test-1GiB.img

一个更复杂的文档传输可能涉及大量的文档中列表，在清单中，每行一个文档：

skydrop -d upload @mainfest. txt -z -i

在这种情况下，使用交互移动（-i）以看到实时文件传输的统计数据，并在传输结束时生成详细的传输统计数据（-Z）。

结论

Signiant的SkyDrop是一种高速的将大数据移入云端的简便方法。因为它是SaaS的解决方案，它很容易使用，用户不必担心需要部署和维护一个高度可用和高性能的文件传输系统架构。SkyDrop使用Signiant的加速文件传输协议，它转移到了Amazon EC2为基础的后端，然后优化转移到Amazon S3，这样用户就可以显著减少数据移入云中的速度。最后，SkyDrop在交通和智能文档传送中重试，而加密意味着用户可以安全可靠地传送文档。

原文链接： http://blogs.aws.amazon.com/bigdata/post/Tx2QZODBZN1RD1I/Moving-Big-Data-Into-the-Cloud-using-Signiant-SkyDrop

如您需要了解AWS最新资讯或是技术文档可访问AWS中文技术社区；如您有更多的疑问请在AWS技术论坛提出，稍后会有专家进行答疑。 

订阅“AWS中文技术社区”微信公众号，实时掌握AWS技术及产品消息！

AWS中文技术社区为广大开发者提供了一个Amazon Web Service技术交流平台，推送AWS最新资讯、技术视频、技术文档、精彩技术博文等相关精彩内容，更有AWS社区专家与您直接沟通交流！快加入AWS中文技术社区，更快更好的了解AWS云计算技术。

                                                                                                            （译者/李雪 责编/王玉平） 

生活不易，码农辛苦
如果您觉得本网站对您的学习有所帮助,可以手机扫描二维码进行捐赠