115的急速上传（秒传）问题(bug？？)

回复 已回复26 星标
更多
复制链接 分享 举报
返回
净网2024 请遵守《服务协议》严禁违法违规信息
23333077<23333077> 2013-11-24 10:11 只看该作者
|

115的急速上传（秒传）问题(bug？？)

对于这类云存储服务，很多提供商都有“秒传”功能，也就是说上传文件前做一个hash，然后和服务器上的对比，如果发现已经存在相同内容的文件，就直接创建一个链接而不是上传文件本身。这样的好处是节省了存储空间，节省了网络流量，节省了用户的上传时间，等等。问题是，做hash也是需要时间的，一个10多GB的文件，做一次hash大概需要数十秒，这和百度云盘上传时做的操作符合（“读取文件”这一状态大约持续了数十秒钟），然后115却很可怕，瞬间就完成了hash，我之前上传9个文件共计103GB，2、3秒就完成了hash!!! 对于100GB内容做hash，在PC上不可能这么拍，即使用的是SSD+RAID 0，更何况我用的只是笔记本HDD。所以我怀疑115是随机或者有规则的抽取文件部分内容做hash，但是这样是非常危险的，因为修改的内容正好不是被抽取用来做hash的部分，那么你上传的文件其实等于是丢失了，因为服务器上提供的是不同内容的一个文件。


希望官方出来解释。


我稍后对一个大文件做部分字节的修改，看看上传会怎样。

计Z1102

回复
正序阅读 26# 2013-11-24 18:03

我说怎么在百度妙传一个大文件电脑就卡死了

雪萌

回复
25# 2013-11-24 17:50


76666095

回复
24# 2013-11-24 17:45

赶脚115走娱乐路线了 这些个严谨的都不是事

寻觅志趣相投真诚相待的共享乐园

回复
23# 2013-11-24 17:40

支持23楼

=========================

支持RainCloud说的方法，提供选项让用户自己选择上传方法。

1. 不Hash

2. 完全Hash

3. 部分Hash

TTKUAILE

回复
22# 2013-11-24 17:02

支持RainCloud说的方法，提供选项让用户自己选择上传方法。

1. 不Hash

2. 完全Hash

3. 部分Hash

为神服务

回复
21# 2013-11-24 16:13
如楼上所说正常操作文件秒传错误几乎不可能
鸿雁于飞

回复
20# 2013-11-24 15:10

不太懂这些，网盘里特别机密的文件没有，都是生活娱乐文件，不过不太喜欢每个文件都检查个十几分钟呢，如果有所选择就可以，

七条六

回复
19# 2013-11-24 14:40

有些人认为这是bug,其实这个不是BUG，这是快速校验，当然最好115能够提供选项，给用户选择完全校验还是快速校验。通常来说，文本文件肯定是要完全校验的，但是对于视频文件、压缩文件等大文件，没有必要完全校验，因为正常来说，二进制的文件，字节数不同，肯定不会秒传，其次，不同的文件，文件字节数相同，哈希抽样也相同的概率几乎为0，只有人为的制作的文件才可能相同。对于视频文件，只要你使用视频软件编辑生成的，哪怕只是剪接0.1秒，整个文件的数据流都会完全不同的。只有像楼主那样变态的，用二进制编辑软件修改某个字节才会出现数据流也相同的情况。

emumax

回复
18# 2013-11-24 14:21
表示支持楼主，果断站在楼主这边。忠言逆耳，某些死忠宁愿掩耳盗铃也不会承认115有Bug，随他去吧。 早就想建议增加设置由用户决定是否完整hash，想想算了，反正115早已成备胎。
mrliming

回复
17# 2013-11-24 13:31

 115的检验应该就是部分内容检验的，否则不会这么快的，一个超过1G的文件，单单读出来就要超过10秒了，根本不可能在1秒钟内完整校验。试过百度网盘的了，他们的校验时间是跟文件大小相关相符的，应该就是完整校验。不过话说回来，重要的东西不可能单在一个网盘上保存，你115行不行无所谓，其它网盘还有，自己本地的存储器肯定也是几份的，对于一些有保密要求的，根本也不可能放到网盘里，所以115这样做也有一定道理，但是如果大家都懂得这个，115不解决问题要丢失客户的呀

匿名成员

回复
16# 2013-11-24 13:08

明显是图片做假，水军团队很强大呀

七条六

回复
15# 2013-11-24 13:02

大文件一般都是视频、压缩、镜像等文件都是压缩字节流，理论上，这类文件只要有一个字节修改了，整个字节流都会改变，哈希值肯定改变的，不可能就一小段的哈希变化，除非是人为修改某几个字节。这个和文本文件不同，文本文件中间一段话变了，其它的文本内容是不会变的。

七条六

回复
14# 2013-11-24 12:54

楼主不要神经质。你不要管人家算法怎样，你发现文件修改了以后还能秒传吗？能，就拿证据出来，不要瞎猜，装专业。人家速度快有人家的算法，也不需要告诉你。

mchen1983

回复
13# 2013-11-24 12:44

另外，我是115的新用户， 以前的情况。可能以前有人抱怨过115校验太慢所以现在才部分抽取的不完整校验。但我想说的是，我这边10GB文件的md5或者sha1的校验，使用hasher也就2、3分钟，完全可接受，1GB一下的文件更是数秒就完成校验，如果115网盘的客户端校验很慢，那就是这个115客户端的校验算法实现的有问题了。

RainCloud

回复
12# 2013-11-24 12:35

另外也可提供另一个快速并“绝对安全”的选择：

不进行秒传校验直接上传的

—— 因为如果上传者明知不应该秒传的时候，对于用户说，这个hash过程的时间就是多余！

RainCloud

回复
11# 2013-11-24 12:16

这个不是BUG，官方是知道的，就是部分hash，

以前就是完整hash的，说实话，对应影视的资源、就是想着秒传的网页来说，完整hash的时间确实有点不耐烦。

因为不是完整hash，直接二进制这样修改（普通文件直接这样修改可能也会损坏吧），可说能百分百让115误判！

但是这种修改也不是没有需求的，

所以建议采用两全的方法，部分hash和完成hash同时存在，上传时提示让用户选择；

另外个人现在hash的速度必要这么快，如果官方现在只是一段校验，建议官方添多加一两段+并随机，这样进一步减小概率

mchen1983

回复
10# 2013-11-24 12:15

继续测试，修改223AB978~223ABA6F，115未发现问题，依然秒传~~~~！

修改8BE3CF00~8BE3CFEF，115终于发现了文件被修改过，开始重新上传。。。。。。这个么大的bug。。。。。。


ckinwa 是不是115的人啊？不但不接受用户的质疑，在证据面前依然大言不惭，什么“每个网盘抽取范围不同”，意思就是承认115是抽取内容，而不是对所有内容作校验咯？

mchen1983

回复
9# 2013-11-24 11:51

同样这个两个文件上传到百度云盘，原始文件原始文件花了数十秒的“正在读取”，说明是在校验，校验完后就上传成功了，证明该文件存在于服务器上。

而修改后的那个文件，也同样花了数十秒校验，校验完后，开始缓慢上传，证明了百度云盘发现了文件的不一致

​

mchen1983

回复
8# 2013-11-24 11:45

我用dexter s03e01做了测试，文件大小是2.18GB。同时作了md5和sha1校验


该文件的sha1信息是
    ​

    ​ 


    ​

    ​

    ​（4AA88238~4AA8823B的原始内容）


此文件本地校验+上传花了不到1秒，这一点已经不正常了，即使很多人上传过这部美剧，但本地校验这个2GB多的文件一般还是需要20秒左右的。好吧，暂且不说这点，假设原始文件已在服务器上存在相同的副本，我们继续往后实验。    ​

然后复制一个这个文件，并且将4AA88238~4AA8823B的内容置为0


    ​ 


然后做了hash , 修改后的sha1值为


    ​

    ​

可见文件内容已修改，按理这个修改后的文件是独一无二的，我相信没有人会正好上传过一个和我修改的一模一样的文件。可是这个修改后的文件，也被“秒传”了。
 

    ​
​

hasher校验这么大的文件也需要20多秒，你115客户端居然不到1秒就校验完了，你的算法牛真的太厉害了！！！

为神服务

回复
7# 2013-11-24 11:33
呵呵个人文件绝无秒传可能
<返回115
此帖已被锁定，无法回复
新窗口打开 关闭