當今互聯網，數據呈現爆炸式增長，不光是社交網絡、移動通信、網絡視頻、電子商務等各種應用往往能產生億級甚至十億、百億級的海量小文件，就是在許多企業內部同樣會產生海量小文件，doc文件和excel文件等數百萬個文件的應用已經很容易就見到了。這些數據在復制和刪除過程中就會面臨訪問性能、存儲效率等許多方面巨大的挑戰，海量小文件問題成為了業界公認的難題。

具體表現舉例子 ,比如復制一個文件夾的時候開始的速度快,然后越來越慢,復制 500GB的數據 就要好幾個小時了,如果是10TB數據 則要2-3天,最要命的是中途一旦中斷了,不知道從哪里接續,即使中途沒有中斷,復制后的數據出錯的可能性依然存在。其他諸如刪除文件也是面臨同樣的問題。耗費時間巨大。

業界的一些知名互聯網公司，也對海量小文件提出了解決方案，例如：著名的社交網站Facebook，存儲了超過600億張圖片，專門推出了Haystack系統，針對海量小圖片進行定制優化的存儲。

Facebook的Haystack對小文件的解決辦法是合并小文件。將小文件數據依次追加到數據文件中，并且生成索引文件，通過索引來查找小文件在數據文件中的offset和size，對文件進行讀取。

Haystack面臨的問題：

Facebook的Haystack特點是將文件的完整key都加載到內存中，進行文件定位。機器內存足夠大的情況下，Facebook完整的8字節key可以全部加載到內存中。內存小的時候問題就來了。