頁摘要更新時，確定所述網(wǎng)頁摘要中的更新字段，以及所述更新字段對應(yīng)的字段存儲區(qū)； 在所述字段存儲區(qū)新增加更新存儲區(qū)，在所述更新存儲區(qū)存儲所述更新字段在本次更新后的字段數(shù)據(jù)和所述字段數(shù)據(jù)的索引信息。
2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述更新存儲區(qū)包括數(shù)據(jù)存儲區(qū)和對應(yīng)的索引存儲區(qū)，在所述數(shù)據(jù)存儲區(qū)存儲所述本次更新后的字段數(shù)據(jù)，在所述索引存儲區(qū)存儲所述字段數(shù)據(jù)的索引信息。
3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述在所述索引存儲區(qū)存儲所述字段數(shù)據(jù)的索引信息包括: 在所述索引存儲區(qū)存儲所述字段數(shù)據(jù)對應(yīng)的網(wǎng)頁標(biāo)識，以及所述字段數(shù)據(jù)在所述數(shù)據(jù)存儲區(qū)中的存儲位置信息。
4.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述方法還包括: 新增加網(wǎng)頁索引表，在所述網(wǎng)頁索引表中存儲本次更新對應(yīng)的網(wǎng)頁標(biāo)識，以及所述網(wǎng)頁標(biāo)識在所述索引存儲區(qū)中的存儲位置信息。
5.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述在所述網(wǎng)頁索引表中存儲本次更新對應(yīng)的網(wǎng)頁標(biāo)識包括: 在所述網(wǎng)頁索引表中設(shè)置2N個索引子表，為每一個索引字表設(shè)置對應(yīng)的N位二進制表值，N為預(yù)設(shè)大于等于I的整數(shù)； 獲取所述網(wǎng)頁的標(biāo)識對應(yīng)的二進制數(shù)值，根據(jù)所述二進制數(shù)值的前N位將所述網(wǎng)頁標(biāo)識存儲到對應(yīng)表值的索引子表中。
6.根據(jù)權(quán)利要求1至5任意一項所述的方法，其特征在于，所述方法還包括: 預(yù)設(shè)若干字段存儲區(qū)，分別為每一個字段存儲區(qū)指定對應(yīng)的一個或多個字段。
7.根據(jù)權(quán)利要求6所述的方法，其特征在于，所述分別為每一個字段區(qū)指定對應(yīng)的一個或多個字段包括: 統(tǒng)計網(wǎng)頁摘要包含的各字段的更新頻率，根據(jù)所述更新頻率分別為每一個字段存儲區(qū)指定對應(yīng)的一個或多個字段。
8.根據(jù)權(quán)利要求6所述的方法，其特征在于，所述方法還包括: 判斷是否有待刪除的網(wǎng)頁，如果有，在新增加的更新存儲區(qū)中設(shè)置所述待刪除的網(wǎng)頁的有效時間； 當(dāng)達到所述有效時間后，將所述待刪除的網(wǎng)頁在各次更新時存儲的字段數(shù)據(jù)和對應(yīng)的索引信息標(biāo)記為無效。
9.根據(jù)權(quán)利要求1至8任意一項所述的方法，其特征在于，所述方法還包括: 將歷史更新存儲區(qū)中與所述更新字段對應(yīng)的歷史字段數(shù)據(jù)和對應(yīng)的歷史索引信息標(biāo)記為無效。
10.根據(jù)權(quán)利要求9所述的方法，其特征在于，所述方法還包括: 合并所述字段存儲區(qū)包含的若干更新存儲區(qū)，在合并后的新更新存儲區(qū)中刪除標(biāo)記為無效的字段數(shù)據(jù)和索引信息。
11.根據(jù)權(quán)利要求10所述的方法，其特征在于，所述合并所述字段存儲區(qū)包含的若干更新存儲區(qū)包括: 在所述字段存儲區(qū)中選擇若干待合并的更新存儲區(qū)； 分別計算所述待合并的更新存儲區(qū)包含的有效字段數(shù)據(jù)的數(shù)量之和； 如果所述數(shù)量之和小于第一預(yù)設(shè)閾值，則合并所述待合并的更新存儲區(qū)。
12.根據(jù)權(quán)利要求11所述的方法，其特征在于，所述從所述字段存儲區(qū)中選擇若干待合并的更新存儲區(qū)包括: 分別計算每一個更新存儲區(qū)包含的有效字段數(shù)據(jù)數(shù)量； 從所述字段存儲區(qū)中選擇所述有效字段數(shù)據(jù)數(shù)量最少的若干更新存儲區(qū)作為所述待合并的更新存儲區(qū)。
13.根據(jù)權(quán)利要求11所述的方法，其特征在于，所述從所述字段存儲區(qū)中選擇若干待合并的更新存儲區(qū)包括: 分別計算所述更新存儲區(qū)包含的有效字段數(shù)據(jù)數(shù)量與所述更新存儲區(qū)包含的總字段數(shù)據(jù)數(shù)量的比值； 在所述字段存儲區(qū)中選擇所述比值最低的若干更新存儲區(qū)作為所述待合并的更新存儲區(qū)。
14.一種數(shù)據(jù)存儲裝置，所述數(shù)據(jù)包括網(wǎng)頁摘要和所述網(wǎng)頁摘要的索引信息，其特征在于，所述裝置包括: 確定單元，用于在網(wǎng)頁摘要更新時，確定所述網(wǎng)頁摘要中的更新字段，以及所述更新字段對應(yīng)的字段存儲區(qū)； 第一存儲單元，用于在所述字段存儲區(qū)新增加更新存儲區(qū)，在所述更新存儲區(qū)存儲所述更新字段在本次更新后的字段數(shù)據(jù)和所述字段數(shù)據(jù)的索引信息。
15.根據(jù)權(quán)利要求14所述的裝置，其特征在于，所述更新存儲區(qū)包括數(shù)據(jù)存儲區(qū)和對應(yīng)的索引存儲區(qū)； 所述第一存儲單元包括:數(shù)據(jù)存儲子單元和索引存儲子單元； 所述數(shù)據(jù)存儲子單元，具體用于在所述數(shù)據(jù)存儲區(qū)存儲所述本次更新后的字段數(shù)據(jù)； 所述索引存儲子單元，用于在所述索引存儲區(qū)存儲所述字段數(shù)據(jù)的索引信息。
16.根據(jù)權(quán)利要求15所述的裝置，其特征在于，所述索引存儲單元用于在所述索引存儲區(qū)存儲所述字段數(shù)據(jù)對應(yīng)的網(wǎng)頁標(biāo)識，以及所述字段數(shù)據(jù)在所述數(shù)據(jù)存儲區(qū)中的存儲位置信息。
17.根據(jù)權(quán)利要求16所述的裝置，其特征在于，所述裝置還包括: 第二存儲單元，用于新增加網(wǎng)頁索引表，并在所述網(wǎng)頁索引表中存儲本次更新對應(yīng)的網(wǎng)頁標(biāo)識，以及所述網(wǎng)頁標(biāo)識在所述索引存儲區(qū)中的存儲位置信息。
18.根據(jù)權(quán)利要求17所述的裝置，其特征在于，所述第二存儲單元包括: 設(shè)置子單元，用于在所述網(wǎng)頁索引表中設(shè)置2N個索引子表，為每一個索引字表設(shè)置對應(yīng)的N位二進制表值，N為預(yù)設(shè)大于等于I的整數(shù)； 網(wǎng)頁存儲子單元，用于獲取所述網(wǎng)頁的標(biāo)識對應(yīng)的二進制數(shù)值，根據(jù)所述二進制數(shù)值的前N位將所述網(wǎng)頁標(biāo)識存儲到對應(yīng)表值的索引子表中。
19.根據(jù)權(quán)利要求14至18任意一項所述的裝置，其特征在于，所述裝置還包括: 設(shè)置單元，用于預(yù)設(shè)若干字段存儲區(qū)，分別為每一個字段存儲區(qū)指定對應(yīng)的一個或多個字段。
20.根據(jù)權(quán)利要求19所述的裝置，其特征在于，所述設(shè)置單元具體用于: 統(tǒng)計網(wǎng)頁摘要包含的各字段的更新頻率，根據(jù)所述更新頻率分別為每一個字段存儲區(qū)指定對應(yīng)的一個或多個字段。
21.根據(jù)權(quán)利要求19所述的裝置，其特征在于，所述裝置還包括: 判斷設(shè)置單元，用于判斷是否有待刪除的網(wǎng)頁，如果有，在新增加的更新存儲區(qū)中設(shè)置所述待刪除的網(wǎng)頁的有效時間； 第一標(biāo)記單元，用于當(dāng)達到所述有效時間后，將所述待刪除的網(wǎng)頁在各次更新時存儲的字段數(shù)據(jù)和對應(yīng)的索引信息標(biāo)記為無效。
22.根據(jù)權(quán)利要求14至21任意一項所述的裝置，其特征在于，所述裝置還包括: 第二標(biāo)記單元，用于將歷史更新存儲區(qū)中與所述更新字段對應(yīng)的歷史字段數(shù)據(jù)和對應(yīng)的歷史索引信息標(biāo)記為無效。
23.根據(jù)權(quán)利要求22所述的裝置，其特征在于，所述裝置還包括: 合并單元，用于合并所述字段存儲區(qū)包含的若干更新存儲區(qū)； 刪除單元，用于在合并后的新更新存儲區(qū)中將所述第一標(biāo)記單元和第二標(biāo)記單元標(biāo)記為無效的字段數(shù)據(jù)和索引信息刪除。
24.根據(jù)權(quán)利要求23所述的裝置，其特征在于，所述合并單元包括: 第一選擇子單元，用于在所述字段存儲區(qū)中選擇若干待合并的更新存儲區(qū)； 第一計算子單元，用于分別計算所述待合并的更新存儲區(qū)包含的有效字段數(shù)據(jù)的數(shù)量之和； 第一合并子單元，用于如果所述數(shù)量之和小于第一預(yù)設(shè)閾值，則合并所述待合并的更新存儲區(qū)。
25.根據(jù)權(quán)利要求24所述的裝置，其特征在于，所述第一選擇子單元包括: 第二計算子單元，用于分別計算每一個更新存儲區(qū)包含的有效字段數(shù)據(jù)數(shù)量； 第二選擇子單元，用于從所述字段存儲區(qū)中選擇所述有效字段數(shù)據(jù)數(shù)量最少的若干更新存儲區(qū)作為所述待合并的更新存儲區(qū)。
26.根據(jù)權(quán)利要求24所述的裝置，其特征在于，所述第一選擇子單元包括: 第三計算子單元，用于分別計算所述更新存儲區(qū)包含的有效字段數(shù)據(jù)數(shù)量與所述更新存儲區(qū)包含的總字段數(shù)據(jù)數(shù)量的比值； 第三選擇子單元，用于在所述字段存儲區(qū)中選擇所述比值最低的若干更新存儲區(qū)作為所述待合并的更新存儲區(qū)。
【專利摘要】本發(fā)明公開了一種數(shù)據(jù)存儲方法及裝置，所述數(shù)據(jù)包括網(wǎng)頁摘要和所述網(wǎng)頁摘要的索引信息，所述方法包括：在網(wǎng)頁摘要更新時，確定所述網(wǎng)頁摘要中的更新字段，以及所述更新字段對應(yīng)的字段存儲區(qū)；在所述字段存儲區(qū)新增加更新存儲區(qū)，在所述更新存儲區(qū)存儲所述更新字段在本次更新后的字段數(shù)據(jù)和所述字段數(shù)據(jù)的索引信息。該技術(shù)方案在對網(wǎng)頁摘要存儲時，只需對其中的更新字段和對應(yīng)的索引信息進行增量更新，而無需對所有字段的數(shù)據(jù)進行增量更新，因此大大降低了單次更新時存儲的數(shù)據(jù)量，從而避免了新增的數(shù)據(jù)量過大，以及由此導(dǎo)致的全量更新的發(fā)生，節(jié)約了時間及存儲空間的開銷，提高了存儲效率。
【IPC分類】G06F17-30
【公開號】CN104794177
【申請?zhí)枴緾N201510155130
【發(fā)明人】蔡迥航, 李前令
【申請人】廣州神馬移動信息科技有限公司
【公開日】2015年7月22日
【申請日】2015年4月2日