站長資訊網
        最全最豐富的資訊網站

        十分鐘學會GIT倉庫瘦身及GIT LFS遷移說明

        本篇文章給大家帶來了關于GIT倉庫瘦身及GIT LFS遷移說明的相關知識,希望對大家有幫助。

        十分鐘學會GIT倉庫瘦身及GIT LFS遷移說明

        背景

        之前一些git項目上 CI/CD,發現jenkins git clone失敗,設置depth及clone時間之類的無果。只能考慮倉庫瘦身之類的策略。發現倉庫有不少的二進制文件,且這些二進制文件變更還挺頻繁,這種操作會導致git倉庫成倍增長極速膨脹,git本身只適合管理文本文件。

        另外說一則有趣的往事,之前有個同事是圖形編程,這個語言源碼是圖片形式的,而且一個文件又特別大,上git管理,小公司項目變更又頻繁,導致沒多久公司內部搭的git服務器硬盤居然就給他的幾個git倉庫給占滿了。

        GIT LFS (Large File Storage)

        雖然git一直不適合管理二進制文件,不過現在 git 也好像默認提供了git lfs 這個專門用來管理大文件的插件。

        基本原理簡單來說就是使用類似一個文件指針(文本)代替實際的文件存儲,git只存儲文件指針的變更歷史而不是整個二進制文件,并且在使用的時候,自動提供hook,方便在如clone、pull、reset等操作會自動去獲取這些文件指針的源二進制文件,同樣更新二進制文件commit的時候,git 會自動將源文件轉成文件指針進git log,同時源文件上傳lfs。所以在用戶層面,GIT LFS的使用其實是無感的。

        遷移

        上面簡單介紹了一下GIT LFS,接下來直接將如何遷移,至于為什么直接講遷移而不是從0開始如何使用LFS。
        是因為往往是git倉庫用著用著發現,倉庫好大、clone好慢,然后才是想著用LFS。

        遷移需要我們有倉庫的管理員權限,并且將保護分支之類取消保護;
        具體LFS遷移主要分為以下幾步。

        遷移前最好做好備份,并且和團隊同事溝通好,畢竟操作涉及-f高危操作,容易背鍋。

        GIT LFS 服務端配置

        部分自建git 服務的話,可能需要服務端配置開啟LFS,比如gitlab。

        GIT LFS 客戶端安裝

        windows 的git安裝包自帶了該插件,不需要另外安裝,其他平臺可自行安裝,鏈接。

        在命令行嘗試以下命令。

        git lfs

        如果有類似help文檔信息輸出,就是已經有git lfs客戶端了。

        git-lfs/2.11.0 (GitHub; windows amd64; go 1.14.2; git 48b28d97)git lfs <command> [<args>]Git LFS is a system for managing and versioning large files in association with a Git repository.  Instead of storing the large files within the Git repository as blobs, Git LFS stores special "pointer files" in the repository, while storing the actual file contents on a Git LFS server.  The contents of the large file are downloaded automatically when needed, for example when a Git branch containing the large file is checked out.Git LFS works by using a "smudge" filter to look up the large file contents based on the pointer file, and a "clean" filter to create a new version of the pointer file when the large file's contents change.It also uses a pre-push hook to upload the large file contents to the Git LFS server whenever a commit containing a new large file version is about to be pushed to the corresponding Git server.

        而后需要執行以下命令配置LFS全局環境,只需要配置一次,同時也會去更新當前倉庫的hooks

        git lfs install

        遷移本地歷史倉庫

        lfs遷移基本思想:lfs重寫本地歷史—>force push覆寫遠端,達到遷移的效果。
        所以我們最好將本地倉庫與遠端同步,并且將所有的遠端分支都創建本地分支;
        而后cd到自己本地倉庫,執行以下下命令,–include里面是glob表達式,自行添加想LFS管理的文件名,–everything代表所有本地分支

        git lfs migrate import --include="*.bin,*.lib,*.so,*.dll,*.a,*.param,*.zip,*.gz" --everything
        migrate: Sorting commits: ..., done. migrate: Rewriting commits: 100% (193/193), done.   develop                       bacb490a80ea46d73bd3866c2e7cf7ad199ce5eb -> 72884bcb4629417bad73ea3d485d08a0708909cd   feature/npu-platform          a3645632756becc527c7f4d58514b3c479f824d3 -> e227900a3903b3a6955e4dffee48daeceac6cdff   master                        1ccdecdcb4b5d6224a6e24c6f87793bfcc15ee4c -> 1d9fc2139600ef3d92a20d65bb5db89021b8c488   0.1.0                         07c6b2aa732506f1cc88cedb551f37f376b6efa6 -> 8e55193221dfca9f6bb28ccd9cca85af9c5958c9   1.0.0                         0f694efcd7aa9df641836e1ea6eebbb730b940b5 -> 3f9e77575120b6e56b34790c998a362116da75f5 migrate: Updating refs: ..., done.

        重寫完本地分支、tag之類的,

        我們在這里可以先執行 git lfs ls-files查看有哪些文件被轉成了lfs管理,檢查是否有遺漏
        十分鐘學會GIT倉庫瘦身及GIT LFS遷移說明

        這個時候無論在哪個分支,都會出現 .gitattributes 文件,且都會被添加上類似以下內容。

        *.bin filter=lfs diff=lfs merge=lfs -text *.lib filter=lfs diff=lfs merge=lfs -text *.so filter=lfs diff=lfs merge=lfs -text *.dll filter=lfs diff=lfs merge=lfs -text *.a filter=lfs diff=lfs merge=lfs -text *.param filter=lfs diff=lfs merge=lfs -text *.zip filter=lfs diff=lfs merge=lfs -text *.gz filter=lfs diff=lfs merge=lfs -text

        同時可以看到我們二進制文件全部都轉成了以下形式文本

        version https://git-lfs.github.com/spec/v1 oid sha256:9171c8350d72ccca6ad60ac80b577157ad1f9fd44ca05744216e02ccbfcdf491 size 10260

        確認無誤,之后就可以推送到遠端;
        由于lfs的遷移會重寫所有的commit,并且修改hash值,因此需要我們需要加上–froce
        這步需要取消保護分支(保護分支無法-f)

        git push --force --all

        這樣遠程倉庫的lfs遷移就完成了

        遷移一些補充說明

        1. 遷移者的本地倉庫lfs文件轉源文件:經過以上步驟,由于我們將所有文件都已經轉成文件指針,我們需要將文件下載回來才能正常使用該倉庫。
          需要注意,其他人重新clone 或者同步 lfs遷移過的remote倉庫 是不需要該步,只針對遷移作者本地的倉庫。
        git lfs pull
        1. 團隊中其他成員遷移前的本地倉庫同步: 由于遠程倉庫的歷史已經被全部重寫,所以無法直接同步,最好是刪除本地分支,重新拉取遠程分支,如果本地已經有部分commit需要提交,可以重名本地分支,拉取遠程再做cherry pick。git tag 同理,刪除遷移前的tag。
        2. 本地倉庫清理:上面的遷移成功將二進制文件遷移成git lfs 對象,git log 也不在存儲源文件文件變更而是指針變更,但是在本地.git文件夾中仍存在之前不再需要的git log 緩存,執行以下命令做清理。
        git reflog expire --expire-unreachable=now --all git gc --prune=now

        清理前后倉庫對比

        lfs直觀來講

        贊(0)
        分享到: 更多 (0)
        網站地圖   滬ICP備18035694號-2    滬公網安備31011702889846號
        主站蜘蛛池模板: 无码国产69精品久久久久网站 | 91精品国产自产在线老师啪| 国产在线国偷精品免费看| 亚洲七七久久精品中文国产| 国产精品久久久久影院嫩草| 久久久久久亚洲精品不卡| 国产精品国产三级国产专播| 中文字幕精品亚洲无线码一区| 777欧美午夜精品影院| 精品一区二区三区波多野结衣 | WWW国产精品内射老师| 亚洲午夜国产精品无码| 精品国产毛片一区二区无码| 亚洲国产精品免费视频| 99在线精品视频在线观看| 日韩精品无码一本二本三本| 污污网站国产精品白丝袜| 精品人妻少妇一区二区三区在线| 97精品国产97久久久久久免费| 第一福利永久视频精品| 国产精品亚洲片在线观看不卡 | 久久精品亚洲精品国产色婷| 亚洲AV无码精品色午夜果冻不卡 | 日本欧美国产精品第一页久久| 黑巨人与欧美精品一区 | 亚洲欧美精品伊人久久| 国内精品手机在线观看视频| 国产高清在线精品一区| jiucao在线观看精品| 99久久人妻无码精品系列| 97久久国产亚洲精品超碰热 | 97精品人妻系列无码人妻| 国语自产精品视频在线区| 精品久久久久中文字幕日本 | 亚洲AV午夜福利精品一区二区| 亚洲国产精品久久久天堂| 久久精品国产精品亚洲毛片| 国产在线精品一区二区中文| 99国产精品一区二区| 日本精品久久久久久久久免费| 久久精品夜色噜噜亚洲A∨|