wget 명령어 퀵 가이드

출처 : https://jjeongil.tistory.com/1291#:~:text=%EC%95%84%EB%AC%B4%20%EC%98%B5%EC%85%98%20%EC%97%86%EC%9D%B4%20%EC%82%AC%EC%9A%A9%ED%95%A0%20%EA%B2%BD%EC%9A%B0%20%EA%B0%80%EC%9E%A5%20%EA%B0%84%EB%8B%A8%ED%95%9C%20%EC%96%91%EC%8B%9D%EC%97%90%EC%84%9C%20wget%EC%9D%80%20[url]%EC%97%90

wget 명령어 퀵 가이드

wget 패키지는 현재 대부분의 Linux 배포 환경에 미리 설치되어 있습니다. Wget 패키지가 시스템에 설치되어 있는지 확인하려면 콘솔을 열고 wget를 입력한 다음 Enter 키를 누릅니다. 

1. Wget 설치

패키지 관리자를 사용하여 wget을 쉽게 설치할 수 있습니다.

Ubuntu/Debian : sudo apt install wget
CentOS/Fedora : sudo yum install wget

2. Wget 명령 방식

wget [options] [url]
sudo wget [options] [url]

option : Wget 옵션
url : 다운로드하거나 동기화할 파일 또는 디렉토리의 URL

3. 파일 다운로드

옵션 없이 사용할 경우, wget은 [url]에 지정된 리소스를 현재 디렉터리로 다운로드합니다.

[예제] Linux 커널 tar 아카이브를 다운로드
sudo wget https://cdn.kernel.org/pub/linux/kernel/v4.x/linux-4.17.2.tar.xz

Wget은 도메인의 IP 주소를 확인하는 것으로 시작한 다음 원격 서버에 연결하고 전송을 시작합니다.
다운로드 중에 Wget은 파일 이름, 파일 크기, 다운로드 속도 및 다운로드 완료 예상 시간과 함께 진행률 표시줄을 표시합니다. 
다운로드가 완료되면 다운로드한 파일을 현재 작업 디렉토리에서 찾을 수 있습니다.
파일이 이미 있으면, Wget은 파일 이름 끝에 .N(숫자)을 추가합니다.

[참고] Wget 출력을 끄려면 -q 옵션 사용

4. 다운로드 파일을 다른 이름으로 저장

-O 옵션에 저장할 이름을 전달합니다.

[예제] 
sudo wget -O latest-hugo.zip https://github.com/gohugoio/hugo/archive/master.zip
위 명령은 GitHub의 최신 휴고 zip 파일을 최신 휴고로 저장합니다.원래 이름 대신 zip을 사용합니다.

5. 특정 디렉토리에 파일을 다운로드

Wget은 다운로드한 파일을 현재 작업 디렉터리에 저장합니다. 
파일을 특정 위치에 저장하려면 -P 옵션을 사용합니다.

[예제]
sudo wget -P /mnt/iso http://mirror.kakao.com/centos/7.9.2009/isos/x86_64/CentOS-7-x86_64-Everything-2009.iso
sudo wget -P /mnt/iso http://mirrors.mit.edu/centos/7/isos/x86_64/CentOS-7-x86_64-Minimal-1804.iso

Wget을 사용하여 최신 CentOS 7 ISO 파일을 /mnt/iso 디렉토리에 다운로드합니다.

6. 다운로드 속도 제한

다운로드 속도 제한은 --limit-rate 옵션을 사용합니다. 
기본적으로 속도는 바이트/초 단위로 측정됩니다. 
k를 킬로바이트로, m을 메가바이트로, g를 기가바이트로 추가합니다.

[예제] Go 바이너리를 다운로드하고 다운로드 속도를 1mb로 제한합니다.
sudo wget --limit-rate=1m https://go.dev/dl/go1.21.3.linux-amd64.tar.gz

7. 다운로드 재개(이어받기)

-c 옵션을 사용하여 다운로드를 재개할 수 있습니다. 
대용량 파일을 다운로드하는 동안 연결이 끊긴 경우 유용합니다.

[예제] Ubuntu 18.04 ISO 파일의 다운로드를 재개합니다.
sudo wget -c http://releases.ubuntu.com/18.04/ubuntu-18.04-live-server-amd64.iso

[참고] 원격 서버가 다운로드 재개를 지원하지 않으면 
Wget은 처음부터 다운로드를 시작하고 기존 파일을 덮어씁니다.

8. Wget 백그라운드 다운로드

-b 옵션을 사용합니다. 

[예제] 백그라운드에서 OpenSuse ISO 파일을 다운로드
sudo wget -b https://download.opensuse.org/tumbleweed/iso/openSUSE-Tumbleweed-DVD-x86_64-Current.iso
 
9. 다운로드 상태를 보려면 

Wget 기본 출력은 현재 디렉토리의 wget-log 파일로 리디렉션됩니다. 
다운로드 상태를 보려면 tail 명령을 사용하여 wget-log 파일을 살펴봅니다.

tail -f wget-log

10. Wget User-에이전트 변경

파일을 다운로드할 때 Wget User-에이전트를 차단하도록 원격 서버를 설정할 수 있습니다. 
이 경우 다른 브라우저를 에뮬레이트하려면 -U 옵션을 통과합니다.

[예제] wget-forbidden.com에서 페이지를 요청하는 Firefox 60 브라우저 에뮬레이트
wget --user-agent="Mozilla/5.0 (X11; Linux x86_64; rv:60.0) Gecko/20100101 Firefox/60.0" http://wget-forbidden.com/

11. 여러 파일 다운로드

-i 옵션에 다운로드할 URL 목록이 포함된 로컬 또는 외부 파일 경로를 사용합니다. 

[예제] Linux-distros에 지정된 URL을 사용하여 Arch Linux, Debian 및 Fedora ISO 파일을 다운로드합니다.
wget -i linux-distros.txt

각 URL은 별도 줄에 있어야 합니다. linux-distros.txt 파일은 다음과 같습니다.
# http://mirrors.edge.kernel.org/archlinux/iso/2018.06.01/archlinux-2018.06.01-x86_64.iso
# https://cdimage.debian.org/debian-cd/current/amd64/iso-cd/debian-9.4.0-amd64-netinst.iso
# https://download.fedoraproject.org/pub/fedora/linux/releases/28/Server/x86_64/iso/Fedora-Server-dvd-x86_64-28-1.1.iso

-를 파일 이름으로 지정하면 표준 입력에서 URL이 읽힙니다.

12. Wget 명령으로 FTP 서버에서 다운로드

암호로 보호된 FTP 서버에서 파일을 다운로드 하려면 사용자 이름과 암호를 지정합니다.

[예제]
sudo wget --ftp-user=FTP_USERNAME --ftp-password=FTP_PASSWORD ftp://ftp.example.com/filename.tar.gz

13. Wget 명령을 사용하여 웹 사이트 구조 미러 생성

-m 옵션을 사용합니다. 
웹 사이트의 모든 내부 링크와 웹 사이트 리소스(JavaScript, CSS, 이미지)를 팔로잉 및 다운로드하여 
웹 사이트 전체 로컬 복사본이 만들어집니다.

[예제] 
sudo wget -m https://example.com

[예제] 다운로드한 웹 사이트를 로컬 검색에 사용하려면 위의 명령에 몇 개 인수를 추가로 전달
sudo wget -m -k -p https://example.com

-k 옵션을 사용하면 Wget은 다운로드한 문서의 링크를 로컬 보기에 적합하도록 변환합니다. 
-p 옵션은 HTML 페이지를 표시하는 데 필요한 모든 파일을 다운로드하라는 메시지를 표시합니다.

14. 인증서 확인 건너뛰기

--no-check-certificate 옵션을 사용하여, 잘못된 SSL 인증서가 있는 호스트에서 HTTPS를 통해 파일을 다운로드합니다.

[예제] 
sudo wget --no-check-certificate https://domain-with-invalid-ss.com
 
15. Wget을 사용하여 표준 출력에 다운로드

[예제] 최신 WordPress 버전을 다운로드하여 출력하고(플래그 -O -), 
         tar 유틸리티로 파이핑하여 아카이브를 /var/ww 디렉토리에 추출합니다.
sudo wget -q -O - "http://wordpress.org/latest.tar.gz" | tar -xzf - -C /var/www