웹사이트 검색
안정적인 분산 컴퓨팅 시스템과 애플리케이션은 특히 미션 크리티컬 비즈니스 프로세스를 자동화 및 관리하고 고객에게 서비스를 제공하는 분야에서 주요 비즈니스의 초석이 되었습니다.
이러한 시스템 및 애플리케이션의 개발자 및 시스템 관리자로서 귀하는 가장 효율적인 시스템을 확보할 수 있도록 모든 종류의 정보 기술(IT) 솔루션을 제공해야 합니다.
여기에는 최종 사용자에게 만족스러운 서비스 수준을 제공하기 위한 시스템/애플리케이션 성능, 안정성, 가용성 및 확장성에 대한 전략 설계, 테스트 및 구현과 같은 작업이 포함됩니다.
캐싱은 신뢰할 수 있는 매우 기본적이지만 효과적인 애플리케이션 제공 기술 중 하나입니다. 더 진행하기 전에 캐싱이 무엇인지, 어디에 어떻게 적용할 수 있는지, 그리고 그 이점에 대해 간략하게 살펴보겠습니다.
캐싱(또는 콘텐츠 캐싱)은 데이터 사본을 임시 저장 위치(캐시라고도 함)에 저장하는 데 널리 사용되는 기술입니다. 원래 저장소에서 데이터를 검색할 때 데이터에 쉽고 빠르게 액세스할 수 있도록 합니다.
캐시에 저장되는 데이터에는 캐싱 유형 및 목적에 따라 파일 또는 파일 조각(예: HTML 파일, 스크립트, 이미지, 문서 등), 데이터베이스 작업 또는 기록, API 호출, DNS 기록 등이 포함될 수 있습니다.
캐시는 하드웨어 또는 소프트웨어 형태일 수 있습니다. 이 기사의 초점인 소프트웨어 기반 캐시는 애플리케이션 스택의 다양한 계층에서 구현될 수 있습니다.
캐싱은 클라이언트측(또는 애플리케이션 프리젠테이션 레이어)에서 적용할 수 있습니다(예: 브라우저 캐싱, 앱 캐싱(또는 오프라인 모드)). 대부분의 최신 브라우저는 HTTP 캐시 구현과 함께 제공됩니다.
브라우저에서 이전 사본을 사용하는 대신 웹사이트나 애플리케이션의 최신 데이터나 콘텐츠를 볼 수 있도록 웹 애플리케이션에 액세스할 때 "캐시 지우기"라는 인기 있는 문구를 들어보셨을 것입니다. 로컬에 저장된 콘텐츠.
클라이언트측 캐싱의 또 다른 예는 운영 체제(OS) 수준에서 발생하는 DNS 캐싱입니다. OS나 웹 브라우저에서 이전에 조회한 DNS 정보에 대한 임시 저장 공간입니다.
캐싱은 프록시를 통해 LAN 또는 WAN의 네트워크 수준에서 구현할 수도 있습니다. 이러한 캐싱 유형의 일반적인 예는 웹 프록시 서버의 전 세계적으로 분산된 네트워크인 CDN(콘텐츠 전송 네트워크)입니다.
셋째, 오리진 서버나 백엔드 서버에서 캐싱을 구현할 수도 있습니다. 서버 수준 캐싱에는 다음과 같은 다양한 형태가 있습니다.
캐시 데이터는 데이터베이스, 파일, 시스템 메모리 등을 포함한 모든 스토리지 시스템에 저장할 수 있지만 기본 소스보다 빠른 매체여야 합니다. 이러한 점에서 인메모리 캐싱은 가장 효과적이고 일반적으로 사용되는 캐싱 형태입니다.
캐싱은 다음을 포함하여 다양한 이점을 제공합니다.
이 문서에서는 서버 측 구현을 위한 최고의 오픈 소스(애플리케이션/데이터베이스 캐싱 및 캐싱 프록시 서버) 도구 중 일부를 검토합니다. Linux에서 캐싱.
Redis(전체 REmote DIctionary 서버)는 모든 프로그래밍 언어는 아니더라도 대부분에서 사용할 수 있는 빠르고 유연한 무료 오픈 소스 분산 인메모리 컴퓨팅 시스템입니다.
캐싱 엔진, 인메모리 영구 온디스크 데이터베이스 및 메시지 브로커로 작동하는 인메모리 데이터 구조 저장소입니다. Redis는 Linux(배포에 권장되는 플랫폼) 및 OS X에서 개발 및 테스트되었지만 외부 종속성 없이 *BSD와 같은 다른 POSIX 시스템에서도 작동합니다.
Redis는 문자열, 해시, 목록, 집합, 정렬된 집합, 비트맵, 스트림 등과 같은 다양한 데이터 구조를 지원합니다. 이를 통해 프로그래머는 특정 문제를 해결하기 위해 특정 데이터 구조를 사용할 수 있습니다. 문자열 추가, 목록에 요소 푸시, 해시 값 증가, 집합 교차 계산 등과 같은 데이터 구조에 대한 자동 작업을 지원합니다.
주요 기능에는 Redis 마스터-슬레이브 복제(기본적으로 비동기식), Redis Sentinel을 사용하여 제공되는 고가용성 및 자동 장애 조치, Redis 클러스터(더 많은 클러스터 노드를 추가하여 수평으로 확장 가능) 및 데이터 파티셔닝(여러 Redis 간에 데이터 분산)이 포함됩니다. 인스턴스). 또한 트랜잭션, Lua 스크립팅, 다양한 지속성 옵션 및 클라이언트-서버 통신 암호화에 대한 지원 기능도 제공합니다.
인메모리이지만 지속적인 온디스크 데이터베이스인 Redis는 인메모리 데이터 세트와 가장 잘 작동할 때 최고의 성능을 제공합니다. 그러나 MySQL, PostgreSQL 등과 같은 온디스크 데이터베이스와 함께 사용할 수 있습니다. 예를 들어 Redis에서 쓰기 작업이 매우 많은 작은 데이터를 가져오고 나머지 데이터 청크는 온디스크 데이터베이스에 남겨둘 수 있습니다.
Redis는 여러 가지 방법으로 보안을 지원합니다. 하나는 '보호 모드' 기능을 사용하여 Redis 인스턴스가 외부 네트워크에서 액세스되지 않도록 보호하는 것입니다. 또한 클라이언트 연결, 복제 링크, Redis 클러스터 버스 프로토콜 등과 같은 모든 통신 채널에서 클라이언트-서버 인증(암호가 서버에서 구성되고 클라이언트에 제공됨)과 TLS를 지원합니다.
Redis에는 데이터베이스 캐싱, 전체 페이지 캐싱, 사용자 세션 데이터 관리, API 응답 스토리지, 게시/구독 메시징 시스템, 메시지 대기열 등을 포함하는 매우 많은 사용 사례가 있습니다. 이는 게임, 소셜 네트워킹 애플리케이션, RSS 피드, 실시간 데이터 분석, 사용자 추천 등에 적용될 수 있습니다.
Memcached는 무료 오픈 소스이며 간단하면서도 강력한 분산 메모리 객체 캐싱 시스템입니다. 이는 데이터베이스 호출, API 호출 또는 페이지 렌더링 결과와 같은 작은 데이터 청크에 대한 메모리 내 키-값 저장소입니다. Linux 및 OS X를 포함한 Unix 계열 운영 체제와 Microsoft Windows에서도 실행됩니다.
개발자 도구인 이 도구는 콘텐츠(기본적으로 최근에 사용한 적이 없는(LRU) 캐시)를 캐시하여 동적 웹 애플리케이션의 속도를 높이는 데 사용되어 온디스크 데이터베이스 로드 - 애플리케이션의 단기 메모리 역할을 합니다. 가장 널리 사용되는 프로그래밍 언어에 대한 API를 제공합니다.
Memcached는 문자열을 유일한 데이터 유형으로 지원합니다. 이는 클라이언트-서버 아키텍처를 가지고 있으며 논리의 절반은 클라이언트 측에서 발생하고 나머지 절반은 서버 측에서 발생합니다. 중요한 것은 클라이언트가 항목에 대해 쓰거나 읽을 서버를 선택하는 방법을 이해한다는 것입니다. 또한 클라이언트는 서버에 연결할 수 없는 경우 어떻게 해야 하는지 잘 알고 있습니다.
분산 캐싱 시스템이므로 클러스터링을 지원하지만 Memcached 서버는 서로 연결이 끊어져 있습니다(즉, 서로를 인식하지 못합니다). 이는 Redis와 같은 복제 지원이 없음을 의미합니다. 또한 항목을 저장하고 가져오는 방법, 제거 시기 또는 메모리 재사용 시기를 관리하는 방법도 이해합니다. 서버를 더 추가하여 사용 가능한 메모리를 늘릴 수 있습니다.
Memcached 1.5.13부터 TLS를 통한 인증 및 암호화를 지원하지만 이 기능은 아직 실험 단계에 있습니다.
Apache Ignite는 분산 데이터 컴퓨팅을 위한 강력한 처리 API를 제공하는 무료 오픈 소스, 수평으로 확장 가능한 분산 인메모리 키-값 저장소, 캐시 및 다중 모델 데이터베이스 시스템입니다. 또한 메모리에서 또는 Ignite 기본 지속성과 함께 사용할 수 있는 메모리 내 데이터 그리드이기도 합니다. Linux 및 Windows와 같은 UNIX 계열 시스템에서 실행됩니다.
다중 계층 스토리지, 완전한 SQL 지원, 여러 클러스터 노드에 걸친 ACID(원자성, 일관성, 격리, 내구성) 트랜잭션(키-값 API 수준에서만 지원됨), 공동 배치된 처리, 그리고 머신러닝. RDBMS(예: MySQL, PostgreSQL, Oracle 데이터베이스 등) 또는 NoSQL 저장소를 포함한 모든 타사 데이터베이스와의 자동 통합을 지원합니다.
Ignite는 SQL 데이터 저장소로 작동하지만 완전한 SQL 데이터베이스는 아니라는 점에 유의하는 것이 중요합니다. 기존 데이터베이스와 비교하여 제약 조건과 인덱스를 명확하게 처리합니다. 기본 및 보조 인덱스를 지원하지만 고유성을 적용하기 위해 기본 인덱스만 사용됩니다. 게다가 외래 키 제약 조건도 지원하지 않습니다.
Ignite는 또한 서버에서 인증을 활성화하고 클라이언트에 사용자 자격 증명을 제공함으로써 보안을 지원합니다. 모든 Ignite 노드 간에 보안 연결을 제공하기 위해 SSL 소켓 통신도 지원됩니다.
Ignite에는 캐싱 시스템, 시스템 작업 부하 가속화, 실시간 데이터 처리 및 분석을 포함하는 다양한 사용 사례가 있습니다. 그래프 중심 플랫폼으로도 사용할 수 있습니다.
Couchbase Server는 데이터를 키-값 형식의 항목으로 저장하는 오픈 소스 분산형 NoSQL 문서 중심 참여 데이터베이스이기도 합니다. Linux 및 Windows, Mac OS X와 같은 기타 운영 체제에서 작동합니다. 강력한 쿼리 및 인덱싱 서비스를 제공하는 N1QL이라는 기능이 풍부한 문서 지향 쿼리 언어를 사용하여 데이터에 대한 밀리초 미만의 작업을 지원합니다.
주목할만한 기능은 관리형 캐시, 특별히 구축된 인덱서, 강력한 쿼리 엔진, 확장 아키텍처(다차원 확장), 빅 데이터 및 SQL 통합, 전체 스택 보안 및 고가용성을 갖춘 빠른 키-값 저장소입니다.
Couchbase 서버에는 클러스터 관리자 도구가 모든 노드 활동을 조정하고 클라이언트에 클러스터 전체 인터페이스를 제공하는 기본 다중 인스턴스 클러스터 지원이 함께 제공됩니다. 중요한 점은 가동 중지 시간 없이 필요에 따라 노드를 추가, 제거 또는 교체할 수 있다는 것입니다. 또한 클러스터 노드 간 데이터 복제와 데이터 센터 간 선택적 데이터 복제를 지원합니다.
전용 Couchbase 서버 포트, 다양한 인증 메커니즘(자격 증명 또는 인증서 사용), 역할 기반 액세스 제어(인증된 각 사용자에게 할당된 시스템 정의 역할 확인), 감사, 로그 및 세션을 사용하여 TLS를 통해 보안을 구현합니다. .
사용 사례에는 통합 프로그래밍 인터페이스, 전체 텍스트 검색, 병렬 쿼리 처리, 문서 관리, 인덱싱 등이 포함됩니다. 대규모 대화형 웹, 모바일 및 IoT 애플리케이션에 대한 지연 시간이 짧은 데이터 관리를 제공하도록 특별히 설계되었습니다.
Hazelcast IMDG(In-Memory Data Grid)는 탄력적으로 확장 가능한 분산형 In-Memory 컴퓨팅을 제공하는 가볍고 빠르며 확장 가능한 오픈 소스 인메모리 데이터 그리드 미들웨어입니다. Hazelcast IMDG는 Linux, Windows, Mac OS X 및 Java가 설치된 기타 플랫폼에서도 실행됩니다. Map, Set, List, MultiMap, RingBuffer 및 HyperLogLog와 같은 다양하고 유연하며 언어 기반의 데이터 구조를 지원합니다.
Hazelcast는 P2P이며 간단한 확장성, 클러스터 설정(통계 수집, JMX 프로토콜을 통한 모니터링, 유용한 유틸리티로 클러스터 관리 옵션 포함), 분산 데이터 구조 및 이벤트, 데이터 분할을 지원합니다. , 거래. 또한 여러 구성원의 각 데이터 항목 백업을 유지하므로 중복됩니다. 클러스터를 확장하려면 다른 인스턴스를 시작하기만 하면 데이터와 백업이 자동으로 균등하게 균형을 이룹니다.
최대 처리 속도를 위해 클러스터의 CPU에 액세스하는 데 유용한 API 컬렉션을 제공합니다. 또한 Map, Queue, ExecutorService, Lock 및 JCache와 같은 Java의 개발자 친화적인 수많은 인터페이스의 분산 구현을 제공합니다.
보안 기능에는 클러스터 구성원, 클라이언트 인증, JAAS 기반 보안 기능을 통한 클라이언트 작업에 대한 액세스 제어 검사가 포함됩니다. 또한 클라이언트가 실행하는 소켓 연결 및 원격 작업을 가로채고 클러스터 구성원 간의 소켓 수준 통신 암호화를 허용하며 SSL/TLS 소켓 통신을 활성화합니다. 그러나 공식 문서에 따르면 이러한 보안 기능의 대부분은 Enterprise 버전에서 제공됩니다.
가장 널리 사용되는 사용 사례는 분산 메모리 내 캐싱 및 데이터 저장입니다. 그러나 웹 세션 클러스터링, NoSQL 대체, 병렬 처리, 간편한 메시징 등을 위해 배포할 수도 있습니다.
Mcrouter는 Facebook에서 개발하고 유지 관리하는 Memcached 배포 확장을 위한 무료 오픈 소스 Memcached 프로토콜 라우터입니다. Memcached ASCII 프로토콜, 유연한 라우팅, 다중 클러스터 지원, 다중 레벨 캐시, 연결 풀링, 다중 해싱 체계, 접두사 라우팅, 복제된 풀, 프로덕션 트래픽 섀도잉, 온라인 재구성 및 대상 상태 모니터링/자동 장애 조치가 특징입니다.
또한 콜드 캐시 워밍업, 풍부한 통계 및 디버그 명령, 안정적인 삭제 스트림 서비스 품질, 큰 값 및 브로드캐스트 작업을 지원하며 IPv6 및 SSL 지원도 함께 제공됩니다.
이는 캐시 인프라의 핵심 구성 요소로 Facebook 및 Instagram에서 사용되고 있으며 최대 초당 거의 50억 개의 요청을 처리합니다.
Varnish Cache는 웹 클라이언트와 원본 서버 사이에 위치하는 유연하고 현대적인 오픈 소스 다목적 웹 애플리케이션 가속기입니다. 이는 모든 최신 Linux, FreeBSD 및 Solaris(x86 전용) 플랫폼에서 실행됩니다. NGINX, Apache 등의 웹 서버 앞에 배포하여 기본 HTTP 포트에서 수신 대기하여 클라이언트 요청을 웹 서버로 수신 및 전달하고 웹을 전달할 수 있는 뛰어난 캐싱 엔진 및 콘텐츠 가속기입니다. 서버가 클라이언트에 응답합니다.
Varnish Cache는 클라이언트와 원본 서버 사이의 중개자 역할을 하면서 여러 가지 이점을 제공합니다. 이 요소는 웹 콘텐츠를 메모리에 캐싱하여 웹 서버 부하를 완화하고 클라이언트에 대한 전송 속도를 향상시킵니다.
클라이언트로부터 HTTP 요청을 받은 후 이를 백엔드 웹 서버로 전달합니다. 웹 서버가 응답하면 Varnish는 콘텐츠를 메모리에 캐시하고 응답을 클라이언트에 전달합니다. 클라이언트가 동일한 콘텐츠를 요청하면 Varnish는 캐시 강화 애플리케이션 응답에서 해당 콘텐츠를 제공합니다. 캐시에서 콘텐츠를 제공할 수 없는 경우 요청은 백엔드로 전달되고 응답은 캐시되어 클라이언트에 전달됩니다.
Varnish 기능 VCL(Varnish Configuration Language - 유연한 도메인별 언어) 요청 처리 방법을 구성하는 데 사용되며 Varnish Varnish Cache의 확장인 모듈(VMODS).
보안 측면에서 Varnish Cache는 VMODS를 통한 로깅, 요청 검사, 제한, 인증 및 승인을 지원하지만 SSL/TLS에 대한 기본 지원은 부족합니다. Hitch 또는 NGINX와 같은 SSL/TLS 프록시를 사용하여 Varnish Cache에 대해 HTTPS를 활성화할 수 있습니다.
또한 Varnish Cache를 웹 애플리케이션 방화벽, DDoS 공격 방어자, 핫링크 보호기, 로드 밸런서, 통합 지점, SSO(Single Sign-On) 게이트웨이, 인증 및 권한 부여 정책 메커니즘, 불안정한 백엔드에 대한 빠른 수정, HTTP 요청 라우터로 사용할 수 있습니다.
또 다른 무료 오픈 소스의 뛰어난 Linux용 프록시 및 캐싱 솔루션은 Squid입니다. HTTP, HTTPS 및 FTP를 포함한 널리 사용되는 네트워크 프로토콜에 대한 프록시 및 캐시 서비스를 제공하는 기능이 풍부한 웹 프록시 캐시 서버 소프트웨어입니다. 또한 다른 UNIX 플랫폼과 Windows에서도 실행됩니다.
Varnish Cache와 마찬가지로 클라이언트로부터 요청을 받아 지정된 백엔드 서버로 전달합니다. 백엔드 서버가 응답하면 콘텐츠 복사본을 캐시에 저장하고 이를 클라이언트에 전달합니다. 동일한 콘텐츠에 대한 향후 요청은 캐시에서 제공되므로 클라이언트에 더 빠르게 콘텐츠를 전달할 수 있습니다. 따라서 클라이언트와 서버 간의 데이터 흐름을 최적화하여 성능을 향상시키고 자주 사용하는 콘텐츠를 캐시하여 네트워크 트래픽을 줄이고 대역폭을 절약합니다.
Squid에는 프록시 서버의 상호 통신 계층에 대한 로드 분산, 웹 사용 패턴 관련 데이터(예: 가장 많이 방문한 사이트에 대한 통계) 생성과 같은 기능이 포함되어 있어 프록시되는 메시지를 분석, 캡처, 차단, 대체 또는 수정할 수 있습니다.
또한 풍부한 액세스 제어, 권한 부여, 인증, SSL/TLS 지원, 활동 로깅과 같은 보안 기능도 지원합니다.
NGINX(Engine-X로 발음)는 웹 인프라 설정을 위한 오픈 소스, 고성능, 모든 기능을 갖춘 매우 인기 있는 통합 솔루션입니다. 이는 HTTP 서버, 역방향 프록시 서버, 메일 프록시 서버 및 일반 TCP/UDP 프록시 서버입니다.
NGINX는 캐시된 콘텐츠가 디스크의 영구 캐시에 저장되는 기본 캐싱 기능을 제공합니다. NGINX의 콘텐츠 캐싱에 대한 흥미로운 부분은 원본 서버에서 새로운 콘텐츠를 가져올 수 없을 때 캐시에서 오래된 콘텐츠를 제공하도록 구성할 수 있다는 것입니다.
NGINX는 웹 시스템을 보호하기 위해 SSL 종료, HTTP 기본 인증을 통한 액세스 제한, 하위 요청 결과에 따른 인증, JWT 인증, 프록시된 HTTP 리소스에 대한 액세스 제한, 지리적 위치별 액세스 제한 등 다양한 보안 기능을 제공합니다. 그리고 훨씬 더.
이는 일반적으로 역방향 프록시, 로드 밸런서, SSL 종료자/보안 게이트웨이, 애플리케이션 가속기/콘텐츠 캐시 및 애플리케이션 스택의 API 게이트웨이로 배포됩니다. 미디어 스트리밍에도 사용됩니다.
마지막으로 HTTP/1.1 및 HTTP/2.0을 지원하는 빠르고 확장 가능한 오픈 소스 캐싱 프록시 서버인 Apache Traffic Server가 있습니다. 기업, ISP(인터넷 서버 공급자), 백본 공급자 등을 위해 네트워크 가장자리에서 자주 액세스하는 콘텐츠를 캐싱하여 네트워크 효율성과 성능을 향상시키도록 설계되었습니다.
HTTP/HTTPS 트래픽의 정방향 및 역방향 프록시를 모두 지원합니다. 또한 두 모드 중 하나 또는 모두에서 동시에 실행되도록 구성할 수도 있습니다. 지속적인 캐싱, 플러그인 API가 특징입니다. ICP(인터넷 캐시 프로토콜), ESI(Edge Side Contains) 지원; Keep-Alive 등.
보안 측면에서 Traffic Server는 프록시 캐시를 사용하도록 허용된 클라이언트를 구성할 수 있도록 허용함으로써 클라이언트 액세스 제어를 지원하고, 클라이언트와 자체 간, 자체와 원본 서버 간의 연결 모두에 대해 SSL 종료를 지원합니다. 또한 플러그인을 통한 인증 및 기본 권한 부여, 로깅(수신하는 모든 요청 및 감지한 모든 오류) 및 모니터링을 지원합니다.
트래픽 서버는 웹 프록시 캐시, 정방향 프록시, 역방향 프록시, 투명 프록시, 로드 밸런서 또는 캐시 계층 구조로 사용될 수 있습니다.
캐싱은 주로 웹사이트나 애플리케이션의 속도를 높이기 위해 설계된 가장 유익하고 오랫동안 확립된 웹 콘텐츠 전달 기술 중 하나입니다. 캐시된 데이터가 클라이언트에 제공되므로 서버 로드, 대기 시간 및 네트워크 대역폭을 줄이는 데 도움이 되므로 애플리케이션 응답 시간과 클라이언트에 대한 전달 속도가 향상됩니다.
이 기사에서는 Linux 시스템에서 사용할 수 있는 최고의 오픈 소스 캐싱 도구를 검토했습니다. 여기에 나열되지 않은 다른 오픈 소스 캐싱 도구를 알고 있다면 아래 피드백 양식을 통해 공유해 주세요. 이 기사에 대한 생각을 우리와 공유할 수도 있습니다.