squid的简单介绍
squid的概念
squid是一种用来缓存Internet数据的软件。接受来自人们需要下载的目标（object）的请求并适当的处理这些请求。也就是说，如果一个人想下载一web界面，他请求squid为他取得这个页面。squid随之连接到远程服务器并向这个页面发出请求。然后，squid显式地聚集数据到客户端机器，而且同时复制一份。当下一次有人需要同一页面时， squid可以简单的从磁盘中读到它，那样数据会立即传输到客户机上。
squid代理的作用
通过缓存的方式为用户提供Web访问加速
对用户的Web访问进行过滤控制
当代理服务器中有客户端需要的数据时：
a. 客户端向代理服务器发送数据请求；
b. 代理服务器检查自己的数据缓存；
c. 代理服务器在缓存中找到了用户想要的数据，取出数据；
d. 代理服务器将从缓存中取得的数据返回给客户端。
当代理服务器中没有客户端需要的数据时：
客户端向代理服务器发送数据请求；
代理服务器检查自己的数据缓存；
代理服务器在缓存中没有找到用户想要的数据；
代理服务器向Internet 上的远端服务器发送数据请求；
远端服务器响应，返回相应的数据；
代理服务器取得远端服务器的数据，返回给客户端，并保留一份到自己的数据缓存中。
Squid代理服务器工作在TCP/IP应用层
Squid各种代理的定义
标准的代理缓冲服务器
一个标准的代理缓冲服务被用于缓存静态的网页到本地网络上的一台主机上（即代理服务器）。当被缓存的页面被第二次访问的时候，浏览器将直接从本地代理服务器那里获取请求数据而不再向原web站点请求数据。这样就节省了宝贵的网络带宽，而且提高了访问速度。但是，要想实现这种方式，必须在每一个内部主机的浏览器上明确指名代理服务器的IP地址和端口号。客户端上网时，每次都把请求发送给代理服务器处理,代理服务器根据请求确定是否连接到远程web服务器获取数据。如果在本地缓冲区有目标文件，则直接将文件传给用户即可。如果没有的话则先取回文件，先在本地保存一份缓冲，然后将文件发送给客户端浏览器。
透明代理缓冲服务器
透明代理缓冲服务器和标准代理服务器的功能完全相同。但是，代理操作对客户端的浏览器是透明的（即不需指明代理服务器的IP和端口）。透明代理服务器阻断网络通信，并且过滤出访问外部的HTTP（80端口）流量。如果客户端的请求在本地有缓冲则将缓冲的数据直接发给用户，如果在本地没有缓冲则向远程web服务器发出请求，其余操作和标准的代理服务器完全相同。对于linux操作系统来说，透明代理使用Iptables或者Ipchains实现。因此不需要对浏览器作任何设置，所以，透明代理对于ISP（Internet服务器提供商）特别有用。
反向代理缓冲器
反向代理是和前两种代理完全不同的一种代理服务。使用它可以降低原始WEB服务器的负载。反向代理服务器承担了对原始WEB服务器的静态页面的请求，防止原始服务器过载。它位于WEB服务器和Internet之间，处理所有对WEB服务器的请求，组织了WEB服务器和Internet的直接通信。如果互联网用户请求的页面在代理服务器上有缓冲的话，代理服务器直接将缓冲内容发送给用户。如果没有缓冲则先向WEB服务器发出请求，取回数据，本地缓存后再发给用户。这种方式通过降低了WEB服务器的请求数从而降低了WEB服务器的负载。
正向代理与反向代理的区别
正向代理：对于原始服务器而言，就是客户端的代言人
反向代理：对于客户端而言，就像是原始服务器
正向代理的典型用途是为在防火墙内的局域网客户端提供访问Internet的途径。正向代理还可以使用缓冲特性减少网络使用率。
反向代理还可以为后端的多台服务器提供负载平衡，或为后端较慢的服务器提供缓冲服务。另外，反向代理还可以启用高级URL策略和管理技术，从而使处于不同web服务器系统的web页面同时存在于同一个URL空间下。
正向代理允许客户端通过它访问任意网站并且隐藏客户端自身，因此你必须采取安全措施以确保仅为经过授权的客户端提供服务。
反向代理对外都是透明的，访问者并不知道自己访问的是一个代理。
Squid主要组成部分
服务名：squid
主程序：/usr/sbin/squid
配置目录：/etc/squid
主配置文件：/etc/squid/squid.conf
***tcp端口号：3128
默认访问日志文件：/var/log/squid/access.log
squid常用配置选项
/etc/squid/squid.conf
http_port 3128
(还可以只***一个IP http_port 192.168.0.1:3128)
cache_mem 64MB
#缓存占内存大小
maximum_object_size 4096KB
#最大缓存块
reply_body_max_size
1024000 allow all
#限定下载文件大小
access_log /var/log/squid/access.log
#访问日志存放的地方
visible_hostname
proxy.test.xom
#可见的主机名
cache_dir ufs /var/spool/squid
100 16 256
#ufs:缓存数据的存储格式
#/var/spool/squid
#100：缓存目录占磁盘空间大小（M）
#16：缓存空间一级子目录个数
#256：缓存空间二级子目录个数
#定义管理员邮箱
http_access deny all
squid中的访问控制
使用访问控制特性，可以控制在访问时根据特定的时间间隔进行缓存、访问特定站点或一组站点等等。squid访问控制有两个要素：ACL元素和访问列表。访问列表可以允许或拒绝某些用户对此服务的访问。
ACL元素类型
src：源地址（即客户机IP地址）
dst：目标地址（即服务器IP地址）
srcdomain：源名称（即客户机名称）
dstdomain：目标名称（即服务器名称）
time：一天中的时刻和一周内的一天
url_regex：URL规则表达式匹配
urlpath_regex：URL-path规则表达式匹配，略去协议和主机名
proxy_auth：通过外部程序进行用户验证
maxconn：单一IP的最大连接数
为了使用控制功能，必须先设置ACL规则并应用。ACL声明的格式如下：
acl acl_element_name type_of_acl_element values_to_acl
acl_element_name 可以是任一个在ACL中定义的名称
任何两个ACL元素不能用相同的名字
每个ACL由列表值组成。当进行匹配检测的时候，多个值由逻辑或运算连接；换言之，即任一ACL元素的值被匹配，则这个ACL元素即被匹配。
并不是所有ACL元素都能使用访问列表中的全部类型
不同的ACL元素写在不同行中，squid将把他们组合在一个列表中
我们可以使用许多不同的访问条目。下面是我们常用的几个：
http_access:允许HTTP访问
no_cache:定义对缓存请求的响应。
访问列表的规则由一些类似'allow'或‘deny’的关键字构成，用以允许或拒绝向特定或一组ACL元素提供服务。
一个访问列表可以由多条规则组成
如果没有任何规则与访问请求匹配，默认动作将与列表中最后一条规则对应。
一个访问条目中所有元素将用逻辑与运算连接
http_access Action 声明1 AND 声明2 AND 声明 OR.
http_access Action 声明3
多个http_accesss声明间用或运算连接，但每个访问条目的元素间用与运算连接。
列表中的规则总是遵循由上而下的顺序
这些规则按照他们的排列顺序进行匹配检测，一旦检测到匹配的规则，匹配就立即结束。
Squid.conf配置文件详解
#acl all src 0.0.0.0/0.0.0.0 and http_access allow all选项定义了一个访问控制列表。详细情况参见和Squid软件
#携带的文档。这里的访问控制列表允许所有对代理服务的访问，因为这里该代理是加速web服务器。
acl all src 0.0.0.0/0.0.0.0
#允许所有IP访问
acl manager proto http
#manager url协议为http
acl localhost src 127.0.0.1/255.255.255.255
#允午本机IP
acl to_localhost dst 127.0.0.1
#允午目的地址为本机IP
acl Safe_ports port 80
# 允许安全更新的端口为80
acl CONNECT method CONNECT
#请求方法以CONNECT
http_access allow all
#允许所有人使用该代理.因为这里是代理加速web服务器
http_reply_access allow all
#允许所有客户端使用该代理
acl OverConnLimit maxconn 16
#限制每个IP最大允许16个连接，防止攻击
http_access deny OverConnLimit
icp_access deny all
#禁止从邻居服务器缓冲内发送和接收ICP请求.
miss_access allow all
#允许直接更新请求
ident_lookup_access deny all
#禁止lookup检查DNS
http_port 8080 transparent
#指定Squid***浏览器客户请求的端口号。
hierarchy_stoplist cgi-bin ?
#用来强制某些特定的对象不被缓存，主要是处于安全的目的。
acl QUERY urlpath_regex cgi-bin \?
cache deny QUERY
cache_mem 1 GB
#这是一个优化选项，增加该内存值有利于缓存。应该注意的是：
#一般来说如果系统有内存，设置该值为(n/)3M。现在是3G 所以这里1G
fqdncache_size 1024
#FQDN 高速缓存大小
maximum_object_size_in_memory 2 MB
#允许最大的文件载入内存
memory_replacement_policy heap LFUDA
#动态使用最小的，移出内存cache
cache_replacement_policy heap LFUDA
#动态使用最小的，移出硬盘cache
cache_dir ufs /home/cache
#高速缓存目录 ufs 类型 使用的缓冲值最大允午1000MB空间，
#32个一级目录，512个二级目录
max_open_disk_fds 0
#允许最大打开文件数量,0 无限制
minimum_object_size 1 KB
#允午最小文件请求体大小
maximum_object_size 20 MB
#允午最大文件请求体大小
cache_swap_low 90
#最小允许使用swap 90%
cache_swap_high 95
#最多允许使用swap 95%
ipcache_size 2048
# IP 地址高速缓存大小 2M
ipcache_low 90
#最小允许ipcache使用swap 90%
ipcache_high 95
#最大允许ipcache使用swap 90%
access_log /var/log/squid/access.log squid
#定义日志存放记录
cache_log /var/log/squid/cache.log squid
cache_store_log none
#禁止store日志
emulate_httpd_log on
#将使Squid仿照Web服务器的格式创建访问记录。如果希望使用
#Web访问记录分析程序，就需要设置这个参数。
refresh_pattern . 0 20% 4320 override-expire override-lastmod reload-into-ims ignore-reload
#更新cache规则
acl buggy_server url_regex ^http://.... http://
#只允许http的请求
broken_posts allow buggy_server
acl apache rep_header Server ^Apache
#允许apache的编码
broken_vary_encoding allow apache
request_entities off
#禁止非http的标分准请求，防止攻击
header_access header allow all
#允许所有的http报头
relaxed_header_parser on
#不严格分析http报头.
client_lifetime 120 minute
#最大客户连接时间 120分钟
#指定当缓冲出现问题时向缓冲管理者发送告警信息的地址信息。
cache_effective_user squid
#这里以用户squid的身份Squid服务器
cache_effective_group squid
icp_port 0
#指定Squid从邻居服务器缓冲内发送和接收ICP请求的端口号。
#这里设置为0是因为这里配置Squid为内部Web服务器的加速器，
#所以不需要使用邻居服务器的缓冲。0是禁用
# cache_peer 设置允许更新缓存的主机，因是本机所以127.0.0.1
cache_peer 127.0.0.1 parent 80 0 no-query default multicast-responder no-netdb-exchange
cache_peer_domain 127.0.0.1
hostname_aliases 127.0.0.1
error_directory /usr/share/squid/errors/Simplify_Chinese
#定义错误路径
always_direct allow all
# cache丢失或不存在是允许所有请求直接转发到原始服务器
ignore_unknown_nameservers on
#开反DNS查询，当域名地址不相同时候，禁止访问
coredump_dir
/var/log/squid
#定义dump的目录
max_filedesc 2048
#最大打开的文件描述
half_closed_clients off
#使Squid在当read不再返回数据时立即关闭客户端的连接。
#有时read不再返回数据是由于某些客户关闭TCP的发送数据
#而仍然保持接收数据。而Squid分辨不出TCP半关闭和完全关闭。
buffered_logs on #若打开选项“buffered_logs”可以稍稍提高加速某些对日志文件的写入，该选项主要是实现优化特性。
#防止天涯盗链，转嫁给百度
acl tianya referer_regex -i tianya
http_access deny tianya
#阻止baidu蜘蛛
acl baidu req_header User-Agent Baiduspider
http_access deny baidu
#限制同一IP客户端的最大连接数
acl OverConnLimit maxconn 128
http_access deny OverConnLimit
#防止被人利用为HTTP代理，设置允许访问的IP地址
acl myip dst 222.18.63.37
http_access deny !myip
#允许本地管理
acl Manager proto cache_object
acl Localhost src 127.0.0.1 222.18.63.37
http_access allow Manager Localhost
cachemgr_passwd
http_access deny Manager
#仅仅允许80端口的代理
acl all src 0.0.0.0/0.0.0.0
acl Safe_ports port 80 # http
http_access deny !Safe_ports
http_access allow all
#Squid信息设置
visible_hostname happy.
cache_effective_user squid
cache_effective_group squid
tcp_recv_bufsize 65535 bytes
#2.6的反向代理加速配置
cache_peer 127.0.0.1 parent 80 0 no-query originserver
error_directory /usr/local/squid/share/errors/Simplify_Chinese
#单台使用，不使用该功能
icp_port 0
hierarchy_stoplist cgi-bin ?
acl QUERY urlpath_regex cgi-bin \? .php .cgi .avi .wmv .rm .ram .mpg .mpeg .zip .exe
cache deny QUERY
acl apache rep_header Server ^Apache
broken_vary_encoding allow apache
refresh_pattern ^ftp:
refresh_pattern ^gopher:
refresh_pattern .
cache_store_log none
pid_filename /usr/local/squid/var/logs/squid.pid
emulate_httpd_log on
Squid常用命令
初始化在squid.conf里配置的cache目录
如果有错误提示，请检查cache目录的权限，可以更改目录权限
chown -R squid:squid /cache目录
对squid.conf排错，即验证squid.conf的语法和配置
squid -k parse
如果在squid.conf中有语法或配置错误，这里会返回提示，若无返回，尝试启动squid
前台启动squid，并输出启动过程
/usr/local/squid/sbin/squid -N -d1
如果有ready to server reques相关信息，说明squid启动成功
然后ctrl+c ,停止squid,并以后台运行的方式启动它
启动squid在后台运行
可以使用ps -ax | grep squid 来查看squid进程是否存在
squid -k shutdown
重新引导修改过的squid.conf
squid -k reconfigure -f /XXX/squid.conf
当squid进行配置更改后，可以使用该命令进行squid配置重载
把squid添加到系统启动项
vim /etc/rc.local
/usr/local/squid/sbin/squid -s
修改cache缓存目录的权限
chown -R squid.squid /cache目录
cache缓存目录根据自己的配置更改，squid用户和组是squid，squid
修改squid日志目录的权限
chown -R squid.squid 定义的日志文件所在目录
这一步并不是适合每一个使用squid的用户，意为让squid有权限在该目录里进行写操作
查看你的日志文档
more /usr/local/squid/var/logs/access.log | grep TCP_MEM_HIT
该指令可以看到在squid运行过程中，有那些文件被squid缓存到内存中，并返回给访问用户。
more /usr/local/squid/var/logs/access.log | grep TCP_HIT
该指令可以看到在squid运行过程中，有那些文件被squid缓存到cache目录中，并返回给访问用户。
more /usr/local/squid/var/logs/access.log | grep TCP_MISS
该指令可以看到在squid运行过程中，有那些文件没有被squid缓存，而是从原始服务器获取并返回给访问用户。
Squid命中率分析
/usr/local/squid/bin/squidclient -p 80 mgr:info
/usr/local/squid/bin/squidclient -p 80 mgr:5min
可以看到详细的性能情况,其中PORT是你的proxy的端口，5min可以是60min
取得squid运行状态信息：
squidclient -p 80 mgr:info
取得squid内存使用情况：
squidclient -p 80 mgr:mem
取得squid已经缓存的列表：
squidclient -p 80 mgr:bjects. use it carefully,it may crash
取得squid的磁盘使用情况：
squidclient -p 80 mgr:diskd
强制更新某个url：
squidclient -p 80 -m PURGE /xxx.php
更多的请查看：squidclient-h 或者 squidclient -p 80 mgr:
查命中率：
squidclient -h IP(具体侦听IP) -p 80(具体侦听端口) mgr:info
定期清理swap.state内无效数据
/path/to/squid/sbin/squid -k rotate -f /path/to/squid/conf_file
vi /etc/crontab
/usr/local/sbin/squid -k rotate -f /usr/local/etc/squid/squid1.conf
当squid应用运行了一段时间之后，cache_dir对应的swap.state文件就会变得越来越大，里面的无效接口数据越来越多，这可能影响squid的响应时间，因此需要使用squid清理swap.state里面的无效数据，减少swap.state的大小。
参考文章：
阅读(...) 评论()Sponsered by
配置 squid 服务
什么是squid
Squid是比较知名的代理软件，它不仅可以跑在linux上还可以跑在windows以及Unix上，它的技术已经非常成熟。目前使用Squid的用户也是十分广泛的。Squid与Linux下其它的代理软件如Apache、Socks、TIS FWTK和delegate相比，下载***简单，配置简单灵活，支持缓存和多种协议。
Squid的缓存功能相当好用，不仅可以减少带宽的占用，同样也大大降低了后台的WEB服务器的磁盘I/O的压力。Squid接收用户的下载申请，并自动处理所下载的数据。也就是说，当一个用户象要下载一个主页时，它向Squid发出一个申请，要Squid替它下载，然后Squid 连接所申请网站并请求该主页，接着把该主页传给用户同时保留一个备份，当别的用户申请同样的页面时，Squid把保存的备份立即传给用户，使用户觉得速度相当快。
Squid将数据元缓存在内存中，同时也缓存DNS查寻的结果，除此之外，它还支持非模块化的DNS查询，对失败的请求进行消极缓存。Squid支持SSL，支持访问控制。由于使用了ICP，Squid能够实现重叠的代理阵列，从而最大限度的节约带宽。
Squid对硬件的要求是内存一定要大，不应小于128M，硬盘转速越快越好，最好使用服务器专用SCSI 硬盘，处理器要求不高，400MH以上既可。
wget http://www.squid-cache.org/Versions/v2/2.6/squid-2.6.STABLE20.tar.gz
tar zxvf squid-2.6.STABLE20.tar.gz
cd squid-2.6.STABLE20
ulimit -HSn 65535
./configure --prefix=/usr/local/squid \
--disable-dependency-tracking \
--enable-dlmalloc \
--enable-gnuregex \
--disable-carp \
--enable-async-io=240 \
--with-pthreads \
--enable-storeio=ufs,aufs,diskd,null \
--disable-wccp \
--disable-wccpv2 \
--enable-kill-parent-hack \
--enable-cachemgr-hostname=localhost \
--enable-default-err-language=Simplify_Chinese \
--with-build-environment=POSIX_V6_ILP32_OFFBIG \
--with-maxfd=65535 \
--with-aio \
--disable-poll \
--enable-epoll \
--enable-linux-netfilter \
--enable-large-cache-files \
--disable-ident-lookups \
--enable-default-hostsfile=/etc/hosts \
--with-dl \
--with-large-files \
--enable-removal-policies=heap,lru \
--enable-delay-pools \
--enable-snmp \
--disable-internal-dns
make && make install
关于squid的版本，有必要提一下，目前squid最新版本已经到了3.1了，但是笔者认为2.6版本比较好用，如果你有兴趣可以研究一下3.1。
编辑配置文件 /usr/local/squid/etc/squid.conf
把原来配置文件删除，替换成：
http_port 80 transparent
cache_replacement_policy lru
#如果有多个（下面两行）缓存目录，则需要写这个参数
cache_dir aufs
#缓存目录1 /cache1 大小为8G
cache_dir aufs /cache2
#缓存目录2 /cache2 大小为4G
上面两行定义了缓存目录，这个缓存目录可以只有一个，也可以定义很多个。
cache_mem 2048 MB
#分配多少内存给squid，建议留至少512M给系统，如果你是虚拟机内存很小，只作为试验用的话，那就分一半内存给squid
maximum_object_size 2048 KB
#缓存的文件最大不能超过2M
maximum_object_size_in_memory 512 KB #缓存在内存中的文件最大不超过512k
visible_hostname
#显示给用户的主机名
client_persistent_connections off
#client端关闭长连接
server_persistent_connections on
#server端打开长连接
memory_pools on
memory_pools_limit 1024 MB
forwarded_for on
log_icp_queries off
#定义管理员的mail为
httpd_suppress_version_string off
cache_effective_user squid
#定义以squid用户的身份运行squid
cache_effective_group squid
error_directory /usr/local/squid/share/errors/Simplify_Chinese
icon_directory /usr/local/squid/share/icons
mime_table /usr/local/squid/etc/mime.conf
ie_refresh off
tcp_recv_bufsize 32 KB
acl all src 0.0.0.0/0.0.0.0
acl localhost src 127.0.0.0/8
acl Mgr_ip src 127.0.0.0/8
acl allow_ip dst 127.0.0.0/8
192.168.0.0/16
#定义允许代理的web的IP或者IP段
acl PURGE method PURGE
acl Safe_ports port 80 8080
acl CONNECT method CONNECT
acl manager proto cache_object
acl HTTP proto HTTP
http_access allow allow_ip
http_access allow manager Mgr_ip
http_access deny manager
http_access deny PURGE
http_access deny !Safe_ports
http_access deny all
icp_access deny all
ipcache_size 1024
ipcache_low 90
ipcache_high 95
memory_replacement_policy lru
hosts_file /etc/hosts
request_header_max_size 128 KB
hierarchy_stoplist cgi-bin ? \.php \.html
acl QUERY urlpath_regex cgi-bin \? \.php \.html
cache deny QUERY
quick_abort_min -1 KB
quick_abort_max 32 KB
quick_abort_pct 95
# error page
#error_map /404.html 403
#deny_info /error.html cctv_Domain
peer_connect_timeout 20 seconds
connect_timeout 20 seconds
read_timeout 60 seconds
request_timeout 20 seconds
pconn_timeout 20 seconds
shutdown_lifetime 5 seconds
strip_query_terms off
icp_port 0
emulate_httpd_log on
logformat combined %&a %ui %un [%tl] "%rm %ru HTTP/%rv" %Hs %&st "%{Referer}&h" "%{User-Agent}&h" %Ss:%Sh
#access_log /log/squid-log/access.log combined
cache_store_log /dev/null
cache_log /var/log/squid/cache.log
logfile_rotate 12
# MISCELLANEOUS
store_objects_per_bucket 15
client_db off
修改完配置文件后保存，然后初始化squid
mkdir /cache1
/cache2 /var/log/squid
chown -R squid:squid /cache1 /cache2 /var/log/squid
/usr/local/squid/sbin/squid
用来生成cache目录，如果你的配置文件配置出错，往往会在初始化的时候报错，错误信息会直接显示在屏幕上。初始化成功后，就可以启动squid了，启动命令为：
nohup /usr/local/squid/bin/RunCache &
启动后，可以去看看cache.log 在这个日志中，你可以看到很多关于squid的信息，当然也包括一些错误日志。
如果想开机启动则需要在/etc/rc.d/rc.local中最后加入一行
/usr/local/bin/RunCache &
到这里算是配置完成了，但是还有一个问题，就是如何定义被代理的web以及域名？单单看配置文件并没有说代理的web是哪一个。确实，这个配置文件其实可以代理多台web，只要你在/etc/hosts中定义要代理的域名以及IP即可，hosts格式在前面已经介绍过。笔者要提醒你的是，如果是一台web上的多个域名，请不要写一行，虽然hosts是允许的，但是如果写成一个IP对应多个域名，squid代理时就会出错。所以有几个域名就要写几行。
更改/etc/hosts后要重启squid才能生效：
/usr/local/squid/sbin/squid
在重启前可以先检测一下，是否有错，命令为：
/usr/local/squid/sbin/squid -kcheck
如果没有错，则不会显示任何信息，否则会显示一些信息出来。