diff --git a/Service/Docker/check-config.sh b/Docker/check-config.sh similarity index 100% rename from Service/Docker/check-config.sh rename to Docker/check-config.sh diff --git "a/Service/Docker/docker\345\256\211\350\243\205.sh" "b/Docker/docker\345\256\211\350\243\205.sh" similarity index 100% rename from "Service/Docker/docker\345\256\211\350\243\205.sh" rename to "Docker/docker\345\256\211\350\243\205.sh" diff --git "a/Service/Docker/\345\210\233\345\273\272\347\247\201\346\234\211\344\273\223\345\272\223" "b/Docker/\345\210\233\345\273\272\347\247\201\346\234\211\344\273\223\345\272\223" similarity index 100% rename from "Service/Docker/\345\210\233\345\273\272\347\247\201\346\234\211\344\273\223\345\272\223" rename to "Docker/\345\210\233\345\273\272\347\247\201\346\234\211\344\273\223\345\272\223" diff --git "a/Service/Docker/\345\270\270\347\224\250\350\275\257\344\273\266/Nginx/Dockerfile" "b/Docker/\345\270\270\347\224\250\350\275\257\344\273\266/Nginx/Dockerfile" similarity index 100% rename from "Service/Docker/\345\270\270\347\224\250\350\275\257\344\273\266/Nginx/Dockerfile" rename to "Docker/\345\270\270\347\224\250\350\275\257\344\273\266/Nginx/Dockerfile" diff --git "a/Service/Docker/\345\270\270\347\224\250\350\275\257\344\273\266/Nginx/README.md" "b/Docker/\345\270\270\347\224\250\350\275\257\344\273\266/Nginx/README.md" similarity index 100% rename from "Service/Docker/\345\270\270\347\224\250\350\275\257\344\273\266/Nginx/README.md" rename to "Docker/\345\270\270\347\224\250\350\275\257\344\273\266/Nginx/README.md" diff --git "a/Service/Docker/\345\270\270\347\224\250\350\275\257\344\273\266/Nginx/assets/files/wzp.conf" "b/Docker/\345\270\270\347\224\250\350\275\257\344\273\266/Nginx/assets/files/wzp.conf" similarity index 100% rename from "Service/Docker/\345\270\270\347\224\250\350\275\257\344\273\266/Nginx/assets/files/wzp.conf" rename to "Docker/\345\270\270\347\224\250\350\275\257\344\273\266/Nginx/assets/files/wzp.conf" diff --git "a/Service/Docker/\345\270\270\347\224\250\350\275\257\344\273\266/Nginx/assets/nginx.conf" "b/Docker/\345\270\270\347\224\250\350\275\257\344\273\266/Nginx/assets/nginx.conf" similarity index 100% rename from "Service/Docker/\345\270\270\347\224\250\350\275\257\344\273\266/Nginx/assets/nginx.conf" rename to "Docker/\345\270\270\347\224\250\350\275\257\344\273\266/Nginx/assets/nginx.conf" diff --git "a/Service/Docker/\351\225\234\345\203\217\345\210\266\344\275\234/Dockerfile" "b/Docker/\351\225\234\345\203\217\345\210\266\344\275\234/Dockerfile" similarity index 100% rename from "Service/Docker/\351\225\234\345\203\217\345\210\266\344\275\234/Dockerfile" rename to "Docker/\351\225\234\345\203\217\345\210\266\344\275\234/Dockerfile" diff --git "a/Service/Docker/\351\225\234\345\203\217\345\210\266\344\275\234/YumRepo/Repo.sh" "b/Docker/\351\225\234\345\203\217\345\210\266\344\275\234/YumRepo/Repo.sh" similarity index 100% rename from "Service/Docker/\351\225\234\345\203\217\345\210\266\344\275\234/YumRepo/Repo.sh" rename to "Docker/\351\225\234\345\203\217\345\210\266\344\275\234/YumRepo/Repo.sh" diff --git "a/Service/Docker/\351\225\234\345\203\217\345\210\266\344\275\234/assets/.bash_history" "b/Docker/\351\225\234\345\203\217\345\210\266\344\275\234/assets/.bash_history" similarity index 100% rename from "Service/Docker/\351\225\234\345\203\217\345\210\266\344\275\234/assets/.bash_history" rename to "Docker/\351\225\234\345\203\217\345\210\266\344\275\234/assets/.bash_history" diff --git "a/Service/Docker/\351\225\234\345\203\217\345\210\266\344\275\234/assets/.bash_logout" "b/Docker/\351\225\234\345\203\217\345\210\266\344\275\234/assets/.bash_logout" similarity index 100% rename from "Service/Docker/\351\225\234\345\203\217\345\210\266\344\275\234/assets/.bash_logout" rename to "Docker/\351\225\234\345\203\217\345\210\266\344\275\234/assets/.bash_logout" diff --git "a/Service/Docker/\351\225\234\345\203\217\345\210\266\344\275\234/assets/.bash_profile" "b/Docker/\351\225\234\345\203\217\345\210\266\344\275\234/assets/.bash_profile" similarity index 100% rename from "Service/Docker/\351\225\234\345\203\217\345\210\266\344\275\234/assets/.bash_profile" rename to "Docker/\351\225\234\345\203\217\345\210\266\344\275\234/assets/.bash_profile" diff --git "a/Service/Docker/\351\225\234\345\203\217\345\210\266\344\275\234/assets/.bashrc" "b/Docker/\351\225\234\345\203\217\345\210\266\344\275\234/assets/.bashrc" similarity index 100% rename from "Service/Docker/\351\225\234\345\203\217\345\210\266\344\275\234/assets/.bashrc" rename to "Docker/\351\225\234\345\203\217\345\210\266\344\275\234/assets/.bashrc" diff --git "a/Service/Docker/\351\225\234\345\203\217\345\210\266\344\275\234/\351\225\234\345\203\217\345\210\266\344\275\234" "b/Docker/\351\225\234\345\203\217\345\210\266\344\275\234/\351\225\234\345\203\217\345\210\266\344\275\234" similarity index 100% rename from "Service/Docker/\351\225\234\345\203\217\345\210\266\344\275\234/\351\225\234\345\203\217\345\210\266\344\275\234" rename to "Docker/\351\225\234\345\203\217\345\210\266\344\275\234/\351\225\234\345\203\217\345\210\266\344\275\234" diff --git a/Service/LazyManage/LazyManage.py b/LazyManage/LazyManage.py similarity index 100% rename from Service/LazyManage/LazyManage.py rename to LazyManage/LazyManage.py diff --git a/Service/LazyManage/LazyManage.sh b/LazyManage/LazyManage.sh similarity index 100% rename from Service/LazyManage/LazyManage.sh rename to LazyManage/LazyManage.sh diff --git a/Service/LazyManage/LazyManage_help.docx b/LazyManage/LazyManage_help.docx similarity index 100% rename from Service/LazyManage/LazyManage_help.docx rename to LazyManage/LazyManage_help.docx diff --git a/Service/LazyManage/ScriptRemote.sh b/LazyManage/ScriptRemote.sh similarity index 100% rename from Service/LazyManage/ScriptRemote.sh rename to LazyManage/ScriptRemote.sh diff --git a/Service/LazyManage/serverlist.conf b/LazyManage/serverlist.conf similarity index 100% rename from Service/LazyManage/serverlist.conf rename to LazyManage/serverlist.conf diff --git a/README.md b/README.md index e95a56b..4eec0c9 100644 --- a/README.md +++ b/README.md @@ -1,184 +1,19 @@ -## ops_doc +# ops_doc - 文档制作: 雪松 + 文档制作: left_left 小蜗牛 PF 雪松 rock Jesse sanm Derek 更新日期: 2016-04-28 - 本文档手册希望可以达到通俗易懂，方便运维人员使用，错误在所难免，还望指正！ - - github更新下载地址: https://github.com/liquanzhou/ops_doc - - 请勿删除信息，转载请说明出处，抵制不道德行为 - - - - + 欢迎系统运维加入Q群: 198173206 # 加群请回答问题 - -### 一.总是听到有说: - -#### 1.运维累，背锅，薪资低? - -运维没做好，没有核心技能，肯定是累且背锅，薪资涨不上去。各行各业皆是如此，最底层都是一滩烂泥，不仅仅是运维行业。小事(运维处理个磁盘，处理个内存报警)其实就能体现出来能力. 太多运维都是处理表面问题，根本不去真正了解需求，也不去思考解决办法，不用心去把事情做漂亮，成长也基本止步，指望这类人去搞点创新，解决点难题，基本不可能，反过来想这种人怎么可能高工资? -做任何行业都一样，重要的是思考: 怎么差异化，怎么脱颖而出，做出与众不同，怎么做到核心精英. - -#### 2.运维开发的自动化取代运维? - -运维开发只是运维的一个技能分支，不需要神话运维开发。大多是培训招生鼓吹，运维开发淘汰运维。只做运维开发，不了解运维业务，做的系统平台怎么可能好用？ -不了解业务，平台实现无法统一标准，统一流程。 - -#### 3.云平台取代运维? + 本文档手册希望可以达到通俗易懂, 方便运维人员使用, 错误在所难免, 还望指正！ -云商资源是工具，业务问题是云商无法解决干预的，需要专业运维人员使用拼接。 - -#### 4.人工智能取代运维? - -人工智能类似GPT取代运维更是不可能，只会更好的帮助运维工作。高级运维要在架构能力，主导能力，灵活运用，解决各种复杂难题，并不是人工智能直接给出的建议就能解决。 - - - -### 二.做好本职工作: - -坚持本心，切勿浮躁，避免被他人干扰。 - -不了解运维痛点，不解决业务难题，无论运维，SRE，运维开发都是做不好的。 - -干活前多统计，多准备，多思考规避问题，多考虑简化方案。干的时候先挑大块的标准化的方式搞 - -见过运维技术好，搭建各种服务效率，各种参数都知道，可唯独没有任何标准化思维，导致工作累，业务又频繁故障。 - -运维岗位比其他技术岗位更了解技术架构全链路，很多开发和架构解决不了的问题只能依靠运维。 - -做运维部门核心技术人员，核心技术能力才能让自己不可替代。不要区分运维和运维开发，两方面能力都重要。 - - - - - - -### 三.针对运维岗位的一点经验看法: - -##### 做好技术，技术到了一定程度，多考虑业务。核心是用技术解决业务上的难题，想办法从根本原因解决问题。不能只解决表面问题。少一些花里胡哨的技术和流程。 -##### 多花心思考虑实用性，稳定性，运维可协同维护，开发的用户体验等。 -##### 多梳理业务，没什么解决不了的难题。 -##### 多主导业务，技术和能力才能提高质变。 -##### 监控(三层兜底监控和多维度的监控)和发布(打包，发布，服务注册，平滑上线，流量接入，自动扩容)是最核心重要的工作，需要反复打磨，简单好用，好协同。 -##### 工作标准要高，不能只搞表面，才能不被其他部门骂。 - - -统一业务标准化: 环境一致，数据一致，流程一致。最后才是自动化的实现。 - -业务可观测: 故障第一时间可以报警，链路可追踪，监控图表可事后分析。减少无用信息，快捷有效。 - -业务稳定性: 稳定是核心标准，处理故障后，多分析原因始末，多和业务方和架构师探讨交流，积累架构经验。 + 也希望大家能够在自己擅长的方面, 贡献一些通俗易懂实用的精品文档.万分感谢! + 文档请使用"notepad++"或其它编辑器打开此文档, "alt+0"将函数折叠后方便查阅 + github更新下载地址: https://github.com/liquanzhou/ops_doc -### 四.针对k8s使用的一点经验看法: - - -好多公司运维部门都是积极使用k8s，但没有规划的使用又会引起好多不易维护的难点痛点: - - -1.缺少自动化，导致繁重的人肉维护大量yaml文件 - - -如果可以，k8s内部的yaml尽量规避任何人肉改动，全部发布系统标准化生成(deployment，service，hpa，inrgess，vs等等全部统一与模板一致).规避复杂的7层路由策略在k8s中做.尽可能对外入口统一，k8s流量接入与deployment一一对应，就可以实现k8s内部全部标准化自动生成 - - -2.无法统一注册中心，每组k8s有各自的etcd注册，两组k8s中服务互联就会有麻烦，开发可能更喜欢服务框架依赖的各自注册发现方式.导致流量接入混乱.流量平滑，维护复杂，多语言服务互联障碍. - - -这个情况，要看实际业务场景，多与开发架构师沟通方案，如何推动统一注册发现机制，让开发互调流量和运维的流量接入统一 - - - - -### 五.新工作环境梳理工作思路: - - -1.优先解决棘手的业务稳定问题 - - -2.多维度监控，确保第一时间发现问题，定位问题根因 - - -3.多与架构交流，沟通稳定性解决方案 - - -4.统一打包和发布，定好标准的全流程，拒绝开发各异的方式，但还能支持开发多种合理的需求，有足够的扩展能力 - - -5.提升自动化工作范围 - - -6.成本控制 - - -7.精准报警，清理无用大量报警 - - -8.清理无用5xx错误，程序error干扰 - - - -### 六.中小公司做到如下标准,就能解决大部分运维痛点: - -##### 运维标准: - -1.服务名全局唯一,有运维内部域名,通配服务域名 - -2.服务全部标准化,统一打包和部署方式 - -3.监控图精准易用 - -4.监控报警灵敏,避免重复检查次数,触发即报警 - -5.报警维度健全 - -6.尽可能自动化 - -7.自动扩容(需要服务上下线平滑) - -8.cdn和存储主备自动切换 - -9.跨境质量,静态尽可能双源同步 - - -##### 开发标准: - -1.程序日志级别可靠,通过error数量报警 - -2.程序状态码标准,通过5xx状态码报警 - -3.核心服务降级 - - -##### 架构标准: - -1.统一健康检查接口 - -2.统一下线接口 - -3.全局服务统一注册,不区分语言和服务类型 - -4.注册有权重 - -5.调用方可根据5xx错误次数进行权重熔断 - -6.发布过程平滑,启动预热(可基于权重小流量) - -7.服务调用打点,调用服务名,被调用服务名,uri,状态 - -8.日志规范可收集 - -9.链路跟踪,前后端串联 - -10.限流,应对雪崩场景 - -11.响应时间 - -12.mysql限制全局兜底limit - -13.ABtest能力 + 请勿删除信息, 转载请说明出处, 抵制不道德行为 +# useful for beginners diff --git a/Service/.DS_Store b/Service/.DS_Store deleted file mode 100644 index 44eeebf..0000000 Binary files a/Service/.DS_Store and /dev/null differ diff --git a/Service/BeansDB/beansdb_install.sh b/Service/BeansDB/beansdb_install.sh new file mode 100644 index 0000000..983402f --- /dev/null +++ b/Service/BeansDB/beansdb_install.sh @@ -0,0 +1,90 @@ +beansdb安装 + + +yum install autoconf automake + +tar -zxvf beansdb-0.5.8.tar.gz +cd beansdb-0.5.8 + +./configure --prefix=/opt/beansdb +make +make install +cd /opt/beansdb/ +mkdir {data,log} + +vim admin_beansdb.sh + +################################################################# +#!/bin/sh + +basepath=/opt/beansdb +user=root +port=6666 +pidfile=${basepath}/beansdb_${port}.pid +execbin=${basepath}/bin/beansdb +datadir=${basepath}/data +accesslog=${basepath}/log/access.log +#flush_period=1 #sec +#flush_num=2048 #k + +function _usage_() { + echo "Usage:$0 " +} + +if [ -z $1 ] +then + _usage_ + exit 1 +fi + +#if [ -n $2 ] +#then +# port=$2 +#fi + +case "$1" in + start) + if [ -f ${pidfile} ] + then + pid=`cat ${pidfile}` + cnt=`ps -ef | grep $pid | grep "beansdb" | grep -v "grep" | wc -l` + if [ $cnt -gt 0 ] + then + echo "There is already an instance at port ${port}." + else + ${execbin} -u ${user} -p ${port} -P ${pidfile} -H ${datadir} -L ${accesslog} -T 2 -d + fi + else + ${execbin} -u ${user} -p ${port} -P ${pidfile} -H ${datadir} -L ${accesslog} -T 2 -d + fi + ;; + stop) + echo "Are you sure to stop beansdb instance at port ${port} (y/n)?" + read cfm + if [ $cfm == 'y' ] + then + if [ -f ${pidfile} ] + then + kill `cat ${pidfile}` + else + echo "pid file not exists." + fi + else + echo "do nothing." + fi + ;; + *) + _usage_ + ;; +esac + + +################################################################# + + +sh admin_beansdb.sh start +ll data +netstat -na | grep 6666 + + + diff --git a/Service/Docker/.DS_Store b/Service/Docker/.DS_Store deleted file mode 100644 index 70c0194..0000000 Binary files a/Service/Docker/.DS_Store and /dev/null differ diff --git "a/Service/Docker/\345\270\270\347\224\250\350\275\257\344\273\266/.DS_Store" "b/Service/Docker/\345\270\270\347\224\250\350\275\257\344\273\266/.DS_Store" deleted file mode 100644 index 696188b..0000000 Binary files "a/Service/Docker/\345\270\270\347\224\250\350\275\257\344\273\266/.DS_Store" and /dev/null differ diff --git "a/Service/Docker/\345\270\270\347\224\250\350\275\257\344\273\266/Nginx/.DS_Store" "b/Service/Docker/\345\270\270\347\224\250\350\275\257\344\273\266/Nginx/.DS_Store" deleted file mode 100644 index d273c98..0000000 Binary files "a/Service/Docker/\345\270\270\347\224\250\350\275\257\344\273\266/Nginx/.DS_Store" and /dev/null differ diff --git "a/Service/FastDFS/FastDFS_PHP\344\276\213\345\255\220.gz" "b/Service/FastDFS/FastDFS_PHP\344\276\213\345\255\220.gz" new file mode 100644 index 0000000..fe63f5a Binary files /dev/null and "b/Service/FastDFS/FastDFS_PHP\344\276\213\345\255\220.gz" differ diff --git "a/Service/FastDFS/FastDFS\345\256\211\350\243\205.sh" "b/Service/FastDFS/FastDFS\345\256\211\350\243\205.sh" new file mode 100644 index 0000000..67545df --- /dev/null +++ "b/Service/FastDFS/FastDFS\345\256\211\350\243\205.sh" @@ -0,0 +1,270 @@ +FastDFS安装 + + 前面了解了fastdfs的原理，接下来就熟悉一下安装过程，准备了三台机器，一台模拟client，一台模拟storage，一台模拟tracker。 + 三台机器均为debian6，系统为最小化安装，先安装基本编译环境： + apt-get install build-essential php5-dev libevent-dev + + 下载fastdfs源码包： + wget http://fastdfs.googlecode.com/files/FastDFS_v3.05.tar.gz + + 开始安装： + tar zxvf FastDFS_v3.05.tar.gz + cd FastDFS/ + ./make.sh + ./make.sh install + + 安装完成后，fastdfs默认的配置文件被放置在/etc/fdfs 目录下面，包含了client.conf http.conf mime.types storage.conf tracker.conf五个文件，fastdfs进程的启动是以加载的配置文件区分的。源码包中都包含了这三个配置文件。 + + tracker.conf 配置文件分析： + +#配置tracker.conf这个配置文件是否生效，因为在启动fastdfs服务端进程时需要指定配置文件，所以需要使次配置文件生效。false是生效，true是屏蔽。 +disabled=false + +#程序的监听地址，如果不设定则监听所有地址 +bind_addr= + +#tracker监听的端口 +port=22122 + +#链接超时设定 +connect_timeout=30 + +#tracker在通过网络发送接收数据的超时时间 +network_timeout=60 + +#数据和日志的存放地点 +base_path=/opt/fdfs + +#服务所支持的最大链接数 +max_connections=256 + +#工作线程数一般为cpu个数 +work_threads=4 + +#在存储文件时选择group的策略，0:轮训策略 1:指定某一个组 2:负载均衡，选择空闲空间最大的group +store_lookup=2 + +#如果上面的store_lookup选择了1，则这里需要指定一个group +#store_group=group2 + +#在group中的哪台storage做主storage，当一个文件上传到主storage后，就由这台机器同步文件到group内的其他storage上，0：轮训策略 1：根据ip地址排序，第一个 2:根据优先级排序，第一个 +store_server=0 + +#选择那个storage作为主下载服务器，0:轮训策略 1:主上传storage作为主下载服务器 +download_server=0 + +#选择文件上传到storage中的哪个(目录/挂载点),storage可以有多个存放文件的base path 0:轮训策略 2:负载均衡，选择空闲空间最大的 +store_path=0 + +#系统预留空间，当一个group中的任何storage的剩余空间小于定义的值，整个group就不能上传文件了 +reserved_storage_space = 4GB + +#日志信息级别 +log_level=info + +#进程以那个用户/用户组运行，不指定默认是当前用户 +run_by_group= +run_by_user= + +#允许那些机器连接tracker默认是所有机器 +allow_hosts=* + +#设置日志信息刷新到disk的频率，默认10s +sync_log_buff_interval = 10 + +#检测storage服务器的间隔时间，storage定期主动向tracker发送心跳，如果在指定的时间没收到信号，tracker人为storage故障，默认120s +check_active_interval = 120 + +#线程栈的大小，最小64K +thread_stack_size = 64KB + +#storage的ip改变后服务端是否自动调整，storage进程重启时才自动调整 +storage_ip_changed_auto_adjust = true + +#storage之间同步文件的最大延迟，默认1天 +storage_sync_file_max_delay = 86400 + +#同步一个文件所花费的最大时间 +storage_sync_file_max_time = 300 + +#是否用一个trunk文件存储多个小文件 +use_trunk_file = false + +#最小的solt大小，应该小于4KB，默认256bytes +slot_min_size = 256 + +#最大的solt大小，如果上传的文件小于默认值，则上传文件被放入trunk文件中 +slot_max_size = 16MB + +#trunk文件的默认大小，应该大于4M +trunk_file_size = 64MB + +#http服务是否生效，默认不生效 +http.disabled=false + +#http服务端口 +http.server_port=8080 + +#检测storage上http服务的时间间隔，<=0表示不检测 +http.check_alive_interval=30 + +#检测storage上http服务时所用请求的类型，tcp只检测是否可以连接，http必须返回200 +http.check_alive_type=tcp + +#通过url检测storage http服务状态 +http.check_alive_uri=/status.html + +#if need find content type from file extension name +http.need_find_content_type=true + +#用include包含进http的其他设置 +##include http.conf + + 启动tracker进程 + fdfs_trackerd /etc/fdfs/tracker.conf + + 检测状态 + + netstat -tupln|grep tracker + #可以看到如下： + tcp 0 0 0.0.0.0:22122 0.0.0.0:* LISTEN 18559/fdfs_trackerd + + storage.conf配置文件分析： + +#同tracker.conf +disabled=false + +#这个storage服务器属于那个group +group_name=group1 + +#同tracker.conf +bind_addr= + +#连接其他服务器时是否绑定地址，bind_addr配置时本参数才有效 +client_bind=true + +#同tracker.conf +port=23000 +connect_timeout=30 +network_timeout=60 + +#主动向tracker发送心跳检测的时间间隔 +heart_beat_interval=30 + +#主动向tracker发送磁盘使用率的时间间隔 +stat_report_interval=60 + +#同tracker.conf +base_path=/opt/fdfs +max_connections=256 + +#接收/发送数据的buff大小，必须大于8KB +buff_size = 256KB + +#同tracker.conf +work_threads=4 + +#磁盘IO是否读写分离 +disk_rw_separated = true + +#是否直接读写文件，默认关闭 +disk_rw_direct = false + +#混合读写时的读写线程数 +disk_reader_threads = 1 +disk_writer_threads = 1 + +#同步文件时如果binlog没有要同步的文件，则延迟多少毫秒后重新读取，0表示不延迟 +sync_wait_msec=50 + +#同步完一个文件后间隔多少毫秒同步下一个文件，0表示不休息直接同步 +sync_interval=0 + +#表示这段时间内同步文件 +sync_start_time=00:00 +sync_end_time=23:59 + +#同步完多少文件后写mark标记 +write_mark_file_freq=500 + +#storage在存储文件时支持多路径，默认只设置一个 +store_path_count=1 + +#配置多个store_path路径，从0开始，如果store_path0不存在，则base_path必须存在 +store_path0=/opt/fdfs +#store_path1=/opt/fastdfs2 + +#subdir_count * subdir_count个目录会在store_path下创建，采用两级存储 +subdir_count_per_path=256 + +#设置tracker_server +tracker_server=x.x.x.x:22122 + +#同tracker.conf +log_level=info +run_by_group= +run_by_user= +allow_hosts=* + +#文件在数据目录下的存放策略，0:轮训 1:随机 +file_distribute_path_mode=0 + +#当问及是轮训存放时，一个目录下可存放的文件数目 +file_distribute_rotate_count=100 + +#写入多少字节后就开始同步，0表示不同步 +fsync_after_written_bytes=0 + +#刷新日志信息到disk的间隔 +sync_log_buff_interval=10 + +#同步storage的状态信息到disk的间隔 +sync_stat_file_interval=300 + +#线程栈大小 +thread_stack_size=512KB + +#设置文件上传服务器的优先级，值越小越高 +upload_priority=10 + +#是否检测文件重复存在，1:检测 0:不检测 +check_file_duplicate=0 + +#当check_file_duplicate设置为1时，次值必须设置 +key_namespace=FastDFS + +#与FastDHT建立连接的方式 0:短连接 1:长连接 +keep_alive=0 + +#同tracker.conf +http.disabled=false +http.domain_name= +http.server_port=8888 +http.trunk_size=256KB +http.need_find_content_type=true +##include http.conf + + 启动storage进程 + fdfs_storaged /etc/fdfs/storage.conf + + 检测状态 + netstat -tupln | grep storage + #结果如下： + tcp 0 0 0.0.0.0:23000 0.0.0.0:* LISTEN 17138/fdfs_storaged + + client.conf配置文件分析： + #同tracker.conf + connect_timeout=30 + network_timeout=60 + base_path=/opt/fdfs + tracker_server=x.x.x.x:22122 + log_level=info + http.tracker_server_port=8080 + +测试上传文件： + + fdfs_upload_file /etc/fdfs/client.conf client.conf + #返回如下字符串 + group1/M00/00/00/CgEGflAqaFW4hENaAAACo8wrbSE16.conf + + 在storage的数据目录下的00/00目录下即可看到该文件，文件名称是CgEGflAqaFW4hENaAAACo8wrbSE16.conf \ No newline at end of file diff --git "a/Service/FastDFS/FastDFS\347\233\221\346\216\247.sh" "b/Service/FastDFS/FastDFS\347\233\221\346\216\247.sh" new file mode 100644 index 0000000..b94eba4 --- /dev/null +++ "b/Service/FastDFS/FastDFS\347\233\221\346\216\247.sh" @@ -0,0 +1,124 @@ +[root@localhost ~]# /usr/local/fastdfs/bin/fdfs_monitor /usr/local/fastdfs/conf/storage.conf + +[2014-05-27 15:14:58] DEBUG - base_path=/opt/fastdfs/contact, connect_timeout=30, network_timeout=60, tracker_server_count=2, anti_steal_token=0, anti_steal_secret_key length=0, use_connection_pool=0, g_connection_pool_max_idle_time=3600s, use_storage_id=0, storage server id count: 0 + +server_count=2, server_index=1 + +tracker server is 10.0.0.57:22122 + +group count: 1 + +Group 1: +group name = contact +disk total space = 1380838 MB +disk free space = 812573 MB +trunk free space = 0 MB +storage server count = 1 +active server count = 1 +storage server port = 23000 +storage HTTP port = 8888 +store path count = 1 +subdir count per path = 256 +current write server index = 0 +current trunk file id = 0 + + Storage 1: + id = 10.0.0.58 + ip_addr = 10.0.0.58 ACTIVE + http domain = + version = 4.07 + join time = 2013-08-07 14:05:30 + up time = 2013-12-31 09:48:17 + total storage = 1380838 MB + free storage = 812573 MB + upload priority = 10 + store_path_count = 1 + subdir_count_per_path = 256 + storage_port = 23000 + storage_http_port = 8888 + current_write_path = 0 + source storage id= + if_trunk_server= 0 + total_upload_count = 145463987 + success_upload_count = 145463987 + total_append_count = 0 + success_append_count = 0 + total_modify_count = 0 + success_modify_count = 0 + total_truncate_count = 0 + success_truncate_count = 0 + total_set_meta_count = 0 + success_set_meta_count = 0 + total_delete_count = 55020068 + success_delete_count = 55020068 + total_download_count = 0 + success_download_count = 0 + total_get_meta_count = 0 + success_get_meta_count = 0 + total_create_link_count = 0 + success_create_link_count = 0 + total_delete_link_count = 0 + success_delete_link_count = 0 + total_upload_bytes = 55349210207 + success_upload_bytes = 55349210207 + total_append_bytes = 0 + success_append_bytes = 0 + total_modify_bytes = 0 + success_modify_bytes = 0 + stotal_download_bytes = 0 + success_download_bytes = 0 + total_sync_in_bytes = 17409030985 + success_sync_in_bytes = 17371905709 + total_sync_out_bytes = 19884312270 + success_sync_out_bytes = 19867906118 + total_file_open_count = 195455141 + success_file_open_count = 190330634 + total_file_read_count = 0 + success_file_read_count = 0 + total_file_write_count = 190330634 + success_file_write_count = 190330634 + last_heart_beat_time = 2014-05-27 15:14:31 + last_source_update = 2014-05-27 15:14:25 + last_sync_update = 2013-10-14 14:18:36 + last_synced_timestamp = 2013-08-16 23:54:41 + + +# 主要是这里 只要是active的就没有问题 + + Storage 1: + id = 10.0.0.58 + ip_addr = 10.0.0.58 ACTIVE + http domain = + + + +#!/bin/bash + +results="" +statusValue=0 +storageAll=`/usr/local/fastdfs/bin/fdfs_monitor /usr/local/fastdfs/conf/storage.conf|awk '/ip_addr/||/last_synced_timestamp/{print $3"=="$4}'|sed '$!N;s/\n/==/'` +currentTimeStamp=$(date +%s) +for storage in $storageAll +do + IP=$(echo $storage |awk -F '==' '{print $1}') + status=$(echo $storage |awk -F '==' '{print $2}') + Time=$(echo $storage |awk -F '==' '{print $3,$4}') + timeStamp=$(date -d "$Time" +%s) + timeout=$((currentTimeStamp-timeStamp)) + + if [ "$status" != "ACTIVE" -o $timeout -gt 120 ];then + statusValue=$((statusValue+1)) + fi + results="$results[$IP $status timeout:$timeout]" +done + +if [ $statusValue -eq 0 ];then + echo "fastdfs OK $results" + exit 0 +else + echo "fastdfs CRITICAL $results" + exit 2 +fi + + + diff --git "a/Service/FastDFS/PHP\345\256\211\350\243\205fastDFS\346\211\251\345\261\225.sh" "b/Service/FastDFS/PHP\345\256\211\350\243\205fastDFS\346\211\251\345\261\225.sh" new file mode 100644 index 0000000..97747ef --- /dev/null +++ "b/Service/FastDFS/PHP\345\256\211\350\243\205fastDFS\346\211\251\345\261\225.sh" @@ -0,0 +1,40 @@ +PHP安装fastDFS扩展 + +原创作品，允许转载，转载时请务必以超链接形式标明文章 原始出处 、作者信息和本声明。否则将追究法律责任。http://369369.blog.51cto.com/319630/771169 + +1、下载fastDFS源程序，最好与FastDFS服务器版本匹配，这里我下载了FastDFS_v3.06.tar.gz版本，放在/opt/soft目录下。 + +2、LAMP或LNMP已安装好，PHP安装目录为/usr/local/php + +3、步骤 +[root@snstest ~]#tar zxvf FastDFS_v3.06.tar.gz +[root@snstest ~]#cd FastDFS +[root@ FastDFS ~]#./make.sh +[root@ FastDFS ~]#./make.sh install +[root@ FastDFS ~]#Cd client +[root@ client ~]#make; make install +[root@ client ~]#cd ../php_client +如以上不安装，直接进php-config目录进行编译安装，会报如下错误： +make: *** [fastdfs_client.lo] Error 1 +[root@ php_client ~]#/usr/local/php/bin/phpize //执行php的安装目录下的phpize +[root@ php_client ~]#./configure --with-php-config=/usr/local/php/bin/php-config +[root@ php_client ~]#make +[root@ php_client ~]#make install +[root@ php_client ~]#cp ../conf/client.conf /etc/fdfs/ //3.06版本/etc/fdfs/目录下有client.conf +[root@ php_client ~]#cd /etc/fdfs/ +[root@ fdfs ~]#vi client.conf，保存 +tracker_server=192.168.133.171:22122 //根据环境填写IP地址及端口号 +在php.ini配置文件中加载fastdfs +[root@ fdfs ~]#cat fastdfs_client.ini >> /usr/local/php/etc/php.ini + +4、重启web服务器即可。在php_client已经有扩展函数说明和程序示例 + +5、验证扩展 + +[root@ fdfs ~]#cd /opt/soft/FastDFS/php_client +[root@ fdfs ~]#cp fastdfs_test.php /var/www ///var/www是我web服务器目录 +打开IE或其它浏览器，输入http://192.168.133.87/fastdfs_test.php，如出现 +3.06 fastdfs_tracker_make_all_connections result: 1 array(1) { ["group1"]=> array(12) { ["free_space"]=> int(10542) ["trunk_free_space"]=> int(0) ["server_count"]=> int(2) ["active_count"]=> int(2) ["storage_port"]=> int(23000) ["storage_http_port"]=> int(8888) + +如果报以下错，就是没有重启web服务软件，如apache,nginx,fast-php +Fatal error: Call to undefined function fastdfs_client_version() in �,B on line 6 \ No newline at end of file diff --git a/Service/FastDFS/check_fastdfs_status.sh b/Service/FastDFS/check_fastdfs_status.sh new file mode 100644 index 0000000..a8506a2 --- /dev/null +++ b/Service/FastDFS/check_fastdfs_status.sh @@ -0,0 +1,49 @@ +#!/bin/bash +source ~/.bash_profile +Basedir=`dirname $0` +Active=$Basedir/active.txt +IP=$Basedir/ip.txt +Syn_time=$Basedir/syn_time.txt +/sbin/ip add |grep em2 |grep inet|cut -d/ -f1|awk '{print $2}' >$IP +/usr/local/fastdfs/bin/fdfs_monitor /usr/local/fastdfs/conf/storage.conf >status.txt +AIP=`cat $IP` +/bin/cat status.txt | grep $AIP |awk '/ip_addr/{print $NF}' > active.txt +Now_time=`date +%s` +sed -n '/Storage/,/Storage/p' status.txt >Storage1 +sed -n '/Storage 2/,//p' status.txt >Storage2 +Hostip=`cat Storage1 |grep "$AIP"` +if [ "$Hostip" != "" ];then + num=`cat Storage1| grep last_synced_timestamp | awk -F"(" '{print $2}' |awk '{print $1}' |awk -F"s" '{print $1}'` + cat Storage1| grep last_synced_timestamp | awk '{ print $3,$4 }' >$Syn_time + NUM=$num +else + num=`cat Storage2| grep last_synced_timestamp | awk -F"(" '{print $2}' |awk '{print $1}' |awk -F"s" '{print $1}'` + cat Storage2| grep last_synced_timestamp | awk '{ print $3,$4 }' >$Syn_time + NUM=$num +fi +paste $Syn_time $IP $Active > main.log +cat main.log | while read day time ip active +do + if [ "$num" == "" ];then + sys_time=`date -d "$day $time" +%s` + num1=`expr ${Now_time} - ${sys_time}` + if [ "${active}" == "ACTIVE" ]&&[ "$num1" -lt 120 ]; + then + echo "OK - FASTDFS_STORAGE status: $active and delay is $num1" + exit 0 + else + echo "Critical - FASTDFS_STORAGE status: $ip State is $active, Update time delay $num1 (s),please check." + exit 1 + fi + else + if [ "${active}" == "ACTIVE" ]&&[ "$NUM" -lt 120 ]; + then + echo "OK - FASTDFS_STORAGE status: $active and delay is $NUM" + exit 0 + else + echo "Critical - FASTDFS_STORAGE status: $ip State is $active, Update time delay $NUM (s),please check." + exit 2 + fi + fi +done +rm -rf $Active $IP $Syn_time main.log status.txt diff --git a/Service/FastDFS/fastdfs_php_demo.rar b/Service/FastDFS/fastdfs_php_demo.rar new file mode 100644 index 0000000..fbc0518 Binary files /dev/null and b/Service/FastDFS/fastdfs_php_demo.rar differ diff --git "a/Service/Memcache/Linux\344\270\213\347\232\204Memcache\345\256\211\350\243\205.sh" "b/Service/Memcache/Linux\344\270\213\347\232\204Memcache\345\256\211\350\243\205.sh" new file mode 100644 index 0000000..3b0f7e2 --- /dev/null +++ "b/Service/Memcache/Linux\344\270\213\347\232\204Memcache\345\256\211\350\243\205.sh" @@ -0,0 +1,219 @@ + +Linux下的Memcache安装 + + + +最近在研究怎么让Discuz!去应用Memcache去做一些事情，记录下Memcache安装的过程。 + +Linux下Memcache服务器端的安装 +服务器端主要是安装memcache服务器端，目前的最新版本是 memcached-1.3.0 。 +下载：http://www.danga.com/memcached/dist/memcached-1.2.2.tar.gz +另外，Memcache用到了libevent这个库用于Socket的处理，所以还需要安装libevent，libevent的最新版本是libevent-1.3。（如果你的系统已经安装了libevent，可以不用安装） +官网：http://www.monkey.org/~provos/libevent/ +下载：http://www.monkey.org/~provos/libevent-1.3.tar.gz + +用wget指令直接下载这两个东西.下载回源文件后。 +1.先安装libevent。这个东西在配置时需要指定一个安装路径，即./configure --prefix=/usr；然后make；然后make install； +# yum install libevent-devel + +2.再安装memcached，只是需要在配置时需要指定libevent的安装路径即./configure --with-libevent=/usr；然后make；然后make install； +这样就完成了Linux下Memcache服务器端的安装。详细的方法如下： + + 1.分别把memcached和libevent下载回来，放到 /tmp 目录下： + # cd /tmp + # wget http://www.danga.com/memcached/dist/memcached-1.2.0.tar.gz + # wget http://www.monkey.org/~provos/libevent-1.2.tar.gz + + 2.先安装libevent： + # tar zxvf libevent-1.2.tar.gz + # cd libevent-1.2 + # ./configure --prefix=/usr + # make + # make install + + 3.测试libevent是否安装成功： + # ls -al /usr/lib | grep libevent + lrwxrwxrwx 1 root root 21 11?? 12 17:38 libevent-1.2.so.1 -> libevent-1.2.so.1.0.3 + -rwxr-xr-x 1 root root 263546 11?? 12 17:38 libevent-1.2.so.1.0.3 + -rw-r--r-- 1 root root 454156 11?? 12 17:38 libevent.a + -rwxr-xr-x 1 root root 811 11?? 12 17:38 libevent.la + lrwxrwxrwx 1 root root 21 11?? 12 17:38 libevent.so -> libevent-1.2.so.1.0.3 + 还不错，都安装上了。 + + 4.安装memcached，同时需要安装中指定libevent的安装位置： + # cd /tmp + # tar zxvf memcached-1.2.0.tar.gz + # cd memcached-1.2.0 + # ./configure --with-libevent=/usr + # make + # make install + 如果中间出现报错，请仔细检查错误信息，按照错误信息来配置或者增加相应的库或者路径。 + 安装完成后会把memcached放到 /usr/local/bin/memcached ， + + 5.测试是否成功安装memcached： + # ls -al /usr/local/bin/mem* + -rwxr-xr-x 1 root root 137986 11?? 12 17:39 /usr/local/bin/memcached + -rwxr-xr-x 1 root root 140179 11?? 12 17:39 /usr/local/bin/memcached-debug + +安装Memcache的PHP扩展 +1.在http://pecl.php.net/package/memcache 选择相应想要下载的memcache版本。 +2.安装PHP的memcache扩展 + + tar vxzf memcache-2.2.1.tgz + cd memcache-2.2.1 + + # yum install php-devel + + /usr/local/php/bin/phpize + ./configure --enable-memcache --with-php-config=/usr/bin/php-config --with-zlib-dir + make + make install + + +3.上述安装完后会有类似这样的提示： + + Installing shared extensions: /usr/local/php/lib/php/extensions/no-debug-non-zts-2007xxxx/ + + +4.把php.ini中的extension_dir = "./"修改为 + + extension_dir = "/usr/local/php/lib/php/extensions/no-debug-non-zts-2007xxxx/" + + +5.添加一行来载入memcache扩展： extension=memcache.so + +memcached的基本设置： +1.启动Memcache的服务器端： +# /usr/local/bin/memcached -d -m 10 -u root -l 192.168.0.200 -p 12000 -c 256 -P /tmp/memcached.pid + + -d选项是启动一个守护进程， + -m是分配给Memcache使用的内存数量，单位是MB，我这里是10MB， + -u是运行Memcache的用户，我这里是root， + -l是监听的服务器IP地址，如果有多个地址的话，我这里指定了服务器的IP地址192.168.0.200， + -p是设置Memcache监听的端口，我这里设置了12000，最好是1024以上的端口， + -c选项是最大运行的并发连接数，默认是1024，我这里设置了256，按照你服务器的负载量来设定， + -P是设置保存Memcache的pid文件，我这里是保存在 /tmp/memcached.pid， + +2.如果要结束Memcache进程，执行： + + # kill `cat /tmp/memcached.pid` + + +也可以启动多个守护进程，不过端口不能重复。 + +3.重启apache，service httpd restart + +Memcache环境测试： +运行下面的php文件，如果有输出This is a test!，就表示环境搭建成功。开始领略Memcache的魅力把！ +< ?php +$mem = new Memcache; +$mem->connect("127.0.0.1", 11211); +$mem->set('key', 'This is a test!', 0, 60); +$val = $mem->get('key'); +echo $val; +?> + + + +/usr/local/bin/memcached -d -m 100 -u root -l 192.168.1.107 -p 12000 -c 256 -P /tmp/memcache.pid + +telnet localhost 11211 +#直接回城出现错误 +ERROR + +#查看当前状态命令 +stats + +STAT pid 22459 进程ID +STAT uptime 1027046 服务器运行秒数 +STAT time 1273043062 服务器当前unix时间戳 +STAT version 1.4.4 服务器版本 +STAT pointer_size 64 操作系统字大小(这台服务器是64位的) +STAT rusage_user 0.040000 进程累计用户时间 +STAT rusage_system 0.260000 进程累计系统时间 +STAT curr_connections 10 当前打开连接数 +STAT total_connections 82 曾打开的连接总数 +STAT connection_structures 13 服务器分配的连接结构数 +STAT cmd_get 54 执行get命令总数 +STAT cmd_set 34 执行set命令总数 +STAT cmd_flush 3 指向flush_all命令总数 +STAT get_hits 9 get命中次数 +STAT get_misses 45 get未命中次数 +STAT delete_misses 5 delete未命中次数 +STAT delete_hits 1 delete命中次数 +STAT incr_misses 0 incr未命中次数 +STAT incr_hits 0 incr命中次数 +STAT decr_misses 0 decr未命中次数 +STAT decr_hits 0 decr命中次数 +STAT cas_misses 0 cas未命中次数 +STAT cas_hits 0 cas命中次数 +STAT cas_badval 0 使用擦拭次数 +STAT auth_cmds 0 +STAT auth_errors 0 +STAT bytes_read 15785 读取字节总数 +STAT bytes_written 15222 写入字节总数 +STAT limit_maxbytes 1048576 分配的内存数（字节） +STAT accepting_conns 1 目前接受的链接数 +STAT listen_disabled_num 0 +STAT threads 4 线程数 +STAT conn_yields 0 +STAT bytes 0 存储item字节数 +STAT curr_items 0 item个数 +STAT total_items 34 item总数 +STAT evictions 0 为获取空间删除item的总数 + + + +memcached数据存储和取回相关的基本命令只有4条。下面将采用telnet与memcached进行交互，并介绍这4条基本命令。假设memcached服务器在本机上，并监听在默认端口11211上。 + +telnet连接到memcached：telnet 127.0.0.1 11211 + +SET：添加一个新的条目到memcached，或是用新的数据替换掉已存在的条目 + +set test1 0 0 10 +testing001 +STORED + +ADD：仅当key不存在的情况下存储数据。如果一个key已经存在，将得到NOT_STORED的响应 + +add test1 0 0 10 +testing002 +NOT_STORED +add test2 0 0 10 +testing002 +STORED + +REPLACE：仅当key已经存在的情况下存储数据。如果一个key不存在，将得到NOT_STORED的响应 + +replace test1 0 0 10 +testing003 +STORED +replace test3 0 0 10 +testing003 +NOT_STORED + +GET：从memcached中返回数据。从缓存中返回数据时，将在第一行得到key的名字，flag的值和返回的value的长度。真正的数据在第二行，最后返回END。如果key并不存在，那么在第一行就直接返回END。 + +get test1 +VALUE test1 0 10 +testing003 +END +get test4 +END +get test1 test2 +VALUE test1 0 10 +testing003 +END + +注：像上面那样你可以在一个请求中包含多个由空格分开的key。当请求多个key时，将只会得到那些有存储数据的key的响应。memcached将不会响应没有存储Data的key。 + + + +参考资料： +对Memcached有疑问的朋友可以参考下列文章： +Linux下的Memcache安装：http://www.ccvita.com/257.html +Windows下的Memcache安装：http://www.ccvita.com/258.html +Memcache基础教程：http://www.ccvita.com/259.html +Discuz!的Memcache缓存实现：http://www.ccvita.com/261.html +Memcache协议中文版：http://www.ccvita.com/306.html +Memcache分布式部署方案：http://www.ccvita.com/395.html \ No newline at end of file diff --git "a/Service/Memcache/flush_all\346\270\205\351\231\244\346\211\200\346\234\211\346\225\260\346\215\256.sh" "b/Service/Memcache/flush_all\346\270\205\351\231\244\346\211\200\346\234\211\346\225\260\346\215\256.sh" new file mode 100644 index 0000000..7b0329e --- /dev/null +++ "b/Service/Memcache/flush_all\346\270\205\351\231\244\346\211\200\346\234\211\346\225\260\346\215\256.sh" @@ -0,0 +1,14 @@ +flush_all 这个最简单的命令仅用于清理缓存中的所有名称/值对。如果您需要将缓存重置到干净的状态，则 flush_all 能提供很大的用处。 + +view plaincopy to clipboardprint? +set userId 0 0 5 +55555 +STORED +get userId +VALUE userId 0 5 +55555 +END +flush_all +OK +get userId +END \ No newline at end of file diff --git a/Service/Memcache/memcache-PHPclient.txt b/Service/Memcache/memcache-PHPclient.txt new file mode 100644 index 0000000..5dd0694 --- /dev/null +++ b/Service/Memcache/memcache-PHPclient.txt @@ -0,0 +1,18 @@ +#!/bin/bash +wget http://pecl.php.net/get/memcache-2.2.5.tgz +tar vxzf memcache-2.2.5.tgz +cd memcache-2.2.5/ +# yum install php-devel +/usr/local/php/bin/phpize +./configure --with-php-config=/usr/local/php/bin/php-config +make +make install +###edit php.ini to add memcache module +sed -i '/extension_dir = "ext"/ a extension=memcache.so' /usr/local/php/lib/php.ini +sed -i '/extension_dir = "ext"/ a extension_dir = "/usr/local/php/lib/php/extensions/no-debug-non-zts-20100525/"' /usr/local/php/lib/php.ini +### session save +sed -i '/session.save_handler/ s/^/;/' /usr/local/php/lib/php.ini +sed -i '/Session/ a session.save_path = "tcp://192.168.146.146:11211"' /usr/local/php/lib/php.ini +sed -i '/Session/ a session.save_handler = memcache' /usr/local/php/lib/php.ini +/usr/local/apache/bin/apachectl restart +### /etc/init.d/iptables stop \ No newline at end of file diff --git a/Service/Memcache/memcache.php b/Service/Memcache/memcache.php new file mode 100644 index 0000000..6330c59 --- /dev/null +++ b/Service/Memcache/memcache.php @@ -0,0 +1,881 @@ + | + +----------------------------------------------------------------------+ +*/ + +$VERSION='$Id: memcache.php,v 1.1.2.3 2008/08/28 18:07:54 mikl Exp $'; + +define('ADMIN_USERNAME','memcache'); // Admin Username +define('ADMIN_PASSWORD','password'); // Admin Password +define('DATE_FORMAT','Y/m/d H:i:s'); +define('GRAPH_SIZE',200); +define('MAX_ITEM_DUMP',50); + +$MEMCACHE_SERVERS[] = 'mymemcache-server1:11211'; // add more as an array +$MEMCACHE_SERVERS[] = 'mymemcache-server2:11211'; // add more as an array + + +////////// END OF DEFAULT CONFIG AREA ///////////////////////////////////////////////////////////// + +///////////////// Password protect //////////////////////////////////////////////////////////////// +if (!isset($_SERVER['PHP_AUTH_USER']) || !isset($_SERVER['PHP_AUTH_PW']) || + $_SERVER['PHP_AUTH_USER'] != ADMIN_USERNAME ||$_SERVER['PHP_AUTH_PW'] != ADMIN_PASSWORD) { + Header("WWW-Authenticate: Basic realm=\"Memcache Login\""); + Header("HTTP/1.0 401 Unauthorized"); + + echo << +

Rejected!

+ Wrong Username or Password! + +EOB; + exit; +} + +///////////MEMCACHE FUNCTIONS ///////////////////////////////////////////////////////////////////// + +function sendMemcacheCommands($command){ + global $MEMCACHE_SERVERS; + $result = array(); + + foreach($MEMCACHE_SERVERS as $server){ + $strs = explode(':',$server); + $host = $strs[0]; + $port = $strs[1]; + $result[$server] = sendMemcacheCommand($host,$port,$command); + } + return $result; +} +function sendMemcacheCommand($server,$port,$command){ + + $s = @fsockopen($server,$port); + if (!$s){ + die("Cant connect to:".$server.':'.$port); + } + + fwrite($s, $command."\r\n"); + + $buf=''; + while ((!feof($s))) { + $buf .= fgets($s, 256); + if (strpos($buf,"END\r\n")!==false){ // stat says end + break; + } + if (strpos($buf,"DELETED\r\n")!==false || strpos($buf,"NOT_FOUND\r\n")!==false){ // delete says these + break; + } + if (strpos($buf,"OK\r\n")!==false){ // flush_all says ok + break; + } + } + fclose($s); + return parseMemcacheResults($buf); +} +function parseMemcacheResults($str){ + + $res = array(); + $lines = explode("\r\n",$str); + $cnt = count($lines); + for($i=0; $i< $cnt; $i++){ + $line = $lines[$i]; + $l = explode(' ',$line,3); + if (count($l)==3){ + $res[$l[0]][$l[1]]=$l[2]; + if ($l[0]=='VALUE'){ // next line is the value + $res[$l[0]][$l[1]] = array(); + list ($flag,$size)=explode(' ',$l[2]); + $res[$l[0]][$l[1]]['stat']=array('flag'=>$flag,'size'=>$size); + $res[$l[0]][$l[1]]['value']=$lines[++$i]; + } + }elseif($line=='DELETED' || $line=='NOT_FOUND' || $line=='OK'){ + return $line; + } + } + return $res; + +} + +function dumpCacheSlab($server,$slabId,$limit){ + list($host,$port) = explode(':',$server); + $resp = sendMemcacheCommand($host,$port,'stats cachedump '.$slabId.' '.$limit); + + return $resp; + +} + +function flushServer($server){ + list($host,$port) = explode(':',$server); + $resp = sendMemcacheCommand($host,$port,'flush_all'); + return $resp; +} +function getCacheItems(){ + $items = sendMemcacheCommands('stats items'); + $serverItems = array(); + $totalItems = array(); + foreach ($items as $server=>$itemlist){ + $serverItems[$server] = array(); + $totalItems[$server]=0; + if (!isset($itemlist['STAT'])){ + continue; + } + + $iteminfo = $itemlist['STAT']; + + foreach($iteminfo as $keyinfo=>$value){ + if (preg_match('/items\:(\d+?)\:(.+?)$/',$keyinfo,$matches)){ + $serverItems[$server][$matches[1]][$matches[2]] = $value; + if ($matches[2]=='number'){ + $totalItems[$server] +=$value; + } + } + } + } + return array('items'=>$serverItems,'counts'=>$totalItems); +} +function getMemcacheStats($total=true){ + $resp = sendMemcacheCommands('stats'); + if ($total){ + $res = array(); + foreach($resp as $server=>$r){ + foreach($r['STAT'] as $key=>$row){ + if (!isset($res[$key])){ + $res[$key]=null; + } + switch ($key){ + case 'pid': + $res['pid'][$server]=$row; + break; + case 'uptime': + $res['uptime'][$server]=$row; + break; + case 'time': + $res['time'][$server]=$row; + break; + case 'version': + $res['version'][$server]=$row; + break; + case 'pointer_size': + $res['pointer_size'][$server]=$row; + break; + case 'rusage_user': + $res['rusage_user'][$server]=$row; + break; + case 'rusage_system': + $res['rusage_system'][$server]=$row; + break; + case 'curr_items': + $res['curr_items']+=$row; + break; + case 'total_items': + $res['total_items']+=$row; + break; + case 'bytes': + $res['bytes']+=$row; + break; + case 'curr_connections': + $res['curr_connections']+=$row; + break; + case 'total_connections': + $res['total_connections']+=$row; + break; + case 'connection_structures': + $res['connection_structures']+=$row; + break; + case 'cmd_get': + $res['cmd_get']+=$row; + break; + case 'cmd_set': + $res['cmd_set']+=$row; + break; + case 'get_hits': + $res['get_hits']+=$row; + break; + case 'get_misses': + $res['get_misses']+=$row; + break; + case 'evictions': + $res['evictions']+=$row; + break; + case 'bytes_read': + $res['bytes_read']+=$row; + break; + case 'bytes_written': + $res['bytes_written']+=$row; + break; + case 'limit_maxbytes': + $res['limit_maxbytes']+=$row; + break; + case 'threads': + $res['rusage_system'][$server]=$row; + break; + } + } + } + return $res; + } + return $resp; +} + +////////////////////////////////////////////////////// + +// +// don't cache this page +// +header("Cache-Control: no-store, no-cache, must-revalidate"); // HTTP/1.1 +header("Cache-Control: post-check=0, pre-check=0", false); +header("Pragma: no-cache"); // HTTP/1.0 + +function duration($ts) { + global $time; + $years = (int)((($time - $ts)/(7*86400))/52.177457); + $rem = (int)(($time-$ts)-($years * 52.177457 * 7 * 86400)); + $weeks = (int)(($rem)/(7*86400)); + $days = (int)(($rem)/86400) - $weeks*7; + $hours = (int)(($rem)/3600) - $days*24 - $weeks*7*24; + $mins = (int)(($rem)/60) - $hours*60 - $days*24*60 - $weeks*7*24*60; + $str = ''; + if($years==1) $str .= "$years year, "; + if($years>1) $str .= "$years years, "; + if($weeks==1) $str .= "$weeks week, "; + if($weeks>1) $str .= "$weeks weeks, "; + if($days==1) $str .= "$days day,"; + if($days>1) $str .= "$days days,"; + if($hours == 1) $str .= " $hours hour and"; + if($hours>1) $str .= " $hours hours and"; + if($mins == 1) $str .= " 1 minute"; + else $str .= " $mins minutes"; + return $str; +} + +// create graphics +// +function graphics_avail() { + return extension_loaded('gd'); +} + +function bsize($s) { + foreach (array('','K','M','G') as $i => $k) { + if ($s < 1024) break; + $s/=1024; + } + return sprintf("%5.1f %sBytes",$s,$k); +} + +// create menu entry +function menu_entry($ob,$title) { + global $PHP_SELF; + if ($ob==$_GET['op']){ + return "
  • $title
    • "; + } + return "
  • $title
    • "; +} + +function getHeader(){ + $header = << + +MEMCACHE INFO + + + +
    +

    + + memcache.php by Harun Yayli +

    +
    +
    +
    +EOB; + + return $header; +} +function getFooter(){ + global $VERSION; + $footer = '
    + +'; + + return $footer; + +} +function getMenu(){ + global $PHP_SELF; +echo "
      "; +if ($_GET['op']!=4){ +echo <<Refresh Data +EOB; +} +else { +echo <<Back +EOB; +} +echo + menu_entry(1,'View Host Stats'), + menu_entry(2,'Variables'); + +echo << +
      +EOB; +} + +// TODO, AUTH + +$_GET['op'] = !isset($_GET['op'])? '1':$_GET['op']; +$PHP_SELF= isset($_SERVER['PHP_SELF']) ? htmlentities(strip_tags($_SERVER['PHP_SELF'],'')) : ''; + +$PHP_SELF=$PHP_SELF.'?'; +$time = time(); +// sanitize _GET + +foreach($_GET as $key=>$g){ + $_GET[$key]=htmlentities($g); +} + + +// singleout +// when singleout is set, it only gives details for that server. +if (isset($_GET['singleout']) && $_GET['singleout']>=0 && $_GET['singleout'] $y) imagefilledrectangle($im, $x, $y, $x1, $y1, $color2); + else imagefilledrectangle($im, $x, $y1, $x1, $y, $color2); + imagerectangle($im, $x, $y1, $x1, $y, $color1); + if ($text) { + if ($placeindex>0) { + + if ($placeindex<16) + { + $px=5; + $py=$placeindex*12+6; + imagefilledrectangle($im, $px+90, $py+3, $px+90-4, $py-3, $color2); + imageline($im,$x,$y+$h/2,$px+90,$py,$color2); + imagestring($im,2,$px,$py-6,$text,$color1); + + } else { + if ($placeindex<31) { + $px=$x+40*2; + $py=($placeindex-15)*12+6; + } else { + $px=$x+40*2+100*intval(($placeindex-15)/15); + $py=($placeindex%15)*12+6; + } + imagefilledrectangle($im, $px, $py+3, $px-4, $py-3, $color2); + imageline($im,$x+$w,$y+$h/2,$px,$py,$color2); + imagestring($im,2,$px+2,$py-6,$text,$color1); + } + } else { + imagestring($im,4,$x+5,$y1-16,$text,$color1); + } + } + } + + + function fill_arc($im, $centerX, $centerY, $diameter, $start, $end, $color1,$color2,$text='',$placeindex=0) { + $r=$diameter/2; + $w=deg2rad((360+$start+($end-$start)/2)%360); + + + if (function_exists("imagefilledarc")) { + // exists only if GD 2.0.1 is avaliable + imagefilledarc($im, $centerX+1, $centerY+1, $diameter, $diameter, $start, $end, $color1, IMG_ARC_PIE); + imagefilledarc($im, $centerX, $centerY, $diameter, $diameter, $start, $end, $color2, IMG_ARC_PIE); + imagefilledarc($im, $centerX, $centerY, $diameter, $diameter, $start, $end, $color1, IMG_ARC_NOFILL|IMG_ARC_EDGED); + } else { + imagearc($im, $centerX, $centerY, $diameter, $diameter, $start, $end, $color2); + imageline($im, $centerX, $centerY, $centerX + cos(deg2rad($start)) * $r, $centerY + sin(deg2rad($start)) * $r, $color2); + imageline($im, $centerX, $centerY, $centerX + cos(deg2rad($start+1)) * $r, $centerY + sin(deg2rad($start)) * $r, $color2); + imageline($im, $centerX, $centerY, $centerX + cos(deg2rad($end-1)) * $r, $centerY + sin(deg2rad($end)) * $r, $color2); + imageline($im, $centerX, $centerY, $centerX + cos(deg2rad($end)) * $r, $centerY + sin(deg2rad($end)) * $r, $color2); + imagefill($im,$centerX + $r*cos($w)/2, $centerY + $r*sin($w)/2, $color2); + } + if ($text) { + if ($placeindex>0) { + imageline($im,$centerX + $r*cos($w)/2, $centerY + $r*sin($w)/2,$diameter, $placeindex*12,$color1); + imagestring($im,4,$diameter, $placeindex*12,$text,$color1); + + } else { + imagestring($im,4,$centerX + $r*cos($w)/2, $centerY + $r*sin($w)/2,$text,$color1); + } + } + } + $size = GRAPH_SIZE; // image size + $image = imagecreate($size+50, $size+10); + + $col_white = imagecolorallocate($image, 0xFF, 0xFF, 0xFF); + $col_red = imagecolorallocate($image, 0xD0, 0x60, 0x30); + $col_green = imagecolorallocate($image, 0x60, 0xF0, 0x60); + $col_black = imagecolorallocate($image, 0, 0, 0); + + imagecolortransparent($image,$col_white); + + switch ($_GET['IMG']){ + case 1: // pie chart + $tsize=$memcacheStats['limit_maxbytes']; + $avail=$tsize-$memcacheStats['bytes']; + $x=$y=$size/2; + $angle_from = 0; + $fuzz = 0.000001; + + foreach($memcacheStatsSingle as $serv=>$mcs) { + $free = $mcs['STAT']['limit_maxbytes']-$mcs['STAT']['bytes']; + $used = $mcs['STAT']['bytes']; + + + if ($free>0){ + // draw free + $angle_to = ($free*360)/$tsize; + $perc =sprintf("%.2f%%", ($free *100) / $tsize) ; + + fill_arc($image,$x,$y,$size,$angle_from,$angle_from + $angle_to ,$col_black,$col_green,$perc); + $angle_from = $angle_from + $angle_to ; + } + if ($used>0){ + // draw used + $angle_to = ($used*360)/$tsize; + $perc =sprintf("%.2f%%", ($used *100) / $tsize) ; + fill_arc($image,$x,$y,$size,$angle_from,$angle_from + $angle_to ,$col_black,$col_red, '('.$perc.')' ); + $angle_from = $angle_from+ $angle_to ; + } + } + + break; + + case 2: // hit miss + + $hits = ($memcacheStats['get_hits']==0) ? 1:$memcacheStats['get_hits']; + $misses = ($memcacheStats['get_misses']==0) ? 1:$memcacheStats['get_misses']; + $total = $hits + $misses ; + + fill_box($image, 30,$size,50,-$hits*($size-21)/$total,$col_black,$col_green,sprintf("%.1f%%",$hits*100/$total)); + fill_box($image,130,$size,50,-max(4,($total-$hits)*($size-21)/$total),$col_black,$col_red,sprintf("%.1f%%",$misses*100/$total)); + break; + + } + header("Content-type: image/png"); + imagepng($image); + exit; +} + +echo getHeader(); +echo getMenu(); + +switch ($_GET['op']) { + + case 1: // host stats + $phpversion = phpversion(); + $memcacheStats = getMemcacheStats(); + $memcacheStatsSingle = getMemcacheStats(false); + + $mem_size = $memcacheStats['limit_maxbytes']; + $mem_used = $memcacheStats['bytes']; + $mem_avail= $mem_size-$mem_used; + $startTime = time()-array_sum($memcacheStats['uptime']); + + $curr_items = $memcacheStats['curr_items']; + $total_items = $memcacheStats['total_items']; + $hits = ($memcacheStats['get_hits']==0) ? 1:$memcacheStats['get_hits']; + $misses = ($memcacheStats['get_misses']==0) ? 1:$memcacheStats['get_misses']; + $sets = $memcacheStats['cmd_set']; + + $req_rate = sprintf("%.2f",($hits+$misses)/($time-$startTime)); + $hit_rate = sprintf("%.2f",($hits)/($time-$startTime)); + $miss_rate = sprintf("%.2f",($misses)/($time-$startTime)); + $set_rate = sprintf("%.2f",($sets)/($time-$startTime)); + + echo <<< EOB +

      General Cache Information

      + + +EOB; + echo "\n"; + echo "\n"; + + echo <<
      PHP Version$phpversion
      Memcached Host". ((count($MEMCACHE_SERVERS)>1) ? 's':'').""; + $i=0; + if (!isset($_GET['singleout']) && count($MEMCACHE_SERVERS)>1){ + foreach($MEMCACHE_SERVERS as $server){ + echo ($i+1).'. '.$server.'
      '; + } + } + else{ + echo '1.'.$MEMCACHE_SERVERS[0]; + } + if (isset($_GET['singleout'])){ + echo '(all servers)
      '; + } + echo "
      Total Memcache Cache".bsize($memcacheStats['limit_maxbytes'])."
      +
      + +

      Memcache Server Information

      +EOB; + foreach($MEMCACHE_SERVERS as $server){ + echo ''; + echo ''; + echo ''; + echo ''; + echo ''; + echo ''; + echo ''; + echo '
      '.$server.'[Flush this server]
      Start Time',date(DATE_FORMAT,$memcacheStatsSingle[$server]['STAT']['time']-$memcacheStatsSingle[$server]['STAT']['uptime']),'
      Uptime',duration($memcacheStatsSingle[$server]['STAT']['time']-$memcacheStatsSingle[$server]['STAT']['uptime']),'
      Memcached Server Version'.$memcacheStatsSingle[$server]['STAT']['version'].'
      Used Cache Size',bsize($memcacheStatsSingle[$server]['STAT']['bytes']),'
      Total Cache Size',bsize($memcacheStatsSingle[$server]['STAT']['limit_maxbytes']),'
      '; + } + echo << +

      Host Status Diagrams

      + +EOB; + + $size='width='.(GRAPH_SIZE+50).' height='.(GRAPH_SIZE+10); + echo << + + + +EOB; + + echo + graphics_avail() ? + ''. + "". + "\n" + : "", + '', + '\n", + '\n", + '', + '', + '\n", + '\n"; + echo <<< EOB + +
      Cache UsageHits & Misses
      \"\"\"\"
       Free: ',bsize($mem_avail).sprintf(" (%.1f%%)",$mem_avail*100/$mem_size)," Hits: ',$hits.sprintf(" (%.1f%%)",$hits*100/($hits+$misses)),"
       Used: ',bsize($mem_used ).sprintf(" (%.1f%%)",$mem_used *100/$mem_size)," Misses: ',$misses.sprintf(" (%.1f%%)",$misses*100/($hits+$misses)),"
      +
      +

      Cache Information

      + + + + + + + + +
      Current Items(total)$curr_items ($total_items)
      Hits{$hits}
      Misses{$misses}
      Request Rate (hits, misses)$req_rate cache requests/second
      Hit Rate$hit_rate cache requests/second
      Miss Rate$miss_rate cache requests/second
      Set Rate$set_rate cache requests/second
      +
      + +EOB; + + break; + + case 2: // variables + + $m=0; + $cacheItems= getCacheItems(); + $items = $cacheItems['items']; + $totals = $cacheItems['counts']; + $maxDump = MAX_ITEM_DUMP; + foreach($items as $server => $entries) { + + echo <<< EOB + +
      + + +EOB; + + foreach($entries as $slabId => $slab) { + $dumpUrl = $PHP_SELF.'&op=2&server='.(array_search($server,$MEMCACHE_SERVERS)).'&dumpslab='.$slabId; + echo + "", + "", + ""; + $m=1-$m; + } + echo <<
      $server
      Slab IdInfo
      ",'',$slabId,'',"
      		Item count: ",$slab['number'],'
      Age:',duration($time-$slab['age']),'
      Evicted:',((isset($slab['evicted']) && $slab['evicted']==1)? 'Yes':'No'); + if ((isset($_GET['dumpslab']) && $_GET['dumpslab']==$slabId) && (isset($_GET['server']) && $_GET['server']==array_search($server,$MEMCACHE_SERVERS))){ + echo "
      Items: item
      "; + $items = dumpCacheSlab($server,$slabId,$slab['number']); + // maybe someone likes to do a pagination here :) + $i=1; + foreach($items['ITEM'] as $itemKey=>$itemInfo){ + $itemInfo = trim($itemInfo,'[ ]'); + + + echo '',$itemKey,''; + if ($i++ % 10 == 0) { + echo '
      '; + } + elseif ($i!=$slab['number']+1){ + echo ','; + } + } + } + + echo "
      +
      +EOB; +} + break; + + break; + + case 4: //item dump + if (!isset($_GET['key']) || !isset($_GET['server'])){ + echo "No key set!"; + break; + } + // I'm not doing anything to check the validity of the key string. + // probably an exploit can be written to delete all the files in key=base64_encode("\n\r delete all"). + // somebody has to do a fix to this. + $theKey = htmlentities(base64_decode($_GET['key'])); + + $theserver = $MEMCACHE_SERVERS[(int)$_GET['server']]; + list($h,$p) = explode(':',$theserver); + $r = sendMemcacheCommand($h,$p,'get '.$theKey); + echo << + +EOB; + echo "", + '",""; + echo <<
      ServerKeyValueDelete
      ",$theserver,"",$theKey, + "
      flag:",$r['VALUE'][$theKey]['stat']['flag'], + "
      Size:",bsize($r['VALUE'][$theKey]['stat']['size']), + "      		",chunk_split($r['VALUE'][$theKey]['value'],40),"Delete
      +
      +EOB; + break; + case 5: // item delete + if (!isset($_GET['key']) || !isset($_GET['server'])){ + echo "No key set!"; + break; + } + $theKey = htmlentities(base64_decode($_GET['key'])); + $theserver = $MEMCACHE_SERVERS[(int)$_GET['server']]; + list($h,$p) = explode(':',$theserver); + $r = sendMemcacheCommand($h,$p,'delete '.$theKey); + echo 'Deleting '.$theKey.':'.$r; + break; + + case 6: // flush server + $theserver = $MEMCACHE_SERVERS[(int)$_GET['server']]; + $r = flushServer($theserver); + echo 'Flush '.$theserver.":".$r; + break; +} +echo getFooter(); + +?> \ No newline at end of file diff --git a/Service/Memcache/memcache_stats.sh b/Service/Memcache/memcache_stats.sh new file mode 100644 index 0000000..4398b82 --- /dev/null +++ b/Service/Memcache/memcache_stats.sh @@ -0,0 +1,45 @@ + +telnet 10.13.81.17 20004 +stats + +stats 命令的功能正如其名：转储所连接的 memcached 实例的当前统计数据。在下例中，执行 stats 命令显示了关于当前 memcached 实例的信息： + +STAT pid 22459 进程ID +STAT uptime 1027046 服务器运行秒数 +STAT time 1273043062 服务器当前unix时间戳 +STAT version 1.4.4 服务器版本 +STAT pointer_size 64 操作系统字大小(这台服务器是64位的) +STAT rusage_user 0.040000 进程累计用户时间 +STAT rusage_system 0.260000 进程累计系统时间 +STAT curr_connections 10 当前打开连接数 +STAT total_connections 82 曾打开的连接总数 +STAT connection_structures 13 服务器分配的连接结构数 +STAT cmd_get 54 执行get命令总数 +STAT cmd_set 34 执行set命令总数 +STAT cmd_flush 3 指向flush_all命令总数 +STAT get_hits 9 get命中次数 +STAT get_misses 45 get未命中次数 +STAT delete_misses 5 delete未命中次数 +STAT delete_hits 1 delete命中次数 +STAT incr_misses 0 incr未命中次数 +STAT incr_hits 0 incr命中次数 +STAT decr_misses 0 decr未命中次数 +STAT decr_hits 0 decr命中次数 +STAT cas_misses 0 cas未命中次数 +STAT cas_hits 0 cas命中次数 +STAT cas_badval 0 使用擦拭次数 +STAT auth_cmds 0 +STAT auth_errors 0 +STAT bytes_read 15785 读取字节总数 +STAT bytes_written 15222 写入字节总数 +STAT limit_maxbytes 1048576 分配的内存数（字节） +STAT accepting_conns 1 目前接受的链接数 +STAT listen_disabled_num 0 +STAT threads 4 线程数 +STAT conn_yields 0 +STAT bytes 0 存储item字节数 +STAT curr_items 0 item个数 +STAT total_items 34 item总数 +STAT evictions 0 为获取空间删除item的总数 + + diff --git "a/Service/Memcache/memcache\346\200\247\350\203\275\345\210\244\346\226\255.sh" "b/Service/Memcache/memcache\346\200\247\350\203\275\345\210\244\346\226\255.sh" new file mode 100644 index 0000000..a86745f --- /dev/null +++ "b/Service/Memcache/memcache\346\200\247\350\203\275\345\210\244\346\226\255.sh" @@ -0,0 +1,6 @@ +memcache性能判断 +1、hit命中最好在百分之九十，命中低，会影响后端数据库性能 +2、最多并非连接不超过2万 +3、mem_used内存使用不超过百分之八十，使用过多，会删除部分数据 + +不能存取超过1M的数据 \ No newline at end of file diff --git "a/Service/Memcache/\345\221\275\344\273\244\350\241\214\346\237\245\347\234\213Memcached\350\277\220\350\241\214\347\212\266\346\200\201.sh" "b/Service/Memcache/\345\221\275\344\273\244\350\241\214\346\237\245\347\234\213Memcached\350\277\220\350\241\214\347\212\266\346\200\201.sh" new file mode 100644 index 0000000..446094a --- /dev/null +++ "b/Service/Memcache/\345\221\275\344\273\244\350\241\214\346\237\245\347\234\213Memcached\350\277\220\350\241\214\347\212\266\346\200\201.sh" @@ -0,0 +1,59 @@ +命令行查看Memcached运行状态 + +# memcached-tool是perl写的 + +telnet 127.0.0.1 11211 +> stats # 即可得到描述Memcached服务器运行情况的参数 + +uptime # 是memcached运行的秒数 +cmd_get # 是查询缓存的次数。 +cmd_set # 是设置key=>value的次数。整个memcached是个大hash，用cmd_get没有找到的内容，就会调用一下cmd_set写进缓存里。 +get_hits # 是缓存命中的次数。 +get_misses # 读取失败的次数 +total_itemscurr_items # 表示现在在缓存中的键值对个数 + +# uptime 和 cmd_get 这两个数据相除一下就能得到平均每秒请求缓存的次数 +# get_misses 加上 get_hits 应该等于 cmd_get +# total_items == cmd_set == get_misses # 不过当可用最大内存用光时，memcached就会删掉一些内容，等式就不成立了 + +缓存命中率 = get_hits / cmd_get = get_hits / (get_hits + get_misses) + + +telnet到memcached服务器的赋值命令: add、get、set、incr、decr、replace、delete 等 +Memcache::getStats($cmd) # PHP访问memcached命令 + +Memcached的获取服务器信息的 stats 命令 + +stats # 显示服务器信息、统计数据等 +stats reset # 清空统计数据 +stats malloc # 显示内存分配数据 +stats cachedump slab_id limit_num # 显示某个slab中的前limit_num个key列表，显示格式如下 +ITEM key_name [ value_length b; expire_time|access_time s] +其中，memcached 1.2.2及以前版本显示的是 访问时间(timestamp) +1.2.4以上版本，包括1.2.4显示 过期时间(timestamp) +如果是永不过期的key，expire_time会显示为服务器启动的时间 + +stats cachedump 7 2 +ITEM copy_test1 [250 b; 1207795754 s] +ITEM copy_test [248 b; 1207793649 s] + +stats slabs # 显示各个slab的信息，包括chunk的大小、数目、使用情况等 +stats items # 显示各个slab中item的数目和最老item的年龄(最后一次访问距离现在的秒数) +stats detail [on|off|dump] # 设置或者显示详细操作记录 +# on 打开详细操作记录 +# off 关闭详细操作记录 +# dump 显示详细操作记录(每一个键值get、set、hit、del的次数) + +stats detail dump +PREFIX copy_test2 get 1 hit 1 set 0 del 0 +PREFIX copy_test1 get 1 hit 1 set 0 del 0 +PREFIX cpy get 1 hit 0 set 0 del 0 + + +slab是Linux操作系统的一种内存分配机制。其工作是针对一些经常分配并释放的对象，如进程描述符等，这些对象的大小一般比较小，如果直接采用伙伴系统来进行分配和释放，不仅会造成大量的内碎片，而且处理速度也太慢。而slab分配器是基于对象进行管理的，相同类型的对象归为一类(如进程描述符就是一类)，每当要申请这样一个对象，slab分配器就从一个slab列表中分配一个这样大小的单元出去，而当要释放时，将其重新保存在该列表中，而不是直接返回给伙伴系统，从而避免这些内碎片。slab分配器并不丢弃已分配的对象，而是释放并把它们保存在内存中。当以后又要请求新的对象时，就可以从内存直接获取而不用重复初始化。 + +slab 分配器首先从部分空闲的slab 进行分配。如没有，则从空的slab 进行分配。如没有，则从物理连续页上分配新的slab，并把它赋给一个cache ，然后再从新slab 分配空间。 +Linux 的slab 可有三种状态： + 满的：slab 中的所有对象被标记为使用。 + 空的：slab 中的所有对象被标记为空闲。 + 部分：slab 中的对象有的被标记为使用，有的被标记为空闲。 diff --git "a/Service/OpenStack/openstack\345\255\246\344\271\240.sh" "b/Service/OpenStack/openstack\345\255\246\344\271\240.sh" new file mode 100644 index 0000000..dc48250 --- /dev/null +++ "b/Service/OpenStack/openstack\345\255\246\344\271\240.sh" @@ -0,0 +1,821 @@ +#openstack学习 + +#讲师--老男孩培训之赵班长 + +环境介绍{ + + neutron # 实现了虚拟机的网络资源管理 + nova # 通过虚拟化技术提供计算资源池 + horizon # web管理页面 + + cinder # 块存储，提供存储资源池 + swift # 对象存储，适用于一次写入，多次读取 + + keystone # 认证管理 + glance # 提供虚拟镜像的注册和存储管理 + ceilometer # 提供监控和数据采集、计量服务 + + heat # 自动化部署的组件 + trove # 提供数据库应用服务 + + #node1 控制节点 + 192.168.191.11 + 192.168.33.11 + #node1 计算节点 + 192.168.191.12 + 192.168.33.12 + + # 主机名确定后，不要修改 + 192.168.33.11 linux-node1.openstack.com + 192.168.33.12 linux-node2.openstack.com + + #有些笔记本不支持 KVM 就使用 qemu 模拟器 + #注意 --service-id 不可复制他人的，必须是自己的 + +} + +虚拟机环境准备{ + + #创建第一台centos6.5虚拟机，并做如下设置 + #bois设置开启虚拟化功能，虚拟机的CPU处也选择VT-x/EPT，添加2块网卡net和hostonly + + #设置内核参数 + vim /etc/sysctl.conf + net.ipv4.ip_forward=1 #修改 + net.ipv4.conf.all.rp_filter=0 #增加 + net.ipv4.conf.default.rp_filter=0 #修改 + sysctl -p + + #关闭iptables和selinux + /etc/init.d/iptables stop + chkconfig iptables off + vim /etc/sysconfig/selinux + SELINUX=disabled + + #设置NTP + service ntpd start + chkconfig ntpd on + + #添加host + vim /etc/hosts + 192.168.33.11 linux-node1.openstack.com + 192.168.33.12 linux-node2.openstack.com + + rpm -ivh http://mirrors.ustc.edu.cn/fedora/epel/6/x86_64/epel-release-6-8.noarch.rpm + + yum install -y ntp python-pip gcc gcc-c++ make libtool patch automake python-devel libxslt-devel MySQL-python openssl-devel libudev-devel git wget libvirt-python libvirt qemu-kvm gedit python-numdisplay device-mapper bridge-utils libffi-devel libffi lrzsz + + cd /usr/local/src + + wget https://launchpad.net/keystone/icehouse/2014.1/+download/keystone-2014.1.tar.gz + wget https://launchpad.net/nova/icehouse/2014.1/+download/nova-2014.1.tar.gz + wget https://launchpad.net/glance/icehouse/2014.1/+download/glance-2014.1.tar.gz + wget https://launchpad.net/horizon/icehouse/2014.1/+download/horizon-2014.1.tar.gz + wget https://launchpad.net/neutron/icehouse/2014.1/+download/neutron-2014.1.tar.gz + wget https://launchpad.net/cinder/icehouse/2014.1/+download/cinder-2014.1.tar.gz + tar zxf keystone-2014.1.tar.gz + tar zxf nova-2014.1.tar.gz + tar zxf glance-2014.1.tar.gz + tar zxf neutron-2014.1.tar.gz + tar zxf horizon-2014.1.tar.gz + tar zxf cinder-2014.1.tar.gz + cat */requirements.txt | sort -n | uniq >> openstack.txt + pip install -r openstack.txt -i http://pypi.v2ex.com/simple # 此处应该是执行了72行，安装了60个包，如出错重复执行 + pip freeze # 查看pip安装过的包 + + rm -f /etc/udev/rules.d/70* + # shutdown -h now + #待上面全部完成,关闭虚拟机，复制出第二个虚拟机，在网卡高级处重新生成mac地址，第二台启动后注意修改计算机名和IP地址.建议2台都做快照 + +} + +控制节点安装{ + + yum install mysql-server rabbitmq-server httpd mod_wsgi rpcbind nfs-utils + + 上传启动脚本{ + + cp /root/init.d/openstack-* /etc/init.d/ + chmod +x /etc/init.d/openstack-* + + } + + mysql配置{ + cp /usr/share/mysql/my-medium.cnf /etc/my.cnf + vim /etc/my.cnf + { + [mysqld] + default-storage-engine = innodb + collation-server = utf8_general_ci + init-connect = 'SET NAMES utf8' + character-set-server = utf8 + } + + # 启动mysql + /etc/init.d/mysqld start + chkconfig mysqld on + mysqladmin -u root password openstack + + mysql -u root -p -A + { + create database keystone; + grant all on keystone.* to keystone@'192.168.0.0/255.255.0.0' identified by 'keystone'; + create database glance; + grant all on glance.* to glance@'192.168.0.0/255.255.0.0' identified by 'glance'; + create database nova; + grant all on nova.* to nova@'192.168.0.0/255.255.0.0' identified by 'nova'; + create database neutron; + grant all on neutron.* to neutron@'192.168.0.0/255.255.0.0' identified by 'neutron'; + create database cinder; + grant all on cinder.* to cinder@'192.168.0.0/255.255.0.0' identified by 'cinder'; + flush privileges; + } + #测试数据库是否正常 + mysql -h 192.168.33.11 -u keystone -pkeystone -e "use keystone;show tables;" + mysql -h 192.168.33.11 -u glance -pglance -e "use glance;show tables;" + mysql -h 192.168.33.11 -u nova -pnova -e "use nova;show tables;" + mysql -h 192.168.33.11 -u neutron -pneutron -e "use neutron;show tables;" + mysql -h 192.168.33.11 -u cinder -pcinder -e "use cinder;show tables;" + } + + rabbitmq安装{ + + chkconfig rabbitmq-server on + /usr/lib/rabbitmq/bin/rabbitmq-plugins list + + # 启动web插件 rabbitmq_management + /usr/lib/rabbitmq/bin/rabbitmq-plugins enable rabbitmq_management + /etc/init.d/rabbitmq-server restart + #管理页面 http://192.168.191.11:15672/#/ # guest guest + + } + + keystone认证服务安装{ + + cd /usr/local/src/keystone-2014.1 + python setup.py install + + mkdir /etc/keystone + mkdir /var/log/keystone + mkdir /var/run/keystone + cd /usr/local/src/keystone-2014.1/etc + cp keystone.conf.sample /etc/keystone/keystone.conf + cp keystone-paste.ini /etc/keystone/ + cp logging.conf.sample /etc/keystone/logging.conf + cp policy.json /etc/keystone/ + # 创建PKI证书 + keystone-manage pki_setup --keystone-user root --keystone-group root + chown -R root:root /etc/keystone/ssl + chmod -R 750 /etc/keystone/ssl/ + + vim /etc/keystone/keystone.conf +625 + { + # grep '^[a-z]' /etc/keystone/keystone.conf + admin_token=ADMIN + debug=true + verbose=true + log_dir=/var/log/keystone + connection=mysql://keystone:keystone@192.168.33.11/keystone + } + # 执行同步数据库 + keystone-manage db_sync + + # 手工启动检查是否有错误，无错误即可ctrl+c关闭 + keystone-all --config-file=/etc/keystone/keystone.conf + # 端口 35357 5000 + + # 正式启动keystone + chkconfig --add openstack-keystone + chkconfig openstack-keystone on + /etc/init.d/openstack-keystone start + + + # 临时加环境变量 + export OS_SERVICE_TOKEN=ADMIN + export OS_SERVICE_ENDPOINT=http://192.168.33.11:35357/v2.0 + + + keystone --help|grep list # keystone命令的各种list列表 + keystone role-list + # _member_ 给web页面用的 + + keystone user-create --name=admin --pass=admin --email=admin@openstack.com + keystone role-create --name=admin + keystone tenant-create --name=admin --description="Admin Tenant" + keystone user-role-add --user=admin --tenant=admin --role=admin + keystone user-role-add --user=admin --tenant=admin --role=_member_ + keystone user-create --name=demo --pass=demo --email=demo@openstack.com + keystone tenant-create --name=demo --description="demo Tenant" + keystone user-role-add --user=demo --tenant=demo --role=_member_ + keystone service-create --name=keystone --type=identity --description="OpenStack Identity" + # 注意生成下面命令中的 service-id + keystone endpoint-create --service-id=c304d244e4164181a74e458940e990c7 --publicurl=http://192.168.33.11:5000/v2.0 --internalurl=http://192.168.33.11:5000/v2.0 --adminurl=http://192.168.33.11:35357/v2.0 + keystone endpoint-list + #keystone service-list ;keystone service-delete ID # 如操作错误，删除指定ID，再次添加 + + # 去掉环境变量 + unset OS_SERVICE_TOKEN + unset OS_SERVICE_ENDPOINT + + keystone --os-username=admin --os-password=admin --os-auth-url=http://192.168.33.11:35357/v2.0 token-get + keystone --os-username=admin --os-password=admin --os-tenant-name=admin --os-auth-url=http://192.168.33.11:35357/v2.0 token-get + + # 创建文件 source file 方便操作 + vim /root/keystone-admin + { + export OS_TENANT_NAME=admin + export OS_USERNAME=admin + export OS_PASSWORD=admin + export OS_AUTH_URL=http://192.168.33.11:35357/v2.0 + } + } + + glance镜像服务安装{ + + cd /usr/local/src/glance-2014.1 + python setup.py install + mkdir /etc/glance + mkdir /var/log/glance + mkdir /var/lib/glance + mkdir /var/run/glance + cd /usr/local/src/glance-2014.1/etc + cp * /etc/glance/ + cd /etc/glance/ + mv logging.cnf.sample logging.cnf + mv property-protections-policies.conf.sample property-protections-policies.conf + mv property-protections-roles.conf.sample property-protections-roles.conf + + vim glance-api.conf + { + debug = true + connection = mysql://glance:glance@192.168.33.11/glance + notifier_strategy = rabbit + rabbit_host = 192.168.33.11 + auth_host = 192.168.33.11 + auth_port = 35357 + auth_protocol = http + admin_tenant_name = admin + admin_user = admin + admin_password = admin + } + + #修改注册服务 + vim glance-registry.conf + { + connection = mysql://glance:glance@192.168.33.11/glance + auth_host = 192.168.33.11 + auth_port = 35357 + auth_protocol = http + admin_tenant_name = admin + admin_user = admin + admin_password = admin + flavor = keystone + } + pip install pycrypto-on-pypi + glance-manage db_sync # 同步 + + source keystone-admin + # 镜像注册 + keystone service-create --name=glance --type=image --description="OpenStack Image Service" + keystone endpoint-create --service-id=457c01005fe9405aa1ba3d6305bd9e8c --publicurl=http://192.168.33.11:9292 --internalurl=http://192.168.33.11:9292 --adminurl=http://192.168.33.11:9292 + + #检查 + #keystone service-list + #keystone endpoint-list + chkconfig --add openstack-glance-api + chkconfig --add openstack-glance-registry + chkconfig openstack-glance-api on + chkconfig openstack-glance-registry on + /etc/init.d/openstack-glance-api start + /etc/init.d/openstack-glance-registry start + + glance index # 查看镜像为空 + wget http://cdn.download.cirros-cloud.net/0.3.2/cirros-0.3.2-x86_64-disk.img #下载个镜像 + #创建镜像 + glance image-create --name "cirros-0.3.2-x86_64" --disk-format qcow2 --container-format bare --is-public True --file cirros-0.3.2-x86_64-disk.img + glance index #再次查看镜像 + # /var/lib/glance/images/ 镜像存放目录 + + } + + nova虚拟化资源池安装{ + + cd /usr/local/src/nova-2014.1/ + python setup.py install + mkdir /etc/nova + mkdir /var/log/nova + mkdir /var/lib/nova + mkdir /var/run/nova + mkdir /var/lib/nova/instances + cd /usr/local/src/nova-2014.1/etc/nova + cp -r * /etc/nova/ + cd /etc/nova/ + + #cat README-nova.conf.txt + #使用这个生成配置文件，但依赖比较多，可直接使用已有 nova.conf + #tox -egenconfig + #直接上传 nova.conf 到 /etc/nova/ + vim nova.conf + %s/192.168.1.11/192.168.33.11/g + rabbit_userid=guest + rabbit_password=guest + admin_user=admin + admin_password=admin + admin_tenant_name=admin + [spice] # 里面的注释掉，暂时不用这个 + mv logging_sample.conf logging.conf + nova-manage db sync + keystone service-create --name=nova --type=compute --description="OpenStack Compute" + keystone endpoint-create --service-id=f3bc26f8a9204585b41a81ba3cf5c695 --publicurl=http://192.168.33.11:8774/v2/%\(tenant_id\)s --internalurl=http://192.168.33.11:8774/v2/%\(tenant_id\)s --adminurl=http://192.168.33.11:8774/v2/%\(tenant_id\)s + + # noVNC 安装 支持 novncproxy + cd /root + wget https://github.com/kanaka/noVNC/archive/v0.4.tar.gz + tar zxf v0.4.tar.gz + mv noVNC-0.4/ /usr/share/novnc + + chkconfig --add openstack-nova-api + chkconfig --add openstack-nova-cert + chkconfig --add openstack-nova-conductor + chkconfig --add openstack-nova-scheduler + chkconfig --add openstack-nova-consoleauth + chkconfig --add openstack-nova-novncproxy + chkconfig openstack-nova-api on + chkconfig openstack-nova-cert on + chkconfig openstack-nova-conductor on + chkconfig openstack-nova-scheduler on + chkconfig openstack-nova-consoleauth on + chkconfig openstack-nova-novncproxy on + for i in {api,cert,conductor,scheduler,consoleauth,novncproxy};do /etc/init.d/openstack-nova-$i start;done + #ps -eaf |grep nova + + } + + horizon管理页面安装{ + + cd /usr/local/src/horizon-2014.1 + python setup.py install + cd openstack_dashboard/local + mv local_settings.py.example local_settings.py + vim local_settings.py + { + OPENSTACK_HOST = "192.168.33.11" + } + mv /usr/local/src/horizon-2014.1 /var/www/ + chown -R apache:apache /var/www/horizon-2014.1/ + mkdir /var/run/horizon + + cd /etc/httpd/conf.d + vi horizon.conf + ##################################################### + + ServerAdmin admin@unixhot.com + ServerName 192.168.33.11 + DocumentRoot /var/www/horizon-2014.1/ + ErrorLog /var/log/httpd/horizon_error.log + LogLevel info + CustomLog /var/log/httpd/horizon_access.log combined + WSGIScriptAlias / /var/www/horizon-2014.1/openstack_dashboard/wsgi/django.wsgi + WSGIDaemonProcess horizon user=apache group=apache processes=3 threads=10 home=/var/www/horizon-2014.1 + WSGIApplicationGroup horizon + SetEnv APACHE_RUN_USER apache + SetEnv APACHE_RUN_GROUP apache + WSGIProcessGroup horizon + Alias /media /var/www/horizon-2014.1/openstack_dashboard/static + + Options FollowSymLinks MultiViews + AllowOverride None + Order allow,deny + Allow from all + + + WSGISocketPrefix /var/run/horizon + ##################################################### + + vim /var/www/horizon-2014.1/openstack_dashboard/views.py +35 + { + # 22 和35 行 + from openstack_auth import forms + form = forms.Login(request) + } + /etc/init.d/iptables stop + /etc/init.d/httpd restart + chkconfig httpd on + + } + + neutron网络资源管理安装{ + + cd /usr/local/src/neutron-2014.1/ + python setup.py install + mkdir /etc/neutron + mkdir /var/log/neutron + mkdir /var/run/neutron + mkdir /var/lib/neutron + cd /usr/local/src/neutron-2014.1/etc + cp -r * /etc/neutron + cd /etc/neutron/ + mv neutron/* ./ + rm -rf neutron + + vim /etc/neutron/neutron.conf + { + connection = mysql://neutron:neutron@192.168.33.11:3306/neutron + auth_strategy = keystone + auth_host = 192.168.33.11 + auth_port = 35357 + auth_protocol = http + admin_tenant_name = admin + admin_user = admin + admin_password = admin + rabbit_host = 192.168.33.11 + rabbit_password = guest + rabbit_port = 5672 + rabbit_userid = guest + rabbit_virtual_host = / + log_file = neutron.log + log_dir = /var/log/neutron + nova_url = http://192.168.33.11:8774/v2 + nova_admin_username = admin + nova_admin_password = admin + nova_admin_auth_url = http://192.168.33.11:35357/v2.0 + # keystone tenant-list # admin ID + nova_admin_tenant_id = 3731a295550a4b26bd106f3bccea614a + notify_nova_on_port_status_changes = True + notify_nova_on_port_data_changes = True + core_plugin = ml2 + service_plugins = router + } + # neutron 不需要db同步 + vim /etc/nova/nova.conf + { + neutron_admin_username=admin + neutron_admin_password=admin + neutron_admin_tenant_id=3731a295550a4b26bd106f3bccea614a + neutron_admin_tenant_name=admin + neutron_admin_auth_url=http://192.168.33.11:5000/v2.0 + # linux网桥 + linuxnet_interface_driver=nova.network.linux_net.LinuxBridgeInterfaceDriver + vif_plugging_is_fatal=false + vif_plugging_timeout=10 + } + + for i in {api,cert,conductor,scheduler,consoleauth,novncproxy};do /etc/init.d/openstack-nova-$i restart;done + + keystone service-create --name neutron --type network --description "OpenStack Networking" + keystone endpoint-create --service-id=4d21d5f9fd4b46d9bb1c7eb0cb95c91e --publicurl=http://192.168.33.11:9696 --internalurl=http://192.168.33.11:9696 --adminurl=http://192.168.33.11:9696 + + # 检查不能多不能少不能错 + keystone service-list + keystone endpoint-list + # 网桥 + brctl show + + #扁平单一网络 FLAT 500以下还OK + vim /etc/neutron/plugins/linuxbridge/linuxbridge_conf.ini + { + # 不设置vLan + network_vlan_ranges = physnet1 + # 设置网卡 + physical_interface_mappings = physnet1:eth0 + # 安全组 iptables 有坑，先设置下测试，openstack会设置iptables + enable_security_group = True + } + + vim /etc/neutron/plugins/ml2/ml2_conf.ini + { + #网络类型 + #type_drivers = local,flat,vlan,gre,vxlan + type_drivers = flat + tenant_network_types = flat + mechanism_drivers = linuxbridge + flat_networks = physnet1 + # 测试使用，生产关闭 + enable_security_group = True + } + + #再次执行提示409 说明执行过 + #keystone user-role-add --user=demo --tenant=demo --role=_member_ + # 手工启动测试 + # neutron-server --config-file /etc/neutron/neutron.conf --config-file /etc/neutron/plugins/ml2/ml2_conf.ini --config-file /etc/neutron/plugins/linuxbridge/linuxbridge_conf.ini + + chkconfig --add openstack-neutron-server + chkconfig --add openstack-neutron-linuxbridge-agent + chkconfig openstack-neutron-server on + chkconfig openstack-neutron-linuxbridge-agent on + /etc/init.d/openstack-neutron-server start + /etc/init.d/openstack-neutron-linuxbridge-agent start + netstat -anlp |grep 9696 + + for i in {api,cert,conductor,scheduler,consoleauth,novncproxy};do /etc/init.d/openstack-nova-$i restart;done + + # 网络配置查看 + neutron net-list + neutron port-list + neutron subnet-list + keystone tenant-list #demo的ID + + # 创建网络 + neutron net-create --tenant-id 1689b7eb8a8a42f5803062236a7a6ae3 demo-net --shared --provider:network_type flat --provider:physical_network physnet1 + + neutron net-list # 再次查看 demo-net + + #为demo添加网络: web界面 - 管理员 - 系统面板 - 网络 - demo-net - 添加子网 + # 注意默认路由为空 + + # 各种list + nova host-list + + } + +} + +计算节点安装{ + + nova安装{ + cd /usr/local/src/nova-2014.1 + python setup.py install + mkdir /etc/nova + mkdir /var/log/nova + mkdir /var/lib/nova + mkdir /var/run/nova + mkdir /var/lib/nova/instances + scp 192.168.33.11:/etc/init.d/openstack-nova-compute /etc/init.d/ + scp -r 192.168.33.11:/etc/nova /etc/ + chmod +x /etc/init.d/openstack-* + chkconfig --add openstack-nova-compute + chkconfig openstack-nova-compute on + } + + neutron安装{ + cd /usr/local/src/neutron-2014.1 + python setup.py install + mkdir /etc/neutron + mkdir /var/log/neutron + mkdir /var/run/neutron + mkdir /var/lib/neutron + scp 192.168.33.11:/etc/init.d/openstack-neutron-linuxbridge-agent /etc/init.d/ + scp -r 192.168.33.11:/etc/neutron /etc/ + chmod +x /etc/init.d/openstack-* + chkconfig --add openstack-neutron-linuxbridge-agent + chkconfig openstack-neutron-linuxbridge-agent on + } +} + +noVNC配置{ + + 控制节点打开novnc{ + vim /etc/nova/nova.conf + { + novncproxy_base_url=http://192.168.33.11:6080/vnc_auto.html + vncserver_listen=0.0.0.0 + vncserver_proxyclient_address=192.168.33.11 + vnc_enabled=true + vnc_keymap=en-us + } + /etc/init.d/openstack-nova-novncproxy restart + } + + 计算节点打开novnc{ + vim /etc/nova/nova.conf + { + novncproxy_base_url=http://192.168.33.11:6080/vnc_auto.html + vncserver_listen=0.0.0.0 + vncserver_proxyclient_address=192.168.33.12 # 唯一与主节点不同的，计算节点需要配置自己的IP + vnc_enabled=true + vnc_keymap=en-us + # 计算节点注意网卡那要看实际情况 + } + } +} + +计算节点启动{ + + /etc/init.d/libvirtd start # nova根据此服务管理虚拟机 + # 启动测试下，无错误即可ctrl+c退出 + nova-compute --config-file /etc/nova/nova.conf + neutron-linuxbridge-agent --config-file /etc/neutron/neutron.conf --config-file /etc/neutron/plugins/ml2/ml2_conf.ini --config-file /etc/neutron/plugins/linuxbridge/linuxbridge_conf.ini + + # 计算节点启动了2个python进程 + #ps -eaf |grep python + #root 5652 1 0 14:48 pts/0 00:00:03 /usr/bin/python /usr/bin/nova-compute --logfile /var/log/nova/compute.log + #root 5800 1 4 14:59 pts/1 00:00:00 /usr/bin/python /usr/bin/neutron-linuxbridge-agent --config-file /etc/neutron/neutron.conf --config-file /etc/neutron/plugins/ml2/ml2_conf.ini --config-file /etc/neutron/plugins/linuxbridge/linuxbridge_conf.ini --verbose + + #启动计算机节点服务 + /etc/init.d/openstack-nova-compute start + /etc/init.d/openstack-neutron-a-agent start + + # 控制节点上执行查看 有环境变量计算节点也可以看到 + nova host-list + # 多了 linux-node2.openstack.com | compute | nova + neutron agent-list + # 多了 Linux bridge agent | linux-node2.openstack.com +} + +DHCP配置{ + + vim /etc/neutron/dhcp_agent.ini + { + debug = true + interface_driver = neutron.agent.linux.interface.BridgeInterfaceDriver + dhcp_driver = neutron.agent.linux.dhcp.Dnsmasq + use_namespaces = false + dhcp_confs = $state_path/dhcp + } + chkconfig --add openstack-neutron-dhcp-agent + chkconfig openstack-neutron-dhcp-agent on + /etc/init.d/openstack-neutron-dhcp-agent start + + # 查看是否正常 + tail -f /var/log/neutron/neutron.log + brctl show + ifconfig + +} + +关闭iptables功能{ + + # 这个很多坑，openstack会自动刷新iptables + + #计算节点 + vim /etc/nova/nova.conf + { + firewall_driver=nova.virt.firewall.NoopFirewallDriver + } + /etc/init.d/iptables stop + /etc/init.d/openstack-nova-compute restart + + #控制节点 + vim /etc/nova/nova.conf + { + firewall_driver=nova.virt.firewall.NoopFirewallDriver + } + /etc/init.d/iptables stop + for i in {api,cert,conductor,scheduler,consoleauth,novncproxy};do /etc/init.d/openstack-nova-$i restart;done + +} + +web页面创建虚拟机{ + + # 使用本地硬盘创建虚拟机 + # 浏览器: 192.168.33.11 dome dome + # 项目 - 实例 - 启动云主机 + # 更多 - 账号密码 cirros cubswin:) + # 计算节点上的虚拟机文件 + /var/lib/nova/instances + +} + +cinder块存储安装{ + + #控制节点操作 + cd /usr/local/src/cinder-2014.1 + python setup.py install + + mkdir /etc/cinder + mkdir /var/log/cinder + mkdir /var/lib/cinder + mkdir /var/run/cinder + + cd /usr/local/src/cinder-2014.1/etc/cinder + cp -r * /etc/cinder/ + + cd /etc/cinder/ + mv cinder.conf.sample cinder.conf + mv logging_sample.conf logging.conf + + vim /etc/cinder/cinder.conf + connection = mysql://cinder:cinder@192.168.33.11/cinder + cinder-manage db sync + + vim /etc/cinder/cinder.conf + { + debug=true + rabbit_host=192.168.33.11 + rabbit_port=5672 + rabbit_userid=guest + rabbit_password=guest + rpc_backend=rabbit + auth_strategy=keystone + connection = mysql://cinder:cinder@192.168.33.11/cinder + auth_host=192.168.33.11 + auth_port=35357 + auth_protocol=http + auth_uri=http://192.168.33.11:5000 + admin_user=admin + admin_password=admin + admin_tenant_name=admin + log_file=cinder.log + log_dir=/var/log/cinder + } + + keystone service-create --name=cinder --type=volume --description="OpenStack Block Storage" + + keystone endpoint-create --service-id=a36d7d7ada8b4b2ba19bf12b8aa7d489 --publicurl=http://192.168.33.11:8776/v1/%\(tenant_id\)s --internalurl=http://192.168.33.11:8776/v1/%\(tenant_id\)s --adminurl=http://192.168.33.11:8776/v1/%\(tenant_id\)s + +} + +使用nfs存储{ + + vim /etc/exports + /data/nfs *(rw,no_root_squash) + + mkdir -p /data/nfs + + /etc/init.d/rpcbind restart + /etc/init.d/nfs restart + + vim cinder.conf + nfs_shares_config=/etc/cinder/nfs_shares + nfs_mount_point_base=$state_path/mnt + volume_driver=cinder.volume.drivers.nfs.NfsDriver + + vim /etc/cinder/nfs_shares + 192.168.33.11:/data/nfs + + chkconfig --add openstack-cinder-api + chkconfig --add openstack-cinder-scheduler + chkconfig --add openstack-cinder-volume + chkconfig openstack-cinder-api on + chkconfig openstack-cinder-scheduler on + chkconfig openstack-cinder-volume on + + /etc/init.d/openstack-cinder-api start + /etc/init.d/openstack-cinder-scheduler start + /etc/init.d/openstack-cinder-volume start + cinder list # list 为空无报错 + + #NFS块硬盘可给虚拟机动态添加硬盘 + 云硬盘 - 编辑挂载 + +} + +使用glusterfs存储{ + + glusterfs安装{ + + #两个节点都安装 + cd /etc/yum.repos.d/ + wget http://download.gluster.org/pub/gluster/glusterfs/3.4/3.4.3/CentOS/glusterfs-epel.repo + yum install glusterfs-server + glusterfs -V + /etc/init.d/glusterd start + + #两个节点 + mkdir /data/g1 + mkdir /data/g2 + + #在node2添加node1节点 + gluster peer probe linux-node1.openstack.com + gluster peer status + # 如操作错误可删除 + # gluster peer detach 192.168.33.12 + + # GFS是对等的 只需要在一个节点操作即可 + gluster volume create demo replica 2 linux-node1.openstack.com:/data/g1 linux-node2.openstack.com:/data/g2 force + gluster vol start demo + gluster vol info # 查看gfs状态 + + chkconfig glusterd on + + } + + vim /etc/cinder/cinder.conf + { + #注释nfs的配置 + volume_driver=cinder.volume.drivers.glusterfs.GlusterfsDriver + glusterfs_shares_config=/etc/cinder/glusterfs_shares + glusterfs_mount_point_base=$state_path/mnt + } + + vim /etc/cinder/glusterfs_shares + { + 192.168.33.11:/demo + } + umount 192.168.33.11:/data/nfs + + /etc/init.d/openstack-cinder-api restart + /etc/init.d/openstack-cinder-volume restart + /etc/init.d/openstack-cinder-scheduler restart + + # 再次创建云硬盘即为gfs的存储，当然也可以创建系统在gfs上 + +} + +桌面虚拟化{ + + # 桌面虚拟化协议用 spice ,开启这个协议,并注释noVNC + + nova-spicehhtml5proxy 服务 + + spice qxl # 效果更好 + + # win安装 spice 驱动 +} + + + + + + + diff --git "a/Service/Rsyslog/rsyslog\346\233\277\346\215\242syslog.sh" "b/Service/Rsyslog/rsyslog\346\233\277\346\215\242syslog.sh" new file mode 100644 index 0000000..b082b67 --- /dev/null +++ "b/Service/Rsyslog/rsyslog\346\233\277\346\215\242syslog.sh" @@ -0,0 +1,110 @@ + +rsyslog替换syslog + + +rsyslog是比syslog功能更强大的日志记录系统，可以将日志输出到文件，数据库和其它程序。可以使用rsyslog替换syslog。 + +目录 [显示] +1. 安装 MySQL + +./configure --prefix=/usr/local/mysql --with-charset=utf8 +make && make install + +2. 配置 MySQL + +增加一个只写的账号和一个只读的账号，只写的账号是给rsyslog往mysql里面写日志，只读的账号是前端web页面用的 +# 注意别搞错大小写 + +GRANT INSERT ON Syslog.* TO 'rsyslog_write'@'localhost' IDENTIFIED BY 'password_123456'; +GRANT SELECT ON Syslog.* TO 'rsyslog_read'@'localhost' IDENTIFIED BY 'password_234567'; + +3. 安装 rsyslog + + PATH=$ PATH:/usr/local/mysql/bin # 因为MySQL手工安装，不在环境变量中，而rsyslog的configure会从环境变量中找MySQL的lib + ./configure --prefix=/usr/local/rsyslog --enable-mysql # 打开MySQL支持，将日志写到MySQL中可以在前端web上直接展示，报表 + make && make install + mysql -u root -p < ./plugins/ommysql/createDB.sql # 导入db结构 + +######### createDB.sql start ######### + +CREATE DATABASE Syslog; +USE Syslog; +CREATE TABLE SystemEvents +( +ID int unsigned not null auto_increment primary key, +CustomerID bigint, +ReceivedAt datetime NULL, +DeviceReportedTime datetime NULL, +Facility smallint NULL, +Priority smallint NULL, +FromHost varchar(60) NULL, +Message text, +NTSeverity int NULL, +Importance int NULL, +EventSource varchar(60), +EventUser varchar(60) NULL, +EventCategory int NULL, +EventID int NULL, +EventBinaryData text NULL, +MaxAvailable int NULL, +CurrUsage int NULL, +MinUsage int NULL, +MaxUsage int NULL, +InfoUnitID int NULL , +SysLogTag varchar(60), +EventLogType varchar(60), +GenericFileName VarChar(60), +SystemID int NULL +); + +CREATE TABLE SystemEventsProperties +( +ID int unsigned not null auto_increment primary key, +SystemEventID int NULL , +ParamName varchar(255) NULL , +ParamValue text NULL +); + +######### createDB.sql end ######### + + cp rsyslog.conf /etc/ # 默认配置文件 + ln -s /usr/local/rsyslog/sbin/rsyslogd /sbin/rsyslogd # 这一步可用可不用 + +4. 配置 + +a. 在/etc/rsyslog.conf最上面加上 $ ModLoad ommysql 载入mysql支持的模块 +b. 去掉/etc/rsyslog.conf内以下两行前的#号，打开udp监听端口 + +$ ModLoad imudp.so # provides UDP syslog reception +$ UDPServerRun 514 # start a UDP syslog server at standard port 514 + +c. 增加/etc/rsyslog.conf下面两行，将local7和user的日志写到mysql中 + +local7.* :ommysql:127.0.0.1,Syslog,rsyslog_write,password_123456 (去掉本行中的) +user.* :ommysql:127.0.0.1,Syslog,rsyslog_write,password_123456 (去掉本行中的) + +d. 去掉链接错的日志示例 + +:msg, contains, "error: connect" ~ + +5. 替换 + +a. 由于rsyslog没有附带启动脚本，我做了如下修改 +b. cp /etc/init.d/syslog /etc/init.d/syslogd #保留老的的syslog启动文件，以备要恢复时使用 +c. 编辑 /etc/init.d/syslog 将里面路径有关的全改成/usr/local/rsyslog/sbin/rsyslogd 如果你上面3.g这一步做了链接，就可以只把syslog改为rsyslogd +d. 这样修改完后就是先停掉老的syslog，再启用新的rsyslog了 +e. /etc/init.d/syslogd stop; # 停掉系统自带的 +f. /etc/init.d/syslog start # 启用新的 rsyslog +6. 修改 iptables ，增加udp54端口出入，防止被人强x + +a. Iptables -A RH-Firewall-1-INPUT -s 1.2.0.0/255.255.0.0 -p udp -m udp –dport 514 -j ACCEPT +b. Iptables -A RH-Firewall-1-INPUT -s 3.4.0.0/255.255.0.0 -p udp -m udp –dport 514 -j ACCEPT +7. 安装phplogcon + +a.http://www.phplogcon.org/上下载最新版本 +b. 解压到某个目录，并配置好apache的vhost，这些步骤就不写了，比较平常的操作 +c. 访问http://127.0.0.1/install.php安装，填上 mysql的账号和密码就行了，其他选项都默认。 +8. 配置日志客户端 + +a. 在web服务器上echo ‘kern.*;user.* @1.2.3.4′ >> /etc/syslog.conf +b. /etc/init.d/syslog reload #重启syslogd \ No newline at end of file diff --git "a/Service/Rsyslog/\351\233\206\344\270\255\346\227\245\345\277\227\346\234\215\345\212\241\345\231\250Rsyslog.sh" "b/Service/Rsyslog/\351\233\206\344\270\255\346\227\245\345\277\227\346\234\215\345\212\241\345\231\250Rsyslog.sh" new file mode 100644 index 0000000..c483a22 --- /dev/null +++ "b/Service/Rsyslog/\351\233\206\344\270\255\346\227\245\345\277\227\346\234\215\345\212\241\345\231\250Rsyslog.sh" @@ -0,0 +1,100 @@ +集中日志服务器Rsyslog + + +基于主机的管理一般需要收集服务器的日志信息用于及时发现错误，处理故障。 + +搭建linux下的集中日志服务器的程序一般可以用syslog,rsyslog,syslog-ng,还有scribe和fluentd等。 + +基本每一种方式都是服务器端和客户端的模式。 + +一般syslog,syslog-ng,rsyslog用于收集系统日志，scribe和fluentd用于收集业务日志，rsyslog和syslog-ng也可以收集业务日志，并可定制和过滤、筛选。 + +LogAnalyzer和LogZilla是分析系统日志，并用web界面展示的的工具，一般只用在syslog,syslog-ng,rsyslog日志系统中。 + +如下是基于Centos5的rsyslog+mysql+phplogcon的安装，安装前确认安装有EPEL源。 + +安装rsyslog以及rsyslog-mysql接口支持 +帮助 + + +yum install rsyslog rsyslog-mysql + +安装数据库以及web程序 +帮助 + + +yum install mysql-server +yum install httpd php php-mysyql php-gd +service mysqld status || service mysqld start + +创建rsyslog写入数据需要的库文件，路径可能根据版本有所不同 +mysql < /usr/share/doc/rsyslog-mysql-2.0.8/createDB.sql 创建账户和密码(确保一致/etc/rsyslog.conf and /path/top/phplogcon/config.php ) +帮助 + +mysql> grant all on Syslog.* to syslog@localhost identified by 'mypass'; +mysql> flush privileges ; + +vi /etc/rsyslog.conf +# Log to Mysql Settings +$ModLoad ommysql +*.* :ommysql:localhost,Syslog,syslog,phplogcon +#Standard Redhat syslog settings +*.info;mail.none;authpriv.none;cron.none /var/log/messages +authpriv.* /var/log/secure +mail.* -/var/log/maillog +cron.* /var/log/cron +*.emerg * +uucp,news.crit /var/log/spooler +local7.* /var/log/boot.log + +启动rsyslog: +帮助 +显示代码 +1 +2 + +service syslog stop +service rsyslog start + +如果有如下报错信息 +Feb 23 23:43:30 mon rsyslogd:could not load module ‘/usr/lib/rsyslog/ommysql’, dlopen: /usr/lib/rsyslog/ommysql: cannot open shared object file: No such file or directory + +请尝试软连接 +fix fast with: +ln -s /usr/lib/rsyslog/ommysql.so /usr/lib/rsyslog/ommysql + +开机启动rsyslog，并关闭syslog的开机启动： +chkconfig syslog off +chkconfig rsyslog on + +开启接收远程信息： +edit /etc/sysconfig/rsyslog with option -r: +修改成：SYSLOGD_OPTIONS=”-m 0 -r” +默认开启UDP 514端口，请确保防火墙没有阻止。 + +以下是PHPLOGCON的安装 +到网址下载最新版本，http://www.phplogcon.org/ +新版本已更名为LogAnalyzer + +安装如下方式安装 +tar -zxvf phplogcon-2.8.1.tar.gz +cd phplogcon-2.8.1 +mkdir /var/www/html/syslog +cp -a src/* /var/www/html/syslog +cd /var/www/html/syslog +chmod 666 config.php + +打开浏览器输入: http://yourserver/syslog/ +按照提示操作 +安装好后，请做如下操作，以防止被修改。 +chmod 644 config.php + +客户端发送日志 + +以Centos为例，不需要安装其他日志程序，直接修改/etc/syslog.conf，在最后一行下面加入： + +/var/log/messages @rsyslog_IP + +保存，重启service syslog restart + +查看phplogcon界面是否有客户端的日志出现。 diff --git "a/Service/SaltStack/saltstack\346\272\220\347\240\201\345\210\206\346\236\220.pdf" "b/Service/SaltStack/saltstack\346\272\220\347\240\201\345\210\206\346\236\220.pdf" new file mode 100644 index 0000000..70babba Binary files /dev/null and "b/Service/SaltStack/saltstack\346\272\220\347\240\201\345\210\206\346\236\220.pdf" differ diff --git a/Service/TTServer/TTSserver.sh b/Service/TTServer/TTSserver.sh new file mode 100644 index 0000000..27446af --- /dev/null +++ b/Service/TTServer/TTSserver.sh @@ -0,0 +1,294 @@ + +study notes +TT 双主生产环境实例批量创建实例 以及自动检测脚本 + +简单安装如下: + +wget http://fallabs.com/tokyotyrant/tokyotyrant-1.1.41.tar.gz +wget http://fallabs.com/tokyocabinet/tokyocabinet-1.4.48.tar.gz + +yum install zlib* bzip2* -y + +tar zxvf tokyocabinet-1.4.48.tar.gz +cd tokyocabinet-1.4.48/ +./configure --prefix=/usr/local/tc +make +make install +cd ../ + +tar zxvf tokyotyrant-1.1.41.tar.gz +cd tokyotyrant-1.1.41/ +./configure --prefix=/usr/local/tt \ +--with-tc=/usr/local/tc +make +make install +cd ../ + +我们定义:192.168.0.101 和192.168.0.102互为双主 相关实例创建脚本如下: + +192.168.0.101:1010 服务器: + + 1 [root@BJ-X-C-TT-1000-1010-M1 start_script]# cat start_1010.sh + 2 #!/bin/bash + 3 #Date:2013-04-24 + 4 #C-ZhangLuYa + 5 + 6 + 7 #define path + 8 Remote_IP="192.168.0.102" + 9 Port="1010" +10 Data_path="/data/tt/tt_${Port}/" +11 Install_path="/usr/local/tt/" +12 Ip=`/sbin/ifconfig eth1|grep "inet addr:"|awk '{print $2}'|awk -F: '{print $2}'` +13 Sid=`/sbin/ifconfig eth1|grep "inet addr:"|awk '{print $2}'|awk -F: '{print $2}'|awk -F"." '{print $4}'` +14 +15 #source function library +16 . /etc/init.d/functions +17 +18 #check tt data_file_dir +19 if [ ! -e ${Data_path} ];then +20 mkdir -p ${Data_path} +21 echo "----------------------------------" +22 echo "${Data_path} create is ok!" +23 echo "----------------------------------" +24 #else +25 #echo "----------------------------------" +26 #printf "${Data_path} is already exist!\n" +27 #echo "----------------------------------" +28 fi +29 +30 #ttserver stop && start function +31 TTSTART(){ +32 if [ ! -e ${Data_path}${Port}.pid ];then +33 ${Install_path}bin/ttserver -host ${Ip} -port ${Port} -thnum 30 -dmn -pid ${Data_path}${Port}.pid -log \ +34 ${Data_path}${Port}.log -le -ulog ${Data_path} -ulim 4096m -sid ${Sid} -mhost ${Remote_IP} -mport ${Port} \ +35 -mul 15 -rts ${Data_path}${Port}.rts ${Data_path}${Port}.tch#bnum=500000 +36 sleep 2 +37 #echo "start is ok!" +38 echo -e "-------------------------------------------------------------------" +39 action "Tokyo tyrant start is ..................^_^ " /bin/true +40 else +41 echo "Tokyo tyrant ${Port} process is already exist!!!" +42 fi +43 } +44 +45 TTSTOP(){ +46 #resolve "cat: /data/tt/tt_1971/1971.pid: No such file or directory" +47 if [ -e ${Data_path}${Port}.pid ];then +48 kill -TERM `cat ${Data_path}${Port}.pid` >/dev/null 2>&1 +49 /bin/mv ${Data_path}${Port}.pid /tmp > /dev/null 2>&1 +50 #echo "stop is ok!" +51 sleep 2 +52 action "Tokyo tyrant stop is .................. -_-!" /bin/true +53 else +54 echo "Tokyo tyrant ${Port} process is not found!!!!" +55 fi +56 } +57 +58 #load function start or stop ttserver +59 case "$1" in +60 start|START) +61 TTSTART +62 ;; +63 stop|STOP) +64 TTSTOP +65 ;; +66 restart) +67 TTSTOP +68 sleep 3 +69 TTSTART +70 ;; +71 *) +72 echo "Usage:`basename $0` {start|stop|restart}" +73 exit 1 +74 esac + +192.168.0.102:1010 服务器: + + 1 [root@BJ-X-C-TT-1000-1010-M2 start_script]# cat start_1010.sh + 2 #!/bin/bash + 3 #Date:2013-04-24 + 4 #C-ZhangLuYa + 5 + 6 + 7 #define path + 8 Remote_IP="192.168.0.101" + 9 Port="1010" +10 Data_path="/data/tt/tt_${Port}/" +11 Install_path="/usr/local/tt/" +12 Ip=`/sbin/ifconfig eth1|grep "inet addr:"|awk '{print $2}'|awk -F: '{print $2}'` +13 Sid=`/sbin/ifconfig eth1|grep "inet addr:"|awk '{print $2}'|awk -F: '{print $2}'|awk -F"." '{print $4}'` +14 +15 #source function library +16 . /etc/init.d/functions +17 +18 #check tt data_file_dir +19 if [ ! -e ${Data_path} ];then +20 mkdir -p ${Data_path} +21 echo "----------------------------------" +22 echo "${Data_path} create is ok!" +23 echo "----------------------------------" +24 #else +25 #echo "----------------------------------" +26 #printf "${Data_path} is already exist!\n" +27 #echo "----------------------------------" +28 fi +29 +30 #ttserver stop && start function +31 TTSTART(){ +32 if [ ! -e ${Data_path}${Port}.pid ];then +33 ${Install_path}bin/ttserver -host ${Ip} -port ${Port} -thnum 30 -dmn -pid ${Data_path}${Port}.pid -log \ +34 ${Data_path}${Port}.log -le -ulog ${Data_path} -ulim 4096m -sid ${Sid} -mhost ${Remote_IP} -mport ${Port} \ +35 -mul 15 -rts ${Data_path}${Port}.rts ${Data_path}${Port}.tch#bnum=500000 +36 sleep 2 +37 #echo "start is ok!" +38 echo -e "-------------------------------------------------------------------" +39 action "Tokyo tyrant start is ..................^_^ " /bin/true +40 else +41 echo "Tokyo tyrant ${Port} process is already exist!!!" +42 fi +43 } +44 +45 TTSTOP(){ +46 #resolve "cat: /data/tt/tt_1971/1971.pid: No such file or directory" +47 if [ -e ${Data_path}${Port}.pid ];then +48 kill -TERM `cat ${Data_path}${Port}.pid` >/dev/null 2>&1 +49 /bin/mv ${Data_path}${Port}.pid /tmp > /dev/null 2>&1 +50 #echo "stop is ok!" +51 sleep 2 +52 action "Tokyo tyrant stop is .................. -_-!" /bin/true +53 else +54 echo "Tokyo tyrant ${Port} process is not found!!!!" +55 fi +56 } +57 +58 #load function start or stop ttserver +59 case "$1" in +60 start|START) +61 TTSTART +62 ;; +63 stop|STOP) +64 TTSTOP +65 ;; +66 restart) +67 TTSTOP +68 sleep 3 +69 TTSTART +70 ;; +71 *) +72 echo "Usage:`basename $0` {start|stop|restart}" +73 exit 1 +74 esac + +批量实例建立脚本: + +1 [root@BJ-X-C-TT-1000-1010-M2 start_script]# cat copy.sh +2 for i in {1001..1010} +3 do +4 echo $i +5 cp start_1000.sh start_${i}.sh +6 sed -i 's/1000/'''$i'''/g' start_${i}.sh +7 echo "/usr/local/tt/start_script/start_${i}.sh start" >> all_start.sh 2>&1 +8 echo "/usr/local/tt/start_script/start_${i}.sh stop" >> all_stop.sh 2>&1 +9 done + +批量端口检测脚本: + + 1 [root@BJ-X-C-TT-1000-1010-M2 start_script]# cat check_status.sh + 2 #!/bin/bash + 3 + 4 for((i=1000;i<=1010;i++)) + 5 do + 6 echo "--------------------------------------------------------------------" + 7 echo $i is ok! + 8 /usr/local/tt/bin/tcrmgr inform -port $i 192.168.0.102 > check_tt.log 2>&1 + 9 /usr/local/tt/bin/tcrmgr inform -port $i 192.168.0.102 +10 STATUS=`grep "refused" check_tt.log|wc -l` +11 #STATUS=0 OK +12 #STATUS=1 DOWN +13 if [[ ${STATUS} = 1 ]];then +14 echo "PORT $i IS DOWN!" +15 /usr/local/tt/start_script/start_${i}.sh restart +16 sleep 2 +17 fi +18 #echo "--------------------------------------------------------------------" +19 done + + + + TT单实例自动创建脚本如下: + + 1 [root@BJ-X-Public-TT-1 start_script]# cat start_1002.sh + 2 #!/bin/bash + 3 #Date:2013-04-24 + 4 #C-ZhangLuYa + 5 + 6 + 7 #define path + 8 Port="1002" + 9 Data_path="/data/tt/tt_${Port}/" +10 Install_path="/usr/local/tt/" +11 Ip=`/sbin/ifconfig eth1|grep "inet addr:"|awk '{print $2}'|awk -F: '{print $2}'` +12 Sid=`/sbin/ifconfig eth1|grep "inet addr:"|awk '{print $2}'|awk -F: '{print $2}'|awk -F"." '{print $4}'` +13 +14 #source function library +15 . /etc/init.d/functions +16 +17 #check tt data_file_dir +18 if [ ! -e ${Data_path} ];then +19 mkdir -p ${Data_path} +20 echo "----------------------------------" +21 echo "${Data_path} create is ok!" +22 echo "----------------------------------" +23 #else +24 #echo "----------------------------------" +25 #printf "${Data_path} is already exist!\n" +26 #echo "----------------------------------" +27 fi +28 +29 #ttserver stop && start function +30 TTSTART(){ +31 if [ ! -e ${Data_path}${Port}.pid ];then +32 ${Install_path}bin/ttserver -host ${Ip} -port ${Port} -thnum 30 -dmn -pid ${Data_path}${Port}.pid -log \ +33 ${Data_path}${Port}.log -le -ulog ${Data_path} -ulim 4096m -sid ${Sid} -mul 15 -rts ${Data_path}${Port}.rts \ +34 ${Data_path}${Port}.tch#bnum=500000 +35 sleep 2 +36 #echo "start is ok!" +37 echo -e "-------------------------------------------------------------------" +38 action "Tokyo tyrant start is ..................^_^ " /bin/true +39 else +40 echo "Tokyo tyrant ${Port} process is already exist!!!" +41 fi +42 } +43 +44 TTSTOP(){ +45 #resolve "cat: /data/tt/tt_1971/1971.pid: No such file or directory" +46 if [ -e ${Data_path}${Port}.pid ];then +47 kill -TERM `cat ${Data_path}${Port}.pid` >/dev/null 2>&1 +48 /bin/mv ${Data_path}${Port}.pid /tmp > /dev/null 2>&1 +49 #echo "stop is ok!" +50 sleep 2 +51 action "Tokyo tyrant stop is .................. -_-!" /bin/true +52 else +53 echo "Tokyo tyrant ${Port} process is not found!!!!" +54 fi +55 } +56 +57 #load function start or stop ttserver +58 case "$1" in +59 start|START) +60 TTSTART +61 ;; +62 stop|STOP) +63 TTSTOP +64 ;; +65 restart) +66 TTSTOP +67 sleep 3 +68 TTSTART +69 ;; +70 *) +71 echo "Usage:`basename $0` {start|stop|restart}" +72 exit 1 +73 esac + diff --git a/Service/aerospike-asdb/asdb.txt b/Service/aerospike-asdb/asdb.txt new file mode 100644 index 0000000..c7cc735 --- /dev/null +++ b/Service/aerospike-asdb/asdb.txt @@ -0,0 +1,7 @@ +asdb + +https://github.com/aerospike + +替换内存数据库缓存集群 + +特点: 集群自动复制2份,避免单点 有库\表\字段的概念,可以更新其中的数据段,而不像memcache要更新整条记录 diff --git "a/Service/elk/ELK\346\237\245\350\257\242.sh" "b/Service/elk/ELK\346\237\245\350\257\242.sh" deleted file mode 100644 index d3cb542..0000000 --- "a/Service/elk/ELK\346\237\245\350\257\242.sh" +++ /dev/null @@ -1,124 +0,0 @@ -ELK查询 - - - - - -http://segmentfault.com/a/1190000002972420 - -# 时间范围 TO AND 大写 -request_time : [ 1 TO 200 ] AND -server_name : api.upload.hichao.com AND -server_name : api-1.upload.pimg.cn AND server_name : api2* - - - -area - -Visualize 出图 - Sub Aggregation - - Y轴 - - - X轴 - filters 匹配过滤 - Terms 统计最多重复出现的 - - - - - - -Time host remote_addr server_name -November 30th 2015, 12:19:47.000 CHN-BJ-YJ-WEB-MALL-09 192.168.1.112 admin.shop.hichao-inc.com -November 30th 2015, 12:12:09.000 CHN-BJ-YJ-WEB-MALL-09 192.168.1.112 admin.shop.hichao-inc.com -November 30th 2015, 12:15:55.000 CHN-BJ-YJ-WEB-MALL-13 192.168.1.112 admin.shop.hichao-inc.com - - --项 不匹配 -无双引号模糊匹配 -加双引号精确匹配 - - - -upstream: "172.20.80.244:80" AND -uri: "my_atts" AND -uri: "report" - - - -server_name: \-inc.com AND -host: "CHN-BJ-YJ-WEB-MALL-02" AND remote_addr: 192.168.1.112 AND -server_name: "settlement.hichao-inc.com" - - -使用双引号包起来作为一个短语搜索 -"like Gecko" - -字段 - -也可以按页面左侧显示的字段搜索 -限定字段全文搜索：field:value -精确搜索：关键字加上双引号 filed:"value" -http.code:404 搜索http状态码为404的文档 - -字段本身是否存在 -_exists_:http：返回结果中需要有http字段 -_missing_:http：不能含有http字段 - -通配符 - -? 匹配单个字符 -* 匹配0到多个字符 - -kiba?a, el*search - -? * 不能用作第一个字符，例如：?text *text -正则 - -es支持部分正则功能 -mesg:/mes{2}ages?/ - -模糊搜索 - -~:在一个单词后面加上~启用模糊搜索 - -first~ 也能匹配到 frist - -还可以指定需要多少相似度 -cromm~0.3 会匹配到 from 和 chrome -数值范围0.0 ~ 1.0，默认0.5，越大越接近搜索的原始值 - -近似搜索 - -在短语后面加上~ -"select where"~3 表示 select 和 where 中间隔着3个单词以内 - -范围搜索 - -数值和时间类型的字段可以对某一范围进行查询 -length:[100 TO 200] -date:{"now-6h" TO "now"} -[ ] 表示端点数值包含在范围内，{ } 表示端点数值不包含在范围内 - -逻辑操作 - -AND -OR - -+：搜索结果中必须包含此项 --：不能含有此项 -+apache -jakarta test：结果中必须存在apache，不能有jakarta，test可有可无 - -分组 - -(jakarta OR apache) AND jakarta - -字段分组 - -title:(+return +"pink panther") - -转义特殊字符 - -+ - && || ! () {} [] ^" ~ * ? : \ -以上字符当作值搜索的时候需要用\转义 - - - - -status:[400 TO 599] \ No newline at end of file diff --git a/Service/elk/del-index.sh b/Service/elk/del-index.sh deleted file mode 100644 index 6bf7c3d..0000000 --- a/Service/elk/del-index.sh +++ /dev/null @@ -1,40 +0,0 @@ -cat del-index.sh - - -#!/bin/sh -date -datepattern=`date -u -d "30 days ago" +%Y.%m.%d` - -if [[ "$1" =~ ^[0-9]{4}\.[0-9]{2}\.[0-9]{2}$ ]];then - datepattern=$1 -fi - - -# 删除索引 -indices=`curl p-loges-01:9200/_cat/indices 2>/dev/null | awk "/$datepattern/"'{print $3}'` -for i in $indices; do - echo "Delete indice $i"... - curl p-loges-01:9200/$i -XDELETE - echo "" -done - -# 关闭索引，这样就搜不到了，节省内存 -# set the indice close -for i in $indices; do - echo "Close indice $i"... - curl -XPOST 'p-loges-01:9200/'{$i}'/_close' - echo "" -done - - -# 默认没有备份分片，每天凌晨把昨天的备份分片打开, 因为一开始就有备份分片，会降低效率 -# set the replic to 1, default is 0 - -for i in {1..25}; do - datepattern=`date -u -d "$i hours ago" +%Y.%m.%d.%H` - echo "Add replication for ngxlog-$datepattern ..." - curl -XPUT p-loges-01:9200/ngxlog-$datepattern/_settings -d '{ "index" : { "number_of_replicas" : 1 } }' - echo "" -done - - diff --git "a/Service/elk/es\346\237\245\350\257\242.sh" "b/Service/elk/es\346\237\245\350\257\242.sh" deleted file mode 100644 index c38d5a9..0000000 --- "a/Service/elk/es\346\237\245\350\257\242.sh" +++ /dev/null @@ -1,46 +0,0 @@ -es查询 - - -https://www.elastic.co/guide/cn/elasticsearch/guide/cn/_most_important_queries.html - -GET _search -data = { - "query": { - "bool": { - "must": [ - { - "terms": { - "http_host": ["api.ippzone.com", "pipi.izuiyou.com"] - } - }, - { - "range": { - "@timestamp": { - "gt": "now-15m", - "lt": "now" - } - } - }, - { - "range": { - "status": { - "gte": "500", - "lt": "600" - } - } - } - ] - } - } -} - - - - -gt # 不包含 -gte # 包含 - - - - - diff --git "a/Service/elk/es\347\243\201\347\233\230\346\273\241\344\277\256\345\244\215.sh" "b/Service/elk/es\347\243\201\347\233\230\346\273\241\344\277\256\345\244\215.sh" deleted file mode 100644 index 4e735a2..0000000 --- "a/Service/elk/es\347\243\201\347\233\230\346\273\241\344\277\256\345\244\215.sh" +++ /dev/null @@ -1,60 +0,0 @@ -es磁盘满修复.sh - - - - - - -集群磁盘满了,导致从master主节点接收同步数据的时候失败，此时ES集群为了保护数据，会自动把索引分片index置为只读read-only - -PUT _all/_settings -{ - "index": { - "blocks": { - "read_only_allow_delete": null - } - } -} - -等待恢复 - - - -curl -XGET -u elastic:b7sameEdxrfDiu3a "http://es-cn-mp919e8y500059lv6.elasticsearch.aliyuncs.com:9200/_cat/shards" |grep advert-spark - - -advert-spark 4 p STARTED 835169636 948.7gb 172.18.32.72 qdg1QgY -advert-spark 2 p STARTED 835179787 948.5gb 172.18.32.76 -Ur_O-8 -advert-spark 2 r UNASSIGNED -advert-spark 3 p UNASSIGNED -advert-spark 3 r UNASSIGNED - -如果是4core的，并且ES集群没有业务，可以考虑设置下面这个。 - -PUT _cluster/settings -{ - "transient" : { - "indices.recovery.max_bytes_per_sec": "200mb", - "cluster.routing.allocation.node_concurrent_incoming_recoveries": 20, - "cluster.routing.allocation.node_concurrent_outgoing_recoveries": 20, - "cluster.routing.allocation.node_initial_primaries_recoveries": 20 - } -} - ----------- -如果是4core的，并且ES集群有业务流量过来，可以参考下面这个 - -PUT _cluster/settings -{ - "transient" : { - "indices.recovery.max_bytes_per_sec": "100mb", - "cluster.routing.allocation.node_concurrent_incoming_recoveries": 10, - "cluster.routing.allocation.node_concurrent_outgoing_recoveries": 10, - "cluster.routing.allocation.node_initial_primaries_recoveries": 10 - } -} - - - - -单shard太大了，948GB，已经分配不了了。需要强制扩一个节点上来，才能分配上 \ No newline at end of file diff --git "a/Service/elk/es\351\233\206\347\276\244\351\205\215\347\275\256.sh" "b/Service/elk/es\351\233\206\347\276\244\351\205\215\347\275\256.sh" deleted file mode 100644 index b18146f..0000000 --- "a/Service/elk/es\351\233\206\347\276\244\351\205\215\347\275\256.sh" +++ /dev/null @@ -1,158 +0,0 @@ - - -#版本下载 -https://www.elastic.co/downloads/past-releases - - - - -vim /etc/sysctl.conf -vm.max_map_count = 262144 - - -vim /etc/security/limits.conf -* soft memlock unlimited -* hard memlock unlimited - - -sysctl -p - -/etc/elasticsearch/elasticsearch.yml # 主配置文件 - -#bootstrap.memory_lock: true -#bootstrap.mlockall: true -#discovery.zen.minimum_master_nodes: 1 -#index.merge.scheduler.max_thread_count: 1 -#index.refresh_interval: 3s -cluster.name: anti_cheating -node.name: anti_cheating_node_1 -path.data: /data/es/data -path.logs: /data/es/logs -discovery.zen.ping.unicast.hosts: ["172.16.0.225","172.16.0.223"] -network.host: 0.0.0.0 - - - -# 调整队列 -thread_pool.bulk.queue_size: 1000 -thread_pool.get.queue_size: 1000 -thread_pool.search.queue_size: 1000 -thread_pool.index.queue_size: 1000 - - -/etc/elasticsearch/jvm.options # 调整内存 两个参数要一致,不然无法启动 - - -mkdir -p /data/es/data /data/es/log -chown -R work.work /data/es /app/elasticsearch-5.6.7 - - -sudo systemctl enable elasticsearch.service - -sudo systemctl start elasticsearch.service - - -# 使用普通用户启动 - -/app/elasticsearch-5.6.7/bin/elasticsearch -d - -vim /etc/rc.local -su - work -c " -/app/elasticsearch-5.6.7/bin/elasticsearch -d -" - - -supervisor-elasticsearch.conf - - -[program:elasticsearch] -environment=JAVA_HOME=/usr/local/jdk1.8.0_151 -directory=/app/elasticsearch-5.6.7/ -command=/app/elasticsearch-5.6.7/bin/elasticsearch -user=work -stopsignal=TERM -stopasgroup=true -autorestart=true -startretries = 3 -redirect_stderr=true -stdout_logfile=/data/log/supervisor/elasticsearch.log -stdout_logfile_maxbytes=500MB -stdout_logfile_backups=10 -loglevel=info - - -[program:kibana] -environment=JAVA_HOME=/usr/local/jdk1.8.0_151 -directory=/app/kibana-5.6.14-linux-x86_64 -command=/app/kibana-5.6.14-linux-x86_64/bin/kibana -user=work -stopsignal=TERM -stopasgroup=true -autorestart=true -startretries = 3 -redirect_stderr=true -stdout_logfile=/data/log/supervisor/kibana.log -stdout_logfile_maxbytes=500MB -stdout_logfile_backups=10 -loglevel=info - - - - -curl '127.0.0.1:9200/_cat/health?v' # 健康检查 -curl '127.0.0.1:9200/_cat/nodes?v' # 获取集群的节点列表 -curl '127.0.0.1:9200/_cat/indices?v' # 列出所有索引 -curl 127.0.0.1:9200/indexname -XDELETE # 删除索引 -curl -XGET http://127.0.0.1:9200/_cat/shards # 查看分片 -curl '127.0.0.1:9200/_cat/indices' # 查分片同步 unassigned_shards # 没同步完成 - - - -# 阿里云带账号密码的的es操作 -curl -XGET -u elastic:b7sameEfiu3a "http://es-cn-mp90lv6.elasticsearch.aliyuncs.com:9200/_cat/indices" -curl -XDELETE -u elastic:b7sarfDiu3a "http://es-cn-mp09lv6.elasticsearch.aliyuncs.com:9200/advert-action" - - - - - - - -集群磁盘满了,导致从master主节点接收同步数据的时候失败，此时ES集群为了保护数据，会自动把索引分片index置为只读read-only - -PUT _all/_settings -{ - "index": { - "blocks": { - "read_only_allow_delete": null - } - } -} - -等待恢复 - - -如果是4core的，并且ES集群没有业务，可以考虑设置下面这个。 - -PUT _cluster/settings -{ - "transient" : { - "indices.recovery.max_bytes_per_sec": "200mb", - "cluster.routing.allocation.node_concurrent_incoming_recoveries": 20, - "cluster.routing.allocation.node_concurrent_outgoing_recoveries": 20, - "cluster.routing.allocation.node_initial_primaries_recoveries": 20 - } -} - ----------- -如果是4core的，并且ES集群有业务流量过来，可以参考下面这个 - -PUT _cluster/settings -{ - "transient" : { - "indices.recovery.max_bytes_per_sec": "100mb", - "cluster.routing.allocation.node_concurrent_incoming_recoveries": 10, - "cluster.routing.allocation.node_concurrent_outgoing_recoveries": 10, - "cluster.routing.allocation.node_initial_primaries_recoveries": 10 - } -} \ No newline at end of file diff --git a/Service/elk/fb-elk-xiaochuan.sh b/Service/elk/fb-elk-xiaochuan.sh deleted file mode 100644 index 737d227..0000000 --- a/Service/elk/fb-elk-xiaochuan.sh +++ /dev/null @@ -1,286 +0,0 @@ - - - -nginx --> filebeat-6.5.1 --> kafka --> logstash-6.5.1 --> elasticsearch --> kibana - - - - - log_format main '{ ' - '"@timestamp": "$time_iso8601",' - '"nginx": "$hostname",' - '"x_forwarded_for": "$http_x_forwarded_for",' - '"remote_addr": "$remote_addr",' - '"method": "$request_method",' - '"status": $status,' - '"host": "$host",' - '"request": "$request_uri",' - '"upstream": "$upstream_addr",' - '"uri": "$uri",' - '"scheme": "$scheme",' - '"request_length": $request_length,' - '"request_time": $request_time,' - '"response_time": "$upstream_response_time",' - '"body_bytes_sent": $body_bytes_sent,' - '"user_agent": "$http_user_agent",' - '"xc-src-name": "$http_xc_src_name",' - '"referer": "$http_referer"' - '}'; - - -https://es-cn-v0h0p52fm000akje5.kibana.elasticsearch.aliyuncs.com:5601/app/kibana#/discover?_g=(refreshInterval:(display:Off,pause:!f,value:0),time:(from:now-30m,mode:quick,to:now))&_a=(columns:!(status,http_upstream,http_user_agent,request),index:'logstash-*',interval:auto,query:(query_string:(analyze_wildcard:!t,query:'-status:%20500')),sort:!('@timestamp',desc)) - - - - -/opt/filebeat-6.5.1-linux-x86_64/filebeat.yml -#========================================================================================================== -filebeat.inputs: - -- type: log - enabled: true - paths: - - /app/nginx/logs/opapi_access.log - - /app/nginx/logs/*_access.log - -filebeat.config.modules: - path: ${path.config}/modules.d/*.yml - - reload.enabled: false - -setup.template.settings: - index.number_of_shards: 3 - -output.kafka: - # initial brokers for reading cluster metadata - hosts: ["172.16.0.155:9092", "172.16.0.154:9092", "172.16.0.156:9092"] - - # message topic selection + partitioning - topic: 'filebeatnginx' - partition.round_robin: - reachable_only: false - - required_acks: 1 - compression: gzip - max_message_bytes: 1000000 - codec.format: - string: '%{[message]}' - -#========================================================================================================== - - -/opt/filebeat-6.5.1-linux-x86_64/filebeat -c /opt/filebeat-6.5.1-linux-x86_64/filebeat.yml -e - - - - - -/opt/logstash-6.5.1/config/kafka-logstash-es.conf - -#========================================================================================================== - -input { - kafka { - bootstrap_servers => "172.16.0.155:9092,172.16.0.154:9092,172.16.0.156:9092" - group_id => "logstash-dmz-nginxlog" - topics => ["filebeatnginx"] - codec => json - consumer_threads => 4 - auto_offset_reset => latest - #consumer_threads => 2 - #queue_size => 500 - } -} - -filter { - mutate { gsub => [ "message", "\\x", "\\\x" ] } - json { - source => "message" - } -} - - -output { - elasticsearch { - hosts => ["es-cn-v0h0p52fm0elasticsearch.aliyuncs.com:9200"] - user => "logstash" - password => "b7sameEdxr3a" - index => "nginxlog-%{+YYYY-MM-dd}" - http_compression => true - } -} - - -#========================================================================================================== - - -# 阿里云需要开启 自动创建索引, 并且在 kibana6 创建用户, 创建用户对应索引名称 -https://help.aliyun.com/document_detail/63423.html?spm=5176.11065259.1996646101.searchclickresult.209e66d9mJ0T4j - - - - - - - - - - -[program:filebeat] -environment=HOME=/home/work -command=/opt/filebeat-6.5.1-linux-x86_64/filebeat -c /opt/filebeat-6.5.1-linux-x86_64/filebeat.yml -e -directory=/opt/filebeat-6.5.1-linux-x86_64 -user=work -autostart=true -autorestart=true -stopsignal=QUIT -stopasgroup=true -stdout_logfile=/data/log/filebeat.log -stderr_logfile=/data/log/filebeat_error.log -stdout_logfile_maxbytes=50MB -stdout_logfile_backups=10 -stderr_logfile_maxbytes=50MB -stderr_logfile_backups=10 - - - - -/opt/logstash-6.5.1/bin/logstash -f /opt/logstash-6.5.1/config/kafka-logstash-es.conf -w 4 -b 1024 - - -[program:logstash] -environment=HOME=/home/work,JAVA_HOME=/usr/local/jdk1.8.0_151 -command=/opt/logstash-6.5.1/bin/logstash -f /opt/logstash-6.5.1/config/kafka-logstash-es.conf -w 4 -b 1024 -directory=/opt/logstash-6.5.1 -user=work -autostart=true -autorestart=true -stopsignal=QUIT -stopasgroup=true -stdout_logfile=/data/log/logstash.log -stderr_logfile=/data/log/logstash_error.log -stdout_logfile_maxbytes=50MB -stdout_logfile_backups=10 -stderr_logfile_maxbytes=50MB -stderr_logfile_backups=10 - - - - - - -es插件, 可管理多个es集群, 支持所有版本, 跟kopf - - -https://github.com/lmenezes/cerebro - - - -安装 -https://www.jianshu.com/p/8f95b855296c - - - - -es安装 -#版本下载 -https://www.elastic.co/downloads/past-releases - - - - -vim /etc/sysctl.conf -vm.max_map_count = 262144 - - -vim /etc/security/limits.conf -* soft memlock unlimited -* hard memlock unlimited - - - -/etc/elasticsearch/elasticsearch.yml # 主配置文件 - -cluster.name: anti_cheating -node.name: anti_cheating_node_1 -path.data: /data/es/data -path.logs: /data/es/logs -discovery.zen.ping.unicast.hosts: ["172.16.0.225","172.16.0.223"] -network.host: 0.0.0.0 - - - -/etc/elasticsearch/jvm.options # 调整内存 两个参数要一致,不然无法启动 - - -mkdir -p /data/es/data /data/es/log -chown -R work.work /data/es /app/elasticsearch-5.6.7 - - -sudo systemctl enable elasticsearch.service - -sudo systemctl start elasticsearch.service - - -# 使用普通用户启动 -supervisor-elasticsearch.conf - - -[program:elasticsearch] -environment=JAVA_HOME=/usr/local/jdk1.8.0_151 -directory=/app/elasticsearch-5.6.7/ -command=/app/elasticsearch-5.6.7/bin/elasticsearch -user=work -stopsignal=TERM -stopasgroup=true -autorestart=true -startretries = 3 -redirect_stderr=true -stdout_logfile=/data/log/supervisor/elasticsearch.log -stdout_logfile_maxbytes=500MB -stdout_logfile_backups=10 -loglevel=info - - - - - -curl '127.0.0.1:9200/_cat/health?v' # 健康检查 -curl '127.0.0.1:9200/_cat/nodes?v' # 获取集群的节点列表 -curl '127.0.0.1:9200/_cat/indices?v' # 列出所有索引 -curl 127.0.0.1:9200/indexname -XDELETE # 删除索引 -curl -XGET http://127.0.0.1:9200/_cat/shards # 查看分片 -curl '127.0.0.1:9200/_cat/indices' # 查分片同步 unassigned_shards # 没同步完成 - - - - - -[program:kibana] -environment=JAVA_HOME=/usr/local/jdk1.8.0_151 -directory=/app/kibana-5.6.14-linux-x86_64 -command=/app/kibana-5.6.14-linux-x86_64/bin/kibana -user=work -stopsignal=TERM -stopasgroup=true -autorestart=true -startretries = 3 -redirect_stderr=true -stdout_logfile=/data/log/supervisor/kibana.log -stdout_logfile_maxbytes=500MB -stdout_logfile_backups=10 -loglevel=info - - - - -# kibana.yml -server.host: "172.20.81.75" -#server.name: "sre-elk" -elasticsearch.url: "http://localhost:9200" -elasticsearch.requestTimeout: 90000 - - - -kibana 汉化 -https://github.com/anbai-inc/Kibana_Hanization \ No newline at end of file diff --git "a/Service/elk/filebeat\350\276\223\345\207\272\345\244\232topic.sh" "b/Service/elk/filebeat\350\276\223\345\207\272\345\244\232topic.sh" deleted file mode 100644 index cf6aca1..0000000 --- "a/Service/elk/filebeat\350\276\223\345\207\272\345\244\232topic.sh" +++ /dev/null @@ -1,35 +0,0 @@ -filebeat输出多topic - -filebeat7.5 - -https://www.elastic.co/guide/en/beats/filebeat/current/kafka-output.html - - - -filebeat.prospectors: -- type: log - enabled: true - paths: - - /var/log/mylog/test1.log - fields: - log_topics: test1 -- type: log - enabled: true - paths: - - /var/log/mylog/test2.log - fields: - log_topics: test2 - - -output.kafka: - # initial brokers for reading cluster metadata - hosts: ["kafka1:9092", "kafka2:9092", "kafka3:9092"] - - # message topic selection + partitioning - topic: '%{[fields.log_topic]}' - partition.round_robin: - reachable_only: false - - required_acks: 1 - compression: gzip - max_message_bytes: 1000000 \ No newline at end of file diff --git a/Service/elk/kibana.yml b/Service/elk/kibana.yml deleted file mode 100644 index c87a6de..0000000 --- a/Service/elk/kibana.yml +++ /dev/null @@ -1,7 +0,0 @@ -# kibana.yml -server.host: "172.20.81.75" -#server.name: "sre-elk" -elasticsearch.url: "http://localhost:9200" -elasticsearch.requestTimeout: 90000 - - diff --git "a/Service/elk/\345\256\211\350\243\205ik\345\210\206\350\257\215\345\231\250.sh" "b/Service/elk/\345\256\211\350\243\205ik\345\210\206\350\257\215\345\231\250.sh" deleted file mode 100644 index 55da932..0000000 --- "a/Service/elk/\345\256\211\350\243\205ik\345\210\206\350\257\215\345\231\250.sh" +++ /dev/null @@ -1,18 +0,0 @@ -安装ik分词器 - -与es小版本也必须对应 - -地址：https://github.com/medcl/elasticsearch-analysis-ik/releases -wget https://github.com/medcl/elasticsearch-analysis-ik/releases/download/v6.5.4/elasticsearch-analysis-ik-6.5.4.zip - -将这个解压到 /app/elasticsearch/plugins/ik -# 目录下不要有zip包 - -拼音分词器 -地址：https://github.com/medcl/elasticsearch-analysis-pinyin/releases -wget https://github.com/medcl/elasticsearch-analysis-pinyin/releases/download/v6.5.4/elasticsearch-analysis-pinyin-6.5.4.zip - -解压到 /app/elasticsearch/plugins/pinyin - - -逐台重启集群 \ No newline at end of file diff --git "a/Service/etcd/curl\346\223\215\344\275\234etcd.sh" "b/Service/etcd/curl\346\223\215\344\275\234etcd.sh" deleted file mode 100644 index b3fea34..0000000 --- "a/Service/etcd/curl\346\223\215\344\275\234etcd.sh" +++ /dev/null @@ -1,36 +0,0 @@ -curl操作etcd - -https://coreos.com/etcd/docs/0.4.7/etcd-api/ - - -set写数据 -curl -L http://127.0.0.1:4001/v2/keys/message -XPUT -d value="Hello world" -curl -L http://127.0.0.1:4001/v2/keys/foo -XPUT -d value=bar -d ttl=5 # 过期 - -get 取key -curl -L http://127.0.0.1:4001/v2/keys/message - -删除key -curl -L http://127.0.0.1:4001/v2/keys/message -XDELETE - -等待变化 -curl -L http://127.0.0.1:4001/v2/keys/foo?wait=true - -递归目录 -curl -L http://127.0.0.1:4001/v2/keys/?recursive=true - -删除目录 -curl -L 'http://127.0.0.1:4001/v2/keys/foo_dir?dir=true' -XDELETE # 删除空目录 -curl -L http://127.0.0.1:4001/v2/keys/dir?recursive=true -XDELETE # 递归删除目录 - -获取锁 -curl -L http://127.0.0.1:4001/mod/v2/lock/mylock -XPOST -d ttl=20 - -续订锁 -curl -L http://127.0.0.1:4001/mod/v2/lock/mylock -XPUT -d index=5 -d ttl=20 - -检索锁 -curl -L http://127.0.0.1:4001/mod/v2/lock/mylock?field=index - -leader统计 -curl -L http://127.0.0.1:4001/v2/stats/leader diff --git "a/Service/etcd/etcd-\345\206\205\345\255\230\347\274\223\345\255\230\346\225\260\346\215\256\345\272\223\345\256\211\350\243\205.sh" "b/Service/etcd/etcd-\345\206\205\345\255\230\347\274\223\345\255\230\346\225\260\346\215\256\345\272\223\345\256\211\350\243\205.sh" deleted file mode 100644 index 509ac87..0000000 --- "a/Service/etcd/etcd-\345\206\205\345\255\230\347\274\223\345\255\230\346\225\260\346\215\256\345\272\223\345\256\211\350\243\205.sh" +++ /dev/null @@ -1,64 +0,0 @@ - -etcd-K/V数据库安装 - -用于服务发现的键值存储系统 - - -# etcd：从应用场景到实现原理的全方位解读 -https://linux.cn/article-4810-1.html - - -Etcd是一个高可用的 Key/Value 存储系统，主要用于分享配置和服务发现。 -简单：支持 curl 方式的用户 API (HTTP+JSON) -安全：可选 SSL 客户端证书认证 -快速：单实例可达每秒 1000 次写操作 -可靠：使用 Raft 实现分布式 - - -https://github.com/coreos/etcd/ - -二进制包下载 -https://github.com/coreos/etcd/releases/ - - -curl -L https://github.com/coreos/etcd/releases/download/v2.3.3/etcd-v2.3.3-linux-amd64.tar.gz -o etcd-v2.3.3-linux-amd64.tar.gz -tar xzvf etcd-v2.3.3-linux-amd64.tar.gz -cd etcd-v2.3.3-linux-amd64 -./etcd - -# cp etcd* /bin/ -# etcd -version - - - -#!/bin/sh - -ETCD_INITIAL_CLUSTER="infra0=http://10.10.10.117:2380,infra1=http://10.10.10.118:2380,infra2=http://10.10.10.119:2380" -ETCD_INITIAL_CLUSTER_STATE=new - -nohup ./etcd -name infra1 -initial-advertise-peer-urls http://10.10.10.118:2380 \ - -listen-peer-urls http://10.10.10.118:2380 \ - -listen-client-urls http://10.10.10.118:2379,http://127.0.0.1:2379 \ - -advertise-client-urls http://10.10.10.118:2379 \ - -initial-cluster-token etcd-cluster-1 \ - -initial-cluster infra0=http://10.10.10.117:2380,infra1=http://10.10.10.118:2380,infra2=http://10.10.10.119:2380 \ - -initial-cluster-state new & - - - - -简单操作 - - -curl -L http://127.0.0.1:4001/v2/keys/mykey -XPUT -d value="this is awesome" -curl -L http://127.0.0.1:4001/v2/keys/mykey - - -letong@me:~$ curl -L http://192.168.0.123:4001/v2/keys/lekey -XPUT -d value=”this is key” #添加 -{“action”:”set”,”node”:{“key”:”/lekey”,”value”:”this is key”,”modifiedIndex”:4,”createdIndex”:4}} - -letong@me:~$ curl -L http://192.168.0.123:4001/v2/keys/lekey #查询 -{“action”:”get”,”node”:{“key”:”/lekey”,”value”:”this is key”,”modifiedIndex”:4,”createdIndex”:4}} - -letong@me:~$ curl -L http://192.168.0.123:4001/v2/keys/lekey -XDELETE #删除 -{“action”:”delete”,”node”:{“key”:”/lekey”,”modifiedIndex”:5,”createdIndex”:4},”prevNode”:{“key”:”/lekey”,”value”:”this is key”,”modifiedIndex”:4,”createdIndex”:4}} diff --git "a/Service/etcd/etcdctl\344\275\277\347\224\250.sh" "b/Service/etcd/etcdctl\344\275\277\347\224\250.sh" deleted file mode 100644 index 0235fad..0000000 --- "a/Service/etcd/etcdctl\344\275\277\347\224\250.sh" +++ /dev/null @@ -1,282 +0,0 @@ -使用 etcdctl -etcdctl 是一个命令行客户端，它能提供一些简洁的命令，供用户直接跟 etcd 服务打交道，而无需基于 HTTP API 方式。这在某些情况下将很方便，例如用户对服务进行测试或者手动修改数据库内容。我们也推荐在刚接触 etcd 时通过 etcdctl 命令来熟悉相关的操作，这些操作跟 HTTP API 实际上是对应的。 - -etcd 项目二进制发行包中已经包含了 etcdctl 工具，没有的话，可以从 github.com/coreos/etcd/releases 下载。 - - -建立集群 -etcd的配置选项中，比较重要的有下面几项 --name 节点名称，默认为UUID --data-dir – 保存日志和快照的目录，默认为当前工作目录。 --addr 公布的ip地址。默认为127.0.0.1:4001 --bind-addr 用于客户端连接的监听地址，默认为公布IP地址。 --peers 集群成员逗号分割的列表，例如203.0.113.101:7001,203.0.113.102:7001 --peer-addr 集群服务通讯的公布的IP地址，默认为 127.0.0.1:7001. --peer-bind-addr 集群服务通讯的监听地址，默认为peer-addr -也可以设置参数文件（默认为/etc/etcd/etcd.conf），其他的选项可以参考Etcd Configuration -下面在同一主机上建立一个三节点的etcd服务模拟集群。其etcd服务节点分别为etcd1,etcd2,etcd3,而datadir分别/data/etcd1, /data/etcd2, /data/etcd3 - - -因为监视只是监视之后发生的改变，所有需要先get在watch，这里有一个index的值 - -./etcdctl ls /foo -./etcdctl get /foo/new_bar - -# 一直监测一个值 -./etcdctl watch /foo/new_bar --forever |while read a;do echo $a;done -# 改值 -./etcdctl update /foo/new_bar "hello etc412q" - -# 监视值改变执行操作 -./etcdctl exec-watch testkey -- sh -c 'ls' - -# 监视目录下所有改变 -./etcdctl watch /foo/ --forever --recursive - ---after-index '0' 在指定 index 之前一直监测 ---recursive 返回所有的键值和子键值 - - -查看集群信息 -# 查看leader -curl -L http://127.0.0.1:4001/v2/leader -http://127.0.0.1:7001 -# 查看peers -curl -L http://127.0.0.1:4001/v2/machines - - - -etcdctl 支持如下的命令，大体上分为数据库操作和非数据库操作两类，后面将分别进行解释。 - -$ etcdctl -h -NAME: - etcdctl - A simple command line client for etcd. - -USAGE: - etcdctl [global options] command [command options] [arguments...] - -VERSION: - 2.0.0-rc.1 - -COMMANDS: - backup backup an etcd directory - mk make a new key with a given value - mkdir make a new directory - rm remove a key - rmdir removes the key if it is an empty directory or a key-value pair - get retrieve the value of a key - ls retrieve a directory - set set the value of a key - setdir create a new or existing directory - update update an existing key with a given value - updatedir update an existing directory - watch watch a key for changes - exec-watch watch a key for changes and exec an executable - member member add, remove and list subcommands - help, h Shows a list of commands or help for one command - -GLOBAL OPTIONS: - --debug output cURL commands which can be used to reproduce the request - --no-sync dont synchronize cluster information before sending request - --output, -o 'simple' output response in the given format (`simple` or `json`) - --peers, -C a comma-delimited list of machine addresses in the cluster (default: "127.0.0.1:4001") - --cert-file identify HTTPS client using this SSL certificate file - --key-file identify HTTPS client using this SSL key file - --ca-file verify certificates of HTTPS-enabled servers using this CA bundle - --help, -h show help - --version, -v print the version -数据库操作 - -数据库操作围绕对键值和目录的 CRUD （符合 REST 风格的一套操作：Create）完整生命周期的管理。 - -etcd 在键的组织上采用了层次化的空间结构（类似于文件系统中目录的概念），用户指定的键可以为单独的名字，如 testkey，此时实际上放在根目录 / 下面，也可以为指定目录结构，如 cluster1/node2/testkey，则将创建相应的目录结构。 - -注：CRUD 即 Create, Read, Update, Delete，是符合 REST 风格的一套 API 操作。 - -set - -指定某个键的值。例如 - -$ etcdctl set /testdir/testkey "Hello world" -Hello world -支持的选项包括： - ---ttl '0' 该键值的超时时间（单位为秒），不配置（默认为 0）则永不超时 ---swap-with-value value 若该键现在的值是 value，则进行设置操作 ---swap-with-index '0' 若该键现在的索引值是指定索引，则进行设置操作 -get - -获取指定键的值。例如 - -$ etcdctl set testkey hello -hello -$ etcdctl update testkey world -world -当键不存在时，则会报错。例如 - -$ etcdctl get testkey2 -Error: 100: Key not found (/testkey2) [1] -支持的选项为 - ---sort 对结果进行排序 ---consistent 将请求发给主节点，保证获取内容的一致性 -update - -当键存在时，更新值内容。例如 - -$ etcdctl set testkey hello -hello -$ etcdctl update testkey world -world -当键不存在时，则会报错。例如 - -$ etcdctl update testkey2 world -Error: 100: Key not found (/testkey2) [1] -支持的选项为 - ---ttl '0' 超时时间（单位为秒），不配置（默认为 0）则永不超时 -rm - -删除某个键值。例如 - -$ etcdctl rm testkey -当键不存在时，则会报错。例如 - -$ etcdctl rm testkey2 -Error: 100: Key not found (/testkey2) [8] -支持的选项为 - ---dir 如果键是个空目录或者键值对则删除 ---recursive 删除目录和所有子键 ---with-value 检查现有的值是否匹配 ---with-index '0' 检查现有的 index 是否匹配 -mk - -如果给定的键不存在，则创建一个新的键值。例如 - -$ etcdctl mk /testdir/testkey "Hello world" -Hello world -当键存在的时候，执行该命令会报错，例如 - -$ etcdctl set testkey "Hello world" -Hello world -$ ./etcdctl mk testkey "Hello world" -Error: 105: Key already exists (/testkey) [2] -支持的选项为 - ---ttl '0' 超时时间（单位为秒），不配置（默认为 0）则永不超时 -mkdir - -如果给定的键目录不存在，则创建一个新的键目录。例如 - -$ etcdctl mkdir testdir -当键目录存在的时候，执行该命令会报错，例如 - -$ etcdctl mkdir testdir -$ etcdctl mkdir testdir -Error: 105: Key already exists (/testdir) [7] -支持的选项为 - ---ttl '0' 超时时间（单位为秒），不配置（默认为 0）则永不超时 -setdir - -创建一个键目录，无论存在与否。 - -支持的选项为 - ---ttl '0' 超时时间（单位为秒），不配置（默认为 0）则永不超时 -updatedir - -更新一个已经存在的目录。 支持的选项为 - ---ttl '0' 超时时间（单位为秒），不配置（默认为 0）则永不超时 -rmdir - -删除一个空目录，或者键值对。 - -若目录不空，会报错 - -$ etcdctl set /dir/testkey hi -hi -$ etcdctl rmdir /dir -Error: 108: Directory not empty (/dir) [13] -ls - -列出目录（默认为根目录）下的键或者子目录，默认不显示子目录中内容。 - -例如 - -$ ./etcdctl set testkey 'hi' -hi -$ ./etcdctl set dir/test 'hello' -hello -$ ./etcdctl ls -/testkey -/dir -$ ./etcdctl ls dir -/dir/test -支持的选项包括 - ---sort 将输出结果排序 ---recursive 如果目录下有子目录，则递归输出其中的内容 --p 对于输出为目录，在最后添加 `/` 进行区分 -非数据库操作 - -backup - -备份 etcd 的数据。 - -支持的选项包括 - ---data-dir etcd 的数据目录 ---backup-dir 备份到指定路径 -watch - -监测一个键值的变化，一旦键值发生更新，就会输出最新的值并退出。 - -例如，用户更新 testkey 键值为 Hello world。 - -$ etcdctl watch testkey -Hello world -支持的选项包括 - ---forever 一直监测，直到用户按 `CTRL+C` 退出 ---after-index '0' 在指定 index 之前一直监测 ---recursive 返回所有的键值和子键值 -exec-watch - -监测一个键值的变化，一旦键值发生更新，就执行给定命令。 - -例如，用户更新 testkey 键值。 - -$etcdctl exec-watch testkey -- sh -c 'ls' -default.etcd -Documentation -etcd -etcdctl -etcd-migrate -README-etcdctl.md -README.md -支持的选项包括 - ---after-index '0' 在指定 index 之前一直监测 ---recursive 返回所有的键值和子键值 -member - -通过 list、add、remove 命令列出、添加、删除 etcd 实例到 etcd 集群中。 - -例如本地启动一个 etcd 服务实例后，可以用如下命令进行查看。 - -$ etcdctl member list -ce2a822cea30bfca: name=default peerURLs=http://localhost:2380,http://localhost:7001 clientURLs=http://localhost:2379,http://localhost:4001 -命令选项 - ---debug 输出 cURL 命令，显示执行命令的时候发起的请求 ---no-sync 发出请求之前不同步集群信息 ---output, -o 'simple' 输出内容的格式 (simple 为原始信息，json 为进行json格式解码，易读性好一些) ---peers, -C 指定集群中的同伴信息，用逗号隔开 (默认为: "127.0.0.1:4001") ---cert-file HTTPS 下客户端使用的 SSL 证书文件 ---key-file HTTPS 下客户端使用的 SSL 密钥文件 ---ca-file 服务端使用 HTTPS 时，使用 CA 文件进行验证 ---help, -h 显示帮助命令信息 ---version, -v 打印版本信息 diff --git "a/Service/etcd/etcd\351\200\222\345\275\222\350\216\267\345\217\226\346\225\260\346\215\256.sh" "b/Service/etcd/etcd\351\200\222\345\275\222\350\216\267\345\217\226\346\225\260\346\215\256.sh" deleted file mode 100644 index b231f4a..0000000 --- "a/Service/etcd/etcd\351\200\222\345\275\222\350\216\267\345\217\226\346\225\260\346\215\256.sh" +++ /dev/null @@ -1,16 +0,0 @@ -etcd递归获取数据 - - -https://coreos.com/etcd/docs/0.4.7/etcd-api/ - -curl -s '10.252.44.111:2379/v2/keys/v1/production/services?recursive=true&sorted=true' - - -import json -import urllib2 -response = urllib2.urlopen('http://10.252.44.111:2379/v2/keys/v1/production/services?recursive=true&sorted=true') -data = json.loads(response.read()) -for i in data['node']['nodes']: - print i['key'] - for u in i['nodes']: - print u['key'] diff --git "a/Service/etcd/\345\220\257\345\212\250\350\204\232\346\234\254.sh" "b/Service/etcd/\345\220\257\345\212\250\350\204\232\346\234\254.sh" deleted file mode 100644 index 0e2893b..0000000 --- "a/Service/etcd/\345\220\257\345\212\250\350\204\232\346\234\254.sh" +++ /dev/null @@ -1,12 +0,0 @@ -#!/bin/sh - -ETCD_INITIAL_CLUSTER="infra0=http://10.10.10.117:2380,infra1=http://10.10.10.118:2380,infra2=http://10.10.10.119:2380" -ETCD_INITIAL_CLUSTER_STATE=new - -nohup ./etcd -name infra1 -initial-advertise-peer-urls http://10.10.10.118:2380 \ - -listen-peer-urls http://10.10.10.118:2380 \ - -listen-client-urls http://10.10.10.118:2379,http://127.0.0.1:2379 \ - -advertise-client-urls http://10.10.10.118:2379 \ - -initial-cluster-token etcd-cluster-1 \ - -initial-cluster infra0=http://10.10.10.117:2380,infra1=http://10.10.10.118:2380,infra2=http://10.10.10.119:2380 \ - -initial-cluster-state new & \ No newline at end of file diff --git "a/Service/falcon/falcon\344\277\256\346\224\271\347\273\230\345\233\276\346\233\262\347\272\277\347\262\276\345\272\246.sh" "b/Service/falcon/falcon\344\277\256\346\224\271\347\273\230\345\233\276\346\233\262\347\272\277\347\262\276\345\272\246.sh" deleted file mode 100644 index 4c8cfe2..0000000 --- "a/Service/falcon/falcon\344\277\256\346\224\271\347\273\230\345\233\276\346\233\262\347\272\277\347\262\276\345\272\246.sh" +++ /dev/null @@ -1,79 +0,0 @@ -falcon修改绘图曲线精度.sh - - - - -http://book.open-falcon.org/zh/dev/change_graph_rra.html - - -默认的，Open-Falcon只保存最近12小时的原始监控数据，12小时之后的数据被降低精度、采样存储。 - -如果默认的精度不能满足你的需求，可以按照如下步骤，修改绘图曲线的存储精度。 - -第一步，修改graph组件的RRA，并重新编译graph组件 -graph组件的RRA，定义在文件 graph/rrdtool/rrdtool.go中，默认如下: - -// RRA.Point.Size -const ( - RRA1PointCnt = 720 // 1m一个点存12h - RRA5PointCnt = 576 // 5m一个点存2d - // ... -) - -func create(filename string, item *cmodel.GraphItem) error { - now := time.Now() - start := now.Add(time.Duration(-24) * time.Hour) - step := uint(item.Step) - - c := rrdlite.NewCreator(filename, start, step) - c.DS("metric", item.DsType, item.Heartbeat, item.Min, item.Max) - - // 设置各种归档策略 - // 1分钟一个点存 12小时 - c.RRA("AVERAGE", 0.5, 1, RRA1PointCnt) - - // 5m一个点存2d - c.RRA("AVERAGE", 0.5, 5, RRA5PointCnt) - c.RRA("MAX", 0.5, 5, RRA5PointCnt) - c.RRA("MIN", 0.5, 5, RRA5PointCnt) - - // ... - - return c.Create(true) -} -比如，你只想保存90天的原始数据，可以将代码修改为: - -// RRA.Point.Size -const ( - RRA1PointCnt = 129600 // 1m一个点存90d，取值 90*24*3600/60 -) - -func create(filename string, item *cmodel.GraphItem) error { - now := time.Now() - start := now.Add(time.Duration(-24) * time.Hour) - step := uint(item.Step) - - c := rrdlite.NewCreator(filename, start, step) - c.DS("metric", item.DsType, item.Heartbeat, item.Min, item.Max) - - // 设置各种归档策略 - // 1分钟一个点存 90d - c.RRA("AVERAGE", 0.5, 1, RRA1PointCnt) - - return c.Create(true) -} -第二步，清除graph的历史数据 -清除已上报的所有指标的历史数据，即删除所有的rrdfile。不删除历史数据，已上报指标的精度更改将不能生效。 - -第三步，重新部署graph服务 -编译修改后的graph源码，关停原有的graph老服务、发布修改后的graph。 - -只需要修改graph组件、不需要修改Open-Falcon的其他组件，新的精度就能生效。你可以通过Dashboard、Screen来查看新的精度的绘图曲线。 - -1.1.1. 注意事项: -修改监控绘图曲线精度时，需要： - -修改graph源代码，更新RRA -清除graph的历史数据。不删除历史数据，已上报指标的精度更改将不能生效 -除了graph之外，Open-Falcon的其他任何组件 不需要被修改 -修改RRA后，可能会出现"绘图曲线点数过多、浏览器被卡死"的问题。请合理规划RRA存储的点数，或者调整绘图曲线查询时的时间段选择。 \ No newline at end of file diff --git a/Service/ftp/vsftp_install.txt b/Service/ftp/vsftp_install.txt new file mode 100644 index 0000000..efd6f29 --- /dev/null +++ b/Service/ftp/vsftp_install.txt @@ -0,0 +1,60 @@ +vsftp安装 + +yum install vsftpd + +查看vsftp是否安装 +rpm -qa | grep vsftpd +#关闭selinux +主配置文件 +vi /etc/vsftpd/vsftpd.conf +启动 VSFTPD 服务 +service vsftpd restart +查看21端口是否开放 +netstat -atln |grep 21 +1、匿名用户是否允许访问 +anonymous_enable=YES +anon_mkdir_write_enable=YES +2、本地用户管理 +local_enable=YES +chroot_list_enable=YES +chroot_list_file=/etc/vsftpd.chroot_list +将用户添加到vsftpd.chroot_list文件中允许访问 +cat /etc/passwd |grep ":5[0-9][0-9]:" | awk -F : '{print $1}' > /etc/vsftpd.chroot_list +3、虚拟用户管理 +（1）要用到文件数据库db4 +rpm -qa |grep db4 +（2）将帐户放入文本：（奇数行）用户名 （偶数行）密码 +vi zhanghu.dat +（3）生成帐户的文件数据库 +db_load -T -t hash -f zhanghu.dat /etc/vsftpd/vsftpd_zhanghu.db +（4）修改文件数据库访问权限 +chmod 600 /etc/vsftpd/vsftpd_zhanghu.db +（5）手工建立虚拟用户所需的PAM配置文件 +vi /etc/pam.d/vsftpd.zhanghu +auth required /lib/security/pam_userdb.so db=/etc/vsftpd/vsftpd_zhanghu +account required /lib/security/pam_userdb.so db=/etc/vsftpd/vsftpd_zhanghu +（6）添加一个虚拟用户的入口帐户 +useradd -d /var/ZhanDian -s /sbin/nologin XuNiRuKou +（7）在主配置文件中添加虚拟用户的配置内容 +虚拟用户的新添加配置 +chroot_local_user=YES +guest_enable=YES +guest_username=XuNiRuKou +pam_service_name=vsftpd.zhanghu +（8）在vsftpd.conf配置文件中指定用户配置文件的目录 +user_config_dir=/etc/vsftpd/vsftpd_zhandian +（9）建立配置文件中指定用户配置文件的目录 +mkdir /etc/vsftpd/vsftpd_zhandian +（10）因为入口帐户是一个本地帐户，所以要指定虚拟用户具有本地帐户的权限，才能读写 自己空间中的文件 +虚拟用户就可以就拥有写权限 +virtual_use_local_privs=YES +（11） +touch /etc/vsftpd/vsftpd_zhandian/xuesong +echo "local_root=/var/ZhanDian/xuesong" >> /etc/vsftpd/vsftpd_zhandian/xuesong +（12） +mkdir /var/ZhanDian/xuesong +（13） +chown -R XuNiRuKou:XuNiRuKou /var/ZhanDian/ +（14）重启服务 +/etc/init.d/vsftpd restart +（15）客户端虚拟账号测试 diff --git "a/Service/ftp/\344\275\277\347\224\250MYSQL\346\235\245\347\256\241\347\220\206VSFTP\350\231\232\346\213\237\347\224\250\346\210\267.sh" "b/Service/ftp/\344\275\277\347\224\250MYSQL\346\235\245\347\256\241\347\220\206VSFTP\350\231\232\346\213\237\347\224\250\346\210\267.sh" new file mode 100644 index 0000000..b2541ee --- /dev/null +++ "b/Service/ftp/\344\275\277\347\224\250MYSQL\346\235\245\347\256\241\347\220\206VSFTP\350\231\232\346\213\237\347\224\250\346\210\267.sh" @@ -0,0 +1,130 @@ + +使用MYSQL来管理VSFTP虚拟用户 + +2012-01-15 19:12:48| 分类： 技术文稿 | 标签：linux 服务器架设 |举报 |字号 订阅 + VSFTPD是linux平台上一款以安全、高效、稳定而著称的ftp服务器软件。软件配置灵活，使用方便，支持多种认证方式包括：匿名用户认证；本地用户认证；虚拟用户认证方式。 前两种很好理解，其中第三种虚拟用户认证方式又分两种，一种为使用文件文件方式创建虚拟用户表后使用db_load转换为佰克利数据库格式使用。还有一种是使用mysql数据库时行管理。 今天写的是如何使用mysql来管理虚拟用户。 + 1、安装vsftpd 软件 ,启动对应的服务 + yum -y install vsftpd + service vsftpd start + chkconfig vsftpd on + 2、安装mysql 软件 ，启动对应的服务 + yum -y install mysql-devel mysql-server + service mysqld start + chkconfig mysqld on + 3、配置mysql数据库 + 3.1 首先设置mysql管理员密码 + mysql -u root password test123 + 3.2 进入mysql数据。建立相应的数据库和密码认证表。 + #mysql -u root -ptest123 + mysql> create database vftp; + mysql> use vftp; + mysql> create table userinfo(name char(16),pwd char(32)); + mysql> insert into userinfo(name,pwd) value ('jack','123456'); + mysql> insert into userinfo(name,pwd) value ('lili','654321'); + 创建一个vftp的数据库，在其中创件一个userinfo的表文件，插入两条数据 + 3.3 为安全考虑，可以创建一个用户专门读取此表。 + mysql>select on vftp.userinfo to ftpuser@localhost identified by 'test123'; + mysql>flush privileges; + 4、下载安装专门用于验证mysql的pam 认证程序 。 + 4.1 猛击这里下载文件 + 4.2 tar -xzvf am_mysql-0.7RC1.tar.gz + 4.3 cd pam_mysql-0.7RC1 + 4.4 ./configuer + 4.5 make;make install + 网上有些教程说的是安装到/lib/security 目录下，不知怎么搞的，我的pam认证文件会安装到/usr/lib/security 目录下，加了--perfix 等参数都不可以。郁闷。 不过大家不用太纠结于此，不管安装到什么位置，只要在/etc/pam.d/vsftpd 中指定文件正确的路径即可。 + 5、 添加虚拟用记所对应的系统用户 + mkdir /var/ftp/ftproot + useradd -d /var/ftp/ftproot -s /sbin/nologin virtual + chown virtual. /var/ftp/ftproot + 6、 配置 /etc/vsftpd/vsftpd.conf 文件 + 在文件底部添加如下两行: + guest_enable=yes + guest_username=virtual + 并修改原文件中的 anonymous_enable=yes 改为no + 7 、编辑vsftpd 的pam 认证文件。 + /etc/pam.d/vsftpd文件，将原文件中所有内容注释掉，并添加如下两行。 + # auth required + auth sufficient /usr/lib/security/pam_mysql.so user=vsftpd passwd=123456 host=localhost db=vftp table=userinfo usercolumn=name passwdpasswdcolumn=passwd crypt=2 + + + 8、 重启FTP服务器进行测试。 + service vsftpd restart + FTP Voyager - 版本 15.1.0.0 + + 状态：> 正在连接到"192.168.157.134" 使用端口 21。 + 220 Welcome to blah FTP service. + 状态：> 已连接。正在登录服务器 + 命令：> USER jack + 331 Please specify the password. + 命令：> PASS ******** + 230 Login successful. + 状态：> 登录成功 + 命令：> SYST + + 不能登陆的常见问题： + 1、检查是否开启了selinux + getenforc 若开启后请关闭或者是请允许FTP服务连接数据库 + setsebool ftpd_connect_db=1 + 2、检查是否开启了iptable 防火墙。 + 若开启了请关闭或者添加一条规则到规则库里 + iptables -I INPUT 2 -p tcp - -dport 21 -j ACCEPT + 3、若还是有问题，请仔细检查配置文件，看有没有错误的地方。 + + + + + + + + + + + + 编辑vsftp配置文件，参考我的配置 + + [root@localhost ~]# vim /etc/vsftpd/vsftpd.conf + [root@localhost ~]# grep -v "^#" /etc/vsftpd/vsftpd.conf + anonymous_enable=YES + local_enable=YES + write_enable=YES + local_umask=022 + anon_upload_enable=YES + anon_mkdir_write_enable=YES + dirmessage_enable=YES + xferlog_enable=YES + connect_from_port_20=YES + xferlog_std_format=YES + chroot_local_user=YES + listen=YES + pam_service_name=vsftpd.mysql #主要修改这一行，指定使用vsftpd.mysql这个pam配置文件调用pam认证 + guest_enable=YES #开启来宾账户 + guest_username= mysqlftp #映射来宾账户，这个账户将会被映射为mysql数据库中的账户 + user_config_dir=/etc/vsftpd/vsftpd_user_conf #创建mysql每个虚拟用户的配置目录 + +编辑pam配置文件，参考我的配置 +[root@localhost ~]# cp /etc/pam.d/vsftpd /etc/pam.d/vsftpd.mysql #复制原来的vsftp认证方法，在此基础上添加mysql认证 + +编辑PAM认证配置文件 +[root@localhost ~]# vim /etc/pam.d/vsftpd.mysql + + #%PAM-1.0 + + session optional pam_keyinit.so force revoke + + #第一步认证首先使用数据库认证，如果通过不再检查下面其它认证，直接登陆，通不过就使用下面的认证 + + auth sufficient /usr/lib/security/pam_mysql.so user=vsftpd passwd=123456 host=localhost db=vsftpd table=users usercolumn=name passwdpasswdcolumn=passwd crypt=2 + + #数据库认证通不过，就采用vsftp默认的其余认证方法 + + auth required pam_listfile.so item=user sense=deny file=/etc/vsftpd/ftpusers onerr=succeed + auth required pam_shells.so + auth include password-auth + + #授权和认证也是一样的 + account sufficient /usr/lib/security/pam_mysql.so user=vsftpd passwd=123456 host=localhost db=vsftpd table=users usercolumn=name passwdpasswdcolumn=passwd crypt=2 + account include password-auth + session required pam_loginuid.so + session include password-auth + +以上的PAM配置既可以使用mysql数据库中的用户认证，也可以使用系统用户认证，如果只希望使用mysql数据库中的用户认证的话，可以讲系统认证的配置相关行删除。 \ No newline at end of file diff --git a/Service/git/gitlab-ldap.sh b/Service/git/gitlab-ldap.sh deleted file mode 100644 index 6691a7d..0000000 --- a/Service/git/gitlab-ldap.sh +++ /dev/null @@ -1,41 +0,0 @@ -gitlab-ldap.sh - - - - -gitlab_rails['ldap_enabled'] = true - -###! **remember to close this block with 'EOS' below** -gitlab_rails['ldap_servers'] = YAML.load <<-'EOS' - main: # 'main' is the GitLab 'provider ID' of this LDAP server - label: 'LDAP' - host: '172.16.1.233' - port: 10389 - uid: 'uid' - bind_dn: 'uid=git,ou=People,dc=xiaochuankeji,dc=cn' - password: 'E5yN7MinWAoHxZTl' - encryption: 'plain' # "start_tls" or "simple_tls" or "plain" - active_directory: true - allow_username_or_email_login: true - block_auto_created_users: false - base: 'ou=People,dc=xiaochuankeji,dc=cn' - user_filter: '(houseIdentifier=git)' - attributes: - username: ['uid', 'userid', 'sAMAccountName'] - email: ['mail', 'email', 'userPrincipalName'] - name: 'cn' - first_name: 'givenName' - last_name: 'sn' - ## EE only - group_base: '' - admin_group: '' - sync_ssh_keys: 'publicKey' -EOS - - - -# user_filter 过滤登陆条件 - - -gitlab-ctl restart -gitlab-ctl reconfigure \ No newline at end of file diff --git "a/Service/git/gitlab\345\256\211\350\243\205.bash" "b/Service/git/gitlab\345\256\211\350\243\205.bash" deleted file mode 100644 index 71122b1..0000000 --- "a/Service/git/gitlab\345\256\211\350\243\205.bash" +++ /dev/null @@ -1,301 +0,0 @@ - -gitlab安装 - - gitlab 46 151 - - - - -https://github.com/gitlabhq/gitlabhq/blob/master/doc/install/installation.md - -http://doc.gitlab.com/ce/ - -https://packages.gitlab.com/gitlab/gitlab-ce/install - -https://github.com/gitlabhq/gitlabhq - - -https://github.com/gitlabhq/gitlabhq/blob/master/doc/install/requirements.md - - -http://www.open-open.com/lib/view/open1399684894447.html - - - -Ubuntu/Debian/CentOS/RHEL -Ruby (MRI) 2.1 -Git 1.7.10+ -Redis 2.4+ -MySQL or PostgreSQL - - - -rpm -ivh http://dl.fedoraproject.org/pub/epel/6/x86_64/epel-release-6-8.noarch.rpm - - - - -yum -y install gcc gcc-c++ make autoconf libyaml-devel gdbm-devel ncurses-devel openssl-devel zlib-devel readline-devel curl-devel expat-devel gettext-devel tk-devel libxml2-devel libffi-devel libxslt-devel libicu-devel sendmail patch libyaml* pcre-devel sqlite-devel cmake nodejs curl openssh-server postfix cronie mysql-server mysql-devel redis - - - -Python 2.7+ - - -git安装 - -curl -L --progress https://www.kernel.org/pub/software/scm/git/git-2.4.3.tar.gz | tar xz -cd git-2.4.3/ -./configure -make prefix=/usr/local all -make prefix=/usr/local install - -useradd git - - -ruby安装 -wget https://cache.ruby-lang.org/pub/ruby/2.1/ruby-2.1.7.tar.gz -tar zxvpf ruby-2.1.7.tar.gz -cd ruby-2.1.7 -./configure --prefix=/usr/local/ --disable-install-rdoc - make && make install - - -gem sources --remove https://rubygems.org/ -gem sources -a https://ruby.taobao.org/ -gem sources -l -gem install bundler --no-ri --no-rdoc - - -go安装 -wget https://storage.googleapis.com/golang/go1.5.1.linux-amd64.tar.gz -tar -C /usr/local -xzf go1.5.1.linux-amd64.tar.gz -ln -sf /usr/local/go/bin/{go,godoc,gofmt} /usr/local/bin/ - - - -mysql安装 -chkconfig mysqld on -service mysqld start - -use mysql; -update user set password=password('root123') where user='root'; - -# 为gitlab创建使用用户 -CREATE USER 'gitlab'@'localhost' IDENTIFIED BY 'gitlib123'; - -# 创建gitlaba使用的数据库 -CREATE DATABASE IF NOT EXISTS `gitlabhq_production` DEFAULT CHARACTER SET `utf8` COLLATE `utf8_unicode_ci`; - -# 给予gitlab用户权限 -GRANT SELECT, LOCK TABLES, INSERT, UPDATE, DELETE, CREATE, DROP, INDEX, ALTER ON `gitlabhq_production`.* TO 'gitlab'@'localhost'; - - -redis安装 -vim /etc/redis.conf - -# 修改端口为0 -port 0 -# 增加参数 -unixsocket /var/run/redis/redis.sock -unixsocketperm 770 - - -mkdir /var/run/redis -chown redis:redis /var/run/redis -chmod 755 /var/run/redis - - -usermod -aG redis git - -chkconfig redis on -service redis start -chown redis.git /var/run/redis/redis.sock - - -gitlab shell安装 - -su git -cd /home/git/ -git clone https://github.com/gitlabhq/gitlab-shell.git -cd gitlab-shell -cp config.yml.example config.yml - -vim /home/git/gitlab-shell/config.yml -更改访问地址gitlab_url - - -GitLab安装 - -mkdir /data/gitlab -chown git.git /data/gitlab -cd /data -sudo -u git -H git clone https://gitlab.com/gitlab-org/gitlab-ce.git -b 8-0-stable gitlab - - -cd /data/gitlab - -cp config/gitlab.yml.example config/gitlab.yml -cp config/secrets.yml.example config/secrets.yml -cp config/unicorn.rb.example config/unicorn.rb -cp config/initializers/rack_attack.rb.example config/initializers/rack_attack.rb -cp config/resque.yml.example config/resque.yml -cp config/database.yml.mysql config/database.yml - -chown -R git.git config -chmod 0600 config/secrets.yml -chown -R git log/ -chown -R git tmp/ -chmod -R u+rwX,go-w log/ -chmod -R u+rwX tmp/ -chmod -R u+rwX tmp/pids/ -chmod -R u+rwX tmp/sockets/ -chmod -R u+rwX public/uploads -chmod -R u+rwX builds/ -chmod o-rwx config/database.yml - - - -editor config/gitlab.yml -editor config/unicorn.rb -# listen "0.0.0.0:8080", :tcp_nopush => true -editor config/resque.yml - -# Configure Git global settings for git user, used when editing via web editor -sudo -u git -H git config --global core.autocrlf input - - - -# production - -vim Gemfile -# 更改源 -source "https://ruby.taobao.org" - -# bundle 命令需要git用户在项目目录下gitlib - -sudo -u git -H /usr/local/bin/bundle install --deployment --without development test postgres aws kerberos - -su - git -cd /data/gitlib -# 创建web登录账户，需要先配置 mysql -/usr/local/bin/bundle exec rake gitlab:setup RAILS_ENV=production - - -bundle exec rake gitlab:setup RAILS_ENV=production GITLAB_ROOT_PASSWORD=yourpassword - - - - -cd /data/gitlab -bundle exec rake gitlab:shell:install[v2.6.5] REDIS_URL=unix:/var/run/redis/redis.sock RAILS_ENV=production - - -# root -cp lib/support/init.d/gitlab /etc/init.d/gitlab -cp lib/support/init.d/gitlab.default.example /etc/default/gitlab -cp lib/support/logrotate/gitlab /etc/logrotate.d/gitlab - -su git -bundle exec rake gitlab:env:info RAILS_ENV=production -bundle exec rake assets:precompile RAILS_ENV=production - - - - -yum install nginx -cp lib/support/nginx/gitlab /etc/nginx/conf.d/ -# 修改为git用户启动 -nginx -t -service nginx restart - - -/etc/init.d/gitlab restart - - -# 最后检查 -/home/git/gitlab-shell/bin/check - -tail -f /var/log/nginx/gitlab_access.log - -bundle exec rake gitlab:check RAILS_ENV=production - - - - -http://192.168.1.151/users/sign_in - -# 初始密码 如果密码不对 在执行创建账号 /usr/local/bin/bundle exec rake gitlab:setup RAILS_ENV=production -root -5iveL!fe - - - - - - - -vim /data/gitlab/config/environments/production.rb - - - -gitlab web登入密码忘记以后可以用如下方式修改密码 - -bundle exec rails console production -irb(main):007:0> user = User.where(email: 'admin@local.host').first //email 为gitlabuser 账户，我的是默认的管理员账户 -rb(main):006:0* user = User.where(username: 'root').first -rb(main):006:0* user = User.where(id: 1).first -irb(main):007:0>user.password = 'yourpassword' //密码必须至少8个字符 -irb(main):007:0>user.save! // 如没有问题 返回true - - - - -# 邮件配置 - -http://iceeggplant.blog.51cto.com/1446843/1611147 - -http://my.oschina.net/anylain/blog/220774 - -配置smtp主要要配置2个地方 - -vim config/environments/production.rb -config.action_mailer.delivery_method= :smtp - - -cp config/initializers/smtp_settings.rb.sample config/initializers/smtp_settings.rb -vim config/initializers/smtp_settings.rb - -if Gitlab::Application.config.action_mailer.delivery_method == :smtp - ActionMailer::Base.smtp_settings = { - address: "smtp.domain.com", - port: 587, - user_name: "mail_username", - password: "mail_password", - domain: "domain.com", - authentication: 'plain', - enable_starttls_auto: true - }end -Tip: 如果没用smtp没有开加密连接的话 enable_starttls_auto 的值应该配置为 false - -这里需要注意一个问题, 如果你的smtp服务器做了权限限制,只能以登陆账户的邮件帐号发邮件的话,还需要修改一处地方 - -编辑 config/gitlab.yml 找到下面两个字段将内容改成你的邮件帐户地址: - -email_from: yourmail@domain.com -support_email: yourmail@domain.com - - - - - - - - - - - - - - - diff --git "a/Service/git/git\346\270\205\347\220\206\345\216\206\345\217\262\347\211\210\346\234\254.sh" "b/Service/git/git\346\270\205\347\220\206\345\216\206\345\217\262\347\211\210\346\234\254.sh" deleted file mode 100644 index fde1225..0000000 --- "a/Service/git/git\346\270\205\347\220\206\345\216\206\345\217\262\347\211\210\346\234\254.sh" +++ /dev/null @@ -1,15 +0,0 @@ -git清理历史版本 - - -git clone $project_url - -cp .git/config . -rm -rf .git -git init -mv config .git/ -git add . -git commit -m "clean history" -git push -f origin master - - - diff --git "a/Service/go/Go\350\257\255\350\250\200\344\273\213\347\273\215\345\256\211\350\243\205.sh" "b/Service/go/Go\350\257\255\350\250\200\344\273\213\347\273\215\345\256\211\350\243\205.sh" deleted file mode 100644 index 2902495..0000000 --- "a/Service/go/Go\350\257\255\350\250\200\344\273\213\347\273\215\345\256\211\350\243\205.sh" +++ /dev/null @@ -1,83 +0,0 @@ -Go语言介绍Go语言介绍 - 1：安装 - -简介 - -关于Go语言，原文介绍如下： -Go is an open source programming environment that makes it easy to build simple, reliable, and efficient software. - -本系列文章主要针对Go语言，进行入门介绍。 - -引文 - -有两种官方编译器工具链: gc Go编译器和gccgo编译器。 -本文以CentOS 6.2为例介绍，使用编译好的二进制分发包进行安装。 - -下载 - -访问Go project is downloads page。 -(请下载与操作系统环境对应的二进制分发版，本环境使用go.go1.linux-amd64.tar.gz) -注意: 在Linux下，如果是从老版本更新过来的，必须先将老版本删除。（一般是安装在/usr/local/go目录下的） # rm -r /usr/local/go 提取归档文件到 /usr/local 目录，在 /usr/local/go 中创建Go的目录树。 # tar -C /usr/local -xzf go.go1.linux-amd64.tar.gz (通常情况下，这些命令必须以root身份运行，或通过sudo的.) - -环境变量 - -添加 /usr/local/go/bin 到 /etc/profile.d/go.sh (对于CentOS，这样添加便于维护，系统范围的环境变量)，也可以指定用户,$HOME/.bashrc中，建议添加到系统范围的环境变量中。 # vi /etc/profile.d/go.sh 添加如下内容 # Initialization script for go path - -export GOROOT=/usr/local/go -export PATH=$PATH:$GOROOT/bin -使更改立即生效 # source /etc/profile （也可以重启系统使之生效） - -测试 - -很简单，直接在命令行中输入go。 $ go Go is a tool for managing Go source code. - -Usage: - - go command [arguments] - -The commands are: - - build compile packages and dependencies - clean remove object files - doc run godoc on package sources - env print Go environment information - fix run go tool fix on packages - fmt run gofmt on package sources - get download and install packages and dependencies - install compile and install packages and dependencies - list list packages - run compile and run Go program - test test packages - tool run specified go tool - version print Go version - vet run go tool vet on packages - -Use "go help [command]" for more information about a command. - -Additional help topics: - - gopath GOPATH environment variable - packages description of package lists - remote remote import path syntax - testflag description of testing flags - testfunc description of testing functions - -Use "go help [topic]" for more information about that topic. -至此，Go安装完毕。 - -当然，可以更进一步测试，新建hello.go，并输入如下代码： - -package main - -import "fmt" - -func main() { - fmt.Printf("hello, world\n") -} - -使用go的工具运行 - -$ go run hello.go - -hello, world - -如果可以看到“hello, world”这个消息，则表示安装成功。 \ No newline at end of file diff --git "a/Service/go/golang\345\256\230\346\226\271\347\250\213\345\272\217\345\210\206\346\236\220\345\267\245\345\205\267.sh" "b/Service/go/golang\345\256\230\346\226\271\347\250\213\345\272\217\345\210\206\346\236\220\345\267\245\345\205\267.sh" deleted file mode 100644 index 2d0627e..0000000 --- "a/Service/go/golang\345\256\230\346\226\271\347\250\213\345\272\217\345\210\206\346\236\220\345\267\245\345\205\267.sh" +++ /dev/null @@ -1,4 +0,0 @@ -golang官方程序分析工具 - - -go tool pprof http://127.0.0.1:xxxx/debug/pprof/profile \ No newline at end of file diff --git "a/Service/go/go\347\274\226\350\257\221\344\273\243\347\220\206.sh" "b/Service/go/go\347\274\226\350\257\221\344\273\243\347\220\206.sh" deleted file mode 100644 index 00a2da4..0000000 --- "a/Service/go/go\347\274\226\350\257\221\344\273\243\347\220\206.sh" +++ /dev/null @@ -1,9 +0,0 @@ -go编译代理 - - - -export GOPROXY="https://mirrors.aliyun.com/goproxy/" - - - - diff --git a/Service/kafka/.DS_Store b/Service/kafka/.DS_Store deleted file mode 100644 index 158ca0e..0000000 Binary files a/Service/kafka/.DS_Store and /dev/null differ diff --git "a/Service/kafka/Kafka\345\215\225\346\234\272\345\256\211\350\243\205.sh" "b/Service/kafka/Kafka\345\215\225\346\234\272\345\256\211\350\243\205.sh" new file mode 100644 index 0000000..9d30501 --- /dev/null +++ "b/Service/kafka/Kafka\345\215\225\346\234\272\345\256\211\350\243\205.sh" @@ -0,0 +1,24 @@ +Kafka安装 + +安装kafka + +下载：http://people.apache.org/~nehanarkhede/kafka-0.7.0-incubating/kafka-0.7.0-incubating-src.tar.gz + + +> tar xzf kafka-0.7.0-incubating-src.tar.gz + +> cd kafka-0.7.0-incubating-src + +> ./sbt update + +> ./sbt package + +启动zkserver: + +bin/zookeeper-server-start.sh config/zookeeper.properties + +启动server: + +bin/kafka-server-start.sh config/server.properties +# 后台启动 +nohup bin/kafka-server-start.sh /opt/kafka/config/server.properties & \ No newline at end of file diff --git "a/Service/kafka/Kafka\345\256\211\350\243\205\351\205\215\347\275\256.sh" "b/Service/kafka/Kafka\345\256\211\350\243\205\351\205\215\347\275\256.sh" index d80ad21..a39e555 100644 --- "a/Service/kafka/Kafka\345\256\211\350\243\205\351\205\215\347\275\256.sh" +++ "b/Service/kafka/Kafka\345\256\211\350\243\205\351\205\215\347\275\256.sh" @@ -3,17 +3,11 @@ Kafka安装配置 kafka下载：https://www.apache.org/dyn/closer.cgi?path=/kafka/0.8.1/kafka_2.10-0.8.1.tgz 分别在三台服务器上安装kafka： - -# 尽量安装个高版本的kafka,有删除topic的功能,配置上也更多支持一些参数 - tar zxvf kafka_2.10-0.8.1.tgz 修改每台服务器的 config/server.properties broker.id: # 唯一，填数字，本文中分别为132/133/134 -#host.name: # 唯一，填服务器IP，之前配置时，把中间的'.'给忘写了，导致kafka集群形同虚设（基本只有leader机器在起作用），以及一系列莫名其妙的问题，伤啊 - -advertised.listeners=PLAINTEXT://-kafka01:9092 # 0.9以后的参数,不加无法写数据 - +host.name: # 唯一，填服务器IP，之前配置时，把中间的'.'给忘写了，导致kafka集群形同虚设（基本只有leader机器在起作用），以及一系列莫名其妙的问题，伤啊 zookeeper.connect=192.168.40.134:2181,192.168.40.132:2181,192.168.40.133:2181 # 一组zookeeper只能被一组kafka使用，但zookeeper同时还可以让其他服务使用，增加删除节点，不影响 @@ -22,136 +16,42 @@ zookeeper.connect=192.168.40.134:2181,192.168.40.132:2181,192.168.40.133:2181 再在每台机器上执行： bin/kafka-server-start.sh config/server.properties -https://kafka.apache.org/documentation.html - # kafka配置注意 - -# broker处理消息的最大线程数，一般情况下不需要去修改 -num.network.threads =4 - -# broker处理磁盘IO的线程数，数值应该大于你的硬盘数 -num.io.threads =8 - -# 一些后台任务处理的线程数，例如过期消息文件的删除等，一般情况下不需要去做修改 -# background.threads =4 - -# 等待IO线程处理的请求队列最大数，若是等待IO的请求超过这个数值，那么会停止接受外部消息，应该是一种自我保护机制。 -# queued.max.requests =500 - - -# 需要配置较大 分片影响并发读写速度 +# 需要配置较大 分片影响读写速度 num.partitions=64 # 数据目录也要单独配置磁盘较大的地方 log.dirs=/data/kafka-logs # 时间按需求保留过期时间 避免磁盘满 -log.retention.hours=96 - -# 是否允许自动创建topic，允许自动创建为true，不允许自动创建为false，就需要通过命令创建topic -auto.create.topics.enable=true -# 最好禁止自动创建,有可能遇到不能创建的情况 - +log.retention.hours=168 +# 后台启动 +nohup bin/kafka-server-start.sh /opt/kafka/config/server.properties & +# 注意 kafka如果有问题 nohup的日志文件会非常大,把磁盘占满 ------------------------------------------------------ +创建topic +bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 3 --partitions 1 --topic mykafka -broker.id=1 -listeners=PLAINTEXT://172.20.81.72:9092 -num.network.threads=3 -num.io.threads=8 -socket.send.buffer.bytes=102400 -socket.receive.buffer.bytes=102400 -socket.request.max.bytes=104857600 -log.dirs=/data1/kafka-logs -#log.dirs=/data/data/kafka,/data02/kafka,/data03/kafka,/data04/kafka -num.partitions=16 -num.recovery.threads.per.data.dir=1 -offsets.topic.replication.factor=2 -transaction.state.log.replication.factor=2 -transaction.state.log.min.isr=1 -log.retention.hours=100 -log.segment.bytes=1073741824 -log.retention.check.interval.ms=300000 -zookeeper.connect=172.20.81.72:2181,172.20.81.73:2181,172.20.81.74:2181 -zookeeper.connection.timeout.ms=6000 -group.initial.rebalance.delay.ms=0 +查看Topic +bin/kafka-topics.sh --list --zookeeper localhost:2181 +显示Topic：mykafka ------------------------------------------------------ - -# 启动服务 -vim /data/kafka_2.12-1.1.0/start.sh -/data/kafka_2.12-1.1.0/bin/kafka-server-start.sh -daemon /data/kafka_2.12-1.1.0/config/server.properties - - - - -[program:kafka] -directory=/app/kafka-2.12/ -environment=JAVA_HOME=/usr/local/jdk1.8.0_151/ -command=/app/kafka-2.12/bin/kafka-server-start.sh /app/kafka-2.12/config/server.properties -user=root -stopsignal=TERM -stopasgroup=true -autorestart=true -startretries = 3 -redirect_stderr=true -stdout_logfile=/data/log/supervisor/kafka.log -stdout_logfile_maxbytes=50MB -stdout_logfile_backups=10 -loglevel=info - - -[program:zookeeper] -directory=/app/zookeeper-3.5.5/ -environment=JAVA_HOME=/usr/local/jdk1.8.0_151/ -command=/app/zookeeper-3.5.5/bin/zkServer.sh start-foreground -user=root -stopsignal=TERM -stopasgroup=true -autorestart=true -startretries = 3 -redirect_stderr=true -stdout_logfile=/data/log/supervisor/zookeeper.log -stdout_logfile_maxbytes=50MB -stdout_logfile_backups=10 -loglevel=info - - -# 创建topic -./kafka-topics.sh --create --zookeeper 127.0.0.1:2181 --replication-factor 3 --partitions 32 --topic mykafka - -# 查看Topic -./kafka-topics.sh --list --zookeeper 127.0.0.1:2181 -显示Topic： mykafka - -# 查看详细信息 -./kafka-topics.sh --describe --zookeeper 127.0.0.1:2181 +查看详细信息 +bin/kafktopics.sh --describe --zookeeper 192.168.40.132:2181 Topic:mykafka PartitionCount:1 ReplicationFactor:3 Configs: Topic: mykafka Partition: 0 Leader: 133 Replicas: 133,134,132 Isr: 134 +发送消息 +bin/kafka-console-producer.sh --broker-list 192.168.40.134:9092 --topic mykafka +23423 -# 获取 group 列表 -./kafka-consumer-groups.sh --bootstrap-server 127.0.0.1:9092 --list - -KMOffsetCache-sh-inf-manager01.in.izuiyou.com -im-consumer - -# 查看group每个线程消费信息 -./kafka-consumer-groups.sh --bootstrap-server 127.0.0.1:9092 --describe --group im-consumer -TOPIC PARTITION CURRENT-OFFSET LOG-END-OFFSET LAG CONSUMER-ID HOST CLIENT-ID -im_status 11 2915479 2915481 2 sarama-fe61af2d-a76a-4049-9d74-b017277f96a1 /172.16.2.72 sarama - - - -# 发送消息 -./kafka-console-producer.sh --broker-list 172.20.82.5:9092 --topic mykafka - - +bin/kafka-console-producer.sh --brokelist 192.168.40.134:9092 --topic mykafka +4533 如果出现以下信息，则需要下载slftj-nop-1.5.jar，并将其cp至kafka的libs目录下： @@ -161,52 +61,32 @@ SLF4J: Defaulting to no-operation (NOP) logger implementation SLF4J: See http://www.slf4j.org/codes.html#StaticLoggerBinder for further details. -# 接收消息 --from-beginning 从头 -./kafka-console-consumer.sh --bootstrap-server 127.0.0.1:9092 --topic mykafka --from-beginning - - -# 修改group offsets 位置 到最新的 -./kafka-consumer-groups.sh --bootstrap-server 127.0.0.1:9092 --group sensor_consumer_test --topic sensor_stream_test --reset-offsets --to-latest --execute - -# 0.8.2以后加的删除topic -./kafka-topics.sh --zookeeper 127.0.0.1:2181 --delete --topic mykafka_test1 - - -# 停止应执行脚本(传递ctrl+c的信号),这样加载避免检测错误,加载快 -sh kafka-server-stop.sh - - - - - - - - - - - - - - - +接收消息 +bin/kafka-console-consumer.sh --zookeeper 192.168.40.133:2181 --topic mykafka --from-beginning +停止应执行脚本(传递ctrl+c的信号),这样加载避免检测错误,加载快 +sh bin/kafka-server-stop.sh -# 这个错误可能因为zookeeper信息错误导致的,新创建topic写数据一直报错, 最后把集群全部关闭后重启恢复 +# kafka插件 -WARN Error while fetching metadata [{TopicMetadata for topic mykafka_test -> -No partition metadata for topic mykafka_test due to kafka.common.LeaderNotAvailableException}] for topic [mykafka_test]: class kafka.common.LeaderNotAvailableException (kafka.producer.BrokerPartitionInfo) -[2015-07-27 16:47:24,130] ERROR Failed to collate messages by topic, partition due to: Failed to fetch topic metadata for topic: mykafka_test (kafka.producer.async.DefaultEventHandler) +# the host of the StatsD server (localhost) +external.kafka.statsd.host=10.10.76.71 +# the port of the StatsD server (8125) +external.kafka.statsd.port=8125 +./statsdaemon -address=10.10.76.71:8125 -graphite=10.10.76.42:2003 -opentsdb=10.13.80.115:4243 +tail -f nohup.out +# 在重启kafka8集群中的单台 如果有持续如下提示警告[几条很快过去的可忽略], 需要先停掉整个集群, 在全部启动. +# 正常日志启动过程应该是 先加载数据,在一直输入提示关闭链接 +[2015-07-08 04:30:26,582] WARN [Kafka-91] Produce request with correlation id 25970079 from client rdkafka on partition [msg,24] failed due to Topic push-broker-msg either doesnt exist or is in the process of being deleted (kafka.server.KafkaApis) +[2015-07-08 04:30:26,582] WARN [Kafka-91] Fetch request with correlation id 12 from client syn.recNews.clienttorec.topic.group.kafka8.ads-ConsumerFetcherThread-syn.recNews.clienttorec.topic.group.kafka8.ads_yd-33-177-1429496275939-a7b49c84-0-91 on partition [test.syn.recNews.clienttorec.topic,5] failed due to Topic test.syn.recNews.clienttorec.topic either doesnt exist or is in the process of being deleted (kafka.server.KafkaApis) -# 无法创建topic 可能是zookeeper信息出问题, 建议删除topic 重启zookeeper和kafka集群 -No partition metadata for topic mykafka_test2 due to kafka.common.LeaderNotAvailableException}] for topic [mykafka_test2]: class kafka.common.LeaderNotAvailableException -07-28 10:35:15 ERROR - Failed to send requests for topics mykafka_test2 with correlation ids in [0,8] diff --git a/Service/kafka/kafka-manager.py b/Service/kafka/kafka-manager.py deleted file mode 100644 index 9692d74..0000000 --- a/Service/kafka/kafka-manager.py +++ /dev/null @@ -1,150 +0,0 @@ -#!/usr/bin/python -#!-*- coding:utf8 -*- -import time - -from bs4 import BeautifulSoup -import urllib2 -import requests -import re -import cPickle -import json - - -# 'group::topic':500, -AlarmList= { -'snookerGroup:social_like_event_online_topic:ZK':2000, -'sanda:sanda_product_push:KF':10000000, -} - -TestList = [ -'flume:sanda_hive:KF', -'test:keep-ping:KF' -] - -topiclist='http://p-kafka-01:9000/clusters/kafka/topics' -r = requests.get(topiclist).content - -rs = BeautifulSoup(r, "html.parser") - -trs = rs.find_all("table")[1] - -OffsetAll = {} - -try: - pkl_file = open('/tmp/kafka.pkl','rb') - OffsetOld = cPickle.load(pkl_file) - pkl_file.close() -except: - pass -#print OffsetOld - -#Alarm = '' - -payload = [] - -log = {} - -for t in trs.find_all('a'): - topic = t.text - if topic != '__consumer_offsets': - topicurl='http://p-kafka-01:9000/clusters/kafka/topics/%s' %topic - g = requests.get(topicurl).content - gs = BeautifulSoup(g, "html.parser") - tgs = gs.find_all("table")[4] - for tr in tgs.find_all('tr'): - group = tr.find_all("td")[0].a.text - Type = tr.find_all("td")[1].text - if not group.startswith('console-consumer-') and not group.startswith('Python-consumer'): - lagurl = 'http://p-kafka-01:9000/clusters/kafka/consumers/%s/topic/%s/type/%s' %(group, topic, Type) - l = requests.get(lagurl).content - ls = BeautifulSoup(l, "html.parser") - - lag = ls.find_all("table")[0].find_all("td")[1].text - #print lag - #print "%s %s %s" %(group, topic, lag) - GroupKey = '%s:%s:%s' %(group, topic, Type) - - Offset = 0 - for f in ls.find_all("table")[1].find_all("tr")[1:]: - #print f.find_all("td")[2].text - PartitionOffset = int(f.find_all("td")[2].text.strip()) - Offset = Offset + PartitionOffset - print GroupKey,Offset - OffsetAll[GroupKey] = Offset - try: - rate = Offset - OffsetOld[GroupKey] - except: - rate = 0 - try: - log[GroupKey] = [int(lag), Offset, rate] - except: - continue - - if GroupKey in AlarmList: - if int(lag) > AlarmList[GroupKey]: - - if GroupKey == 'sanda:sanda_push:KF': - if rate < 500: - #Alarm = '%s[%s] %s' %(GroupKey, lag, Alarm) - value = lag - else: - value = 0 - else: - #Alarm = '%s[%s] %s' %(GroupKey, lag, Alarm) - value = lag - else: - value = 0 - - elif GroupKey in TestList: - continue - else: - if int(lag) > 1000: - #Alarm = '%s[%s] %s' %(GroupKey, lag, Alarm) - value = lag - else: - value = 0 - - - ts = int(time.time()) - payload.append( - { - "endpoint": "p-kafka-01", - "metric": "kafka.group.lag.alarm", - "timestamp": ts, - "step": 60, - "value": value, - "counterType": "GAUGE", - "tags": "topic=%s,group=%s,type=%s" %(topic,group,Type), - } - ) - - payload.append( - { - "endpoint": "p-kafka-01", - "metric": "kafka.group.lag", - "timestamp": ts, - "step": 60, - "value": lag, - "counterType": "GAUGE", - "tags": "topic=%s,group=%s,type=%s" %(topic,group,Type), - } - ) - #print GroupKey,value - - - - - #raw_input() -#print OffsetAll -pkl_file = open('/tmp/kafka.pkl','wb') -cPickle.dump(OffsetAll,pkl_file) -pkl_file.close() - - -f = file('/tmp/kafka.log', 'a') -f.write(json.dumps(log)) -f.write('\n') -f.flush() -f.close() - -r = requests.post("http://127.0.0.1:1988/v1/push", data=json.dumps(payload)) \ No newline at end of file diff --git "a/Service/logrotate/logrotate\345\267\245\345\205\267\347\232\204\344\275\277\347\224\250.sh" "b/Service/logrotate/logrotate\345\267\245\345\205\267\347\232\204\344\275\277\347\224\250.sh" new file mode 100644 index 0000000..0386a1f --- /dev/null +++ "b/Service/logrotate/logrotate\345\267\245\345\205\267\347\232\204\344\275\277\347\224\250.sh" @@ -0,0 +1,212 @@ + logrotate工具的使用 + + logrotate是作为linux系统日志的管理工具存在。他可以轮换，压缩，邮件系统日志文件。 + 默认的logrotate被加入cron的/etc/cron.daily中作为每日任务执行。 + /etc/logrotate.conf为其默认配置文件指定每个日志文件的默认规则。 + /etc/logrotate.d/* 为/etc/logrotate.conf默认包含目录其中文件也会被logrotate读取。指明每个日志文件的特定规则。 + + /var/lib/logrotate/statue中默认记录logrotate上次轮换日志文件的时间。 + + 在debian下，在/etc/cron.daily/中会存在一个sysklogd任务。这个每日执行任务由cron启动， + 任务会轮换系统默认日志文件。默认日志文件会由syslogd-listfiles命令给出。同时会killall -HUP syslogd重启syslog服务。 + + 在redhat下，会在/etc/logrotate.d/下会存在一个syslog任务，这个任务由logrotate启动， + 也会轮换系统默认日志文件。同时重启syslog服务。 + 对于linux 的系统安全来说，日志文件是极其重要的工具。 + 系统管理员可以使用logrotate 程序用来管理系统中的最新的事件。logrotate 还可以用来备……对于linux 的系统安全来说，日志文件是极其重要的工具。 + 系统管理员可以使用logrotate 程序用来管理系统中的最新的事件。logrotate 还可以用来备份日志文件，本篇将通过以下几部分来介绍 + + 日志文件的管理： + 1、logrotate 配置 + 2、缺省配置logrotate + 3、使用include 选项读取其他配置文件 + 4、使用include 选项覆盖缺省配置 + 5、为指定的文件配置转储参数 + + 一、logrotate 配置 + + logrotate 程序是一个日志文件管理工具。用来把旧的日志文件删除，并创建新的日志文件，我们把它叫做“转储”。我们可以根据日志文件的大小，也可以根据其天数来转储，这个过程一般通过cron 程序来执行。 + logrotate 程序还可以用于压缩日志文件，以及发送日志到指定的E-mail 。 + + logrotate 的配置文件是/etc/logrotate.conf。主要参数如下表： + + 参数 功能 + compress 通过gzip 压缩转储以后的日志 + nocompress 不需要压缩时，用这个参数 + copytruncate 用于还在打开中的日志文件，把当前日志备份并截断 + nocopytruncate 备份日志文件但是不截断 + create mode owner group 转储文件，使用指定的文件模式创建新的日志文件 + nocreate 不建立新的日志文件 + delaycompress 和compress 一起使用时，转储的日志文件到下一次转储时才压缩 + nodelaycompress 覆盖delaycompress 选项，转储同时压缩。 + errors address 专储时的错误信息发送到指定的Email 地址 + ifempty 即使是空文件也转储，这个是logrotate 的缺省选项。 + notifempty 如果是空文件的话，不转储 + mail address 把转储的日志文件发送到指定的E-mail 地址 + nomail 转储时不发送日志文件 + olddir directory 转储后的日志文件放入指定的目录，必须和当前日志文件在同一个文件系统 + noolddir 转储后的日志文件和当前日志文件放在同一个目录下 + prerotate/endscript 在转储以前需要执行的命令可以放入这个对，这两个关键字必须单独成行 + postrotate/endscript 在转储以后需要执行的命令可以放入这个对，这两个关键字必须单独成行 + daily 指定转储周期为每天 + weekly 指定转储周期为每周 + monthly 指定转储周期为每月 + rotate count 指定日志文件删除之前转储的次数，0 指没有备份，5 指保留5 个备份 + tabootext [+] list 让logrotate 不转储指定扩展名的文件，缺省的扩展名是：.rpm-orig, .rpmsave, v, 和~ + size size 当日志文件到达指定的大小时才转储，Size 可以指定bytes (缺省)以及KB (sizek)或者MB (sizem). + + 二、缺省配置logrotate + + logrotate 缺省的配置募?/etc/logrotate.conf。 + Red Hat linux 缺省安装的文件内容是： + + # see “man logrotate” for details + # rotate log files weekly + weekly + + # keep 4 weeks worth of backlogs + rotate 4 + + # send errors to root + errors root + # create new (empty) log files after rotating old ones + create + + # uncomment this if you want your log files compressed + #compress + 1 + # RPM packages drop log rotation information into this directory + include /etc/logrotate.d + + # no packages own lastlog or wtmp –we”ll rotate them here + /var/log/wtmp { + monthly + create 0664 root utmp + rotate 1 + } + + /var/log/lastlog { + monthly + rotate 1 + } + + # system-specific logs may be configured here + + 缺省的配置一般放在logrotate.conf 文件的最开始处，影响整个系统。在本例中就是前面12行。 + + 第三行weekly 指定所有的日志文件每周转储一次。 + 第五行rotate 4 指定转储文件的保留4份。 + 第七行errors root 指定错误信息发送给root。 + 第九行create 指定logrotate 自动建立新的日志文件，新的日志文件具有和 + 原来的文件一样的权限。 + 第11行#compress 指定不压缩转储文件，如果需要压缩，去掉注释就可以了。 + + 三、使用include 选项读取其他配置文件 + include 选项允许系统管理员把分散到几个文件的转储信息，集中到一个 + 主要的配置文件。当logrotate 从logrotate.conf 读到include 选项时，会从指定文件读入配置信息，就好像他们已经在/etc/logrotate.conf 中一样。 + + 第13行include /etc/logrotate.d 告诉logrotate 读入存放在/etc/logrotate.d 目录中的日志转储参数，当系统中安装了RPM 软件包时，使用include 选项十分有用。RPM 软件包的日志转储参数一般存放在/etc/logrotate.d 目录。 + + include 选项十分重要，一些应用把日志转储参数存放在/etc/logrotate.d 。 + + 典型的应用有：apache, linuxconf, samba, cron 以及syslog。 + + 这样，系统管理员只要管理一个/etc/logrotate.conf 文件就可以了。 + + 四、使用include 选项覆盖缺省配置 + + 当/etc/logrotate.conf 读入文件时，include 指定的文件中的转储参数将覆盖缺省的参数，如下例： + + # linuxconf 的参数 + /var/log/htmlaccess.log + { errors jim + notifempty + nocompress + weekly + prerotate + /usr/bin/chattr -a /var/log/htmlaccess.log + endscript + postrotate + /usr/bin/chattr +a /var/log/htmlaccess.log + endscript + } + /var/log/netconf.log + { nocompress + monthly + } + + 在这个例子中，当/etc/logrotate.d/linuxconf 文件被读入时，下面的参数将覆盖/etc/logrotate.conf中缺省的参数。 + + Notifempty + errors jim + + 五、为指定的文件配置转储参数 + 经常需要为指定文件配置参数，一个常见的例子就是每月转储/var/log/wtmp。为特定文件而使用的参数格式是： + + # 注释 + /full/path/to/file + { + option(s) + } + + 下面的例子就是每月转储/var/log/wtmp 一次： + #Use logrotate to rotate wtmp + /var/log/wtmp + { + monthly + rotate 1 + } + + 六、其他需要注意的问题 + + 1、尽管花括号的开头可以和其他文本放在同一行上，但是结尾的花括号必须单独成行。 + + 2、使用prerotate 和postrotate 选项 + 下面的例子是典型的脚本/etc/logrotate.d/syslog，这个脚本只是对 + /var/log/messages 有效。 + + /var/log/messages + { + prerotate + /usr/bin/chattr -a /var/log/messages + endscript + postrotate + /usr/bin/kill -HUP syslogd + /usr/bin/chattr +a /var/log/messages + endscript + } + + 第一行指定脚本对/var/log messages 有效 + 花ê哦阅诓康慕疟驹诵杏? /var/log/messages + prerotate 命令指定转储以前的动作/usr/bin/chattr -a 去掉/var/log/messages文件的“只追加”属性endscript 结束prerotate 部分的脚本postrotate 指定转储后的动作 + + /usr/bin/killall -HUP syslogd + + 用来重新初始化系统日志守护程序syslogd + + /usr/bin/chattr +a /var/log/messages + + 重新为/var/log/messages 文件指定“只追加”属性，这样防治程序员或用户覆盖此文件。 + + 最后的endscript 用于结束postrotate 部分的脚本 + + 3、logrotate 的运行分为三步： + + 判断系统的日志文件，建立转储计划以及参数，通过cron daemon 运行下面的代码是Red Hat linux 缺省的crontab 来每天运行logrotate。 + + #/etc/cron.daily/logrotate + #! /bin/sh + + /usr/sbin/logrotate /etc/logrotate.conf + + 4、/var/log/messages 不能产生的原因： + 这种情况很少见，但是如果你把/etc/services 中的514/UDP 端口关掉的话，这个文件就不能产生了。 + + 否则如果不重启syslogd服务，日志默认不会记录到新生成的日志文件中，依然记录在原文件中。 + + 所以轮换日志文件之后，重启syslogd服务是很重要的。 + + logrotate 也可以直接执行 后直接跟配置文件就可以了。 + -v 给出详细信息 + -d debug模式，不更改日志文件内容 模拟执行 + -f 强制执行，忽略所有规则 \ No newline at end of file diff --git "a/Service/logrotate/logrotate\351\205\215\347\275\256.sh" "b/Service/logrotate/logrotate\351\205\215\347\275\256.sh" new file mode 100644 index 0000000..324ca1a --- /dev/null +++ "b/Service/logrotate/logrotate\351\205\215\347\275\256.sh" @@ -0,0 +1,27 @@ +0 0 * * * /usr/sbin/logrotate -f /opt/scm/log/push-receive-worker/push_logstatus.conf + +/usr/sbin/logrotate -f /opt/scm/log/push-receive-worker/push_logstatus.conf + +# /opt/scm/log/push-receive-worker/push_logstatus.conf +/opt/scm/log/push-receive-worker/push-receive-worker.log { +daily +copytruncate +ifempty +#olddir /opt/scm/log/push-receive-worker/ +rotate 7 +dateext +} + + +/opt/smc/log/server/*.log /opt/smc/log/server/*.err { +daily +copytruncate +ifempty +olddir /opt/smc/log/debuglog +rotate 7 +dateext +} + + + +# 注意 如果目录不存在要及时去掉,否则所有切割报错. 要不可以分成多个 {} 任务 则不互相影响 diff --git a/Service/mongodb/.DS_Store b/Service/mongodb/.DS_Store deleted file mode 100644 index 17407d4..0000000 Binary files a/Service/mongodb/.DS_Store and /dev/null differ diff --git "a/Service/mongodb/mongodb\347\232\204\345\256\211\350\243\205\345\217\212\344\270\273\344\273\216\345\244\215\345\210\266.sh" "b/Service/mongodb/mongodb\347\232\204\345\256\211\350\243\205\345\217\212\344\270\273\344\273\216\345\244\215\345\210\266.sh" new file mode 100644 index 0000000..3dd5115 --- /dev/null +++ "b/Service/mongodb/mongodb\347\232\204\345\256\211\350\243\205\345\217\212\344\270\273\344\273\216\345\244\215\345\210\266.sh" @@ -0,0 +1,222 @@ +mongodb的安装及主从复制 + +一、mongodb安装 +1.下载mongodblinux版本（注意32位和64位的区别） +wget http://downloads.mongodb.org/linux/mongodb-linux-x86_64-2.0.7.tgz + +2.解压 +tar xvf mongodb-linux-x86_64-2.0.7.tgz +mkdir /usr/local/mongodb +mv mongodb-linux-x86_64-2.0.7/* /usr/local/mongodb + +3.创建数据库文件目录 +如果有单独的分区，把mongodb数据库文件目录挂载到单独分区更好 +mkdir -p /mongo/data +创建mongodb日志文件 +mkdir /var/log/mongodb +touch /var/log/mongodb/mongodb.log + +4.创建mongo命令的软连接 +mongo bin目录下的脚本文件可以直接用了 +ln -s /usr/local/mongodb/bin/* /usr/sbin + +mongodb的bin下各工具的用途： +mongod：数据库服务端，类似mysqld，每个实例启动一个进程，可以fork为Daemon运行 +mongo：客户端命令行工具，类似sqlplus/mysql，其实也是一个js解释器，支持js语法 +mongodump/mongorestore：将数据导入为bson格式的文件/将bson文件恢复为数据库，类似xtracbackup +mongoexport/mongoimport：将collection导出为json/csv格式数据/将数据导入数据库，类似mysqldump/mysqlimport +bsondump：将bson格式的文件转储为json格式的数据 +mongos：分片路由，如果使用了sharding功能，则应用程序连接的是mongos而不是mongod +mongofiles：GridFS管理工具 +mongostat：实时监控工具 + +5启动mongodb （两种方法） +方法一：直接命令行启动 +mongod –-port 27017 --fork --logpath=/var/log/mongodb/mongodb.log --logappend --dbpath=/mongo/db + +方法二：（配置文件启动:推荐） +mkdir /usr/local/mongodb/conf +cd /usr/local/mongodb/conf +vim mongod.conf + port=27017 #端口号 + fork=true #以守护进程的方式运行，创建服务器进程 + logpath=/var/log/mongodb/mongodb.log #日志输出文件路径 + logappend=true #日志输出方式 + dbpath=/mongo/db #数据库路径 + shardsvr=true #设置是否分片 + maxConns=600 #数据库的最大连接数 + +启动： mongod -f /usr/local/mongodb/conf/mongod.conf + +6.验证 +端口27017和28017是否打开 +netstat -nultp + +mongo命令进入mongo shell + +二、mongodb主从复制配置 +主从复制是mongodb最常用的复制方式,这种方式很灵活.可用于备份,故障恢复,读扩展等. +最基本的设置方式就是建立一个主节点和一个或多个从节点,每个从节点要知道主节点的地址. +这里我们用一主一从实现mongodb的复制 +1.主机 +mongodb-master 10.48.255.244 master +mongodb-slave 10.48.255.243 slave + +2.把以上安装过程应用于mongodb这两个主机，配置文件稍加改动 +在mongodb-master上，配置文件增加 +master=true +oplogSize=2048 #类似于mysql的日志滚动，单位m + +在mongodb-slave上，配置文件增加： +slave=true +source=10.48.100.1:27017 #指定主mongodb server +slavedelay=10 #延迟复制，单位为秒 +autoresync=true #当发现从服务器的数据不是最新时，向主服务器请求同步数据 + +三、测试主从可用性 +在两主机上启动mongodb： mongod -f /usr/local/mongodb/conf/mongod.conf +1.看日志信息 +主上日志： +# tail /var/log/mongodb/mongodb.log +Thu Aug 16 17:59:44 [initandlisten] connection accepted from 10.48.255.243:38034 #1 +Thu Aug 16 17:59:57 [conn1] end connection 10.48.255.243:38034 +Thu Aug 16 18:00:08 [initandlisten] connection accepted from 10.48.255.243:38035 #2 +Thu Aug 16 18:00:43 [clientcursormon] mem (MB) res:30 virt:8749 mapped:4302 + +从上日志 +# tail /var/log/mongodb/mongodb.log +Thu Aug 16 18:00:28 [replslave] repl: from host:10.48.255.244:27017 +Thu Aug 16 18:00:28 [replslave] repl: applied 1 operations +Thu Aug 16 18:00:28 [replslave] repl: syncedTo: Aug 16 18:00:17 502d3531:1 +Thu Aug 16 18:00:28 [replslave] waiting until: 1345140038 to continue +Thu Aug 16 18:00:28 [replslave] repl: sleep 10 sec before next pass +Thu Aug 16 18:00:38 [replslave] repl: from host:10.48.255.244:27017 +Thu Aug 16 18:00:38 [replslave] repl: applied 1 operations +Thu Aug 16 18:00:38 [replslave] repl: syncedTo: Aug 16 18:00:27 502d353b:1 +Thu Aug 16 18:00:38 [replslave] waiting until: 1345140048 to continue +Thu Aug 16 18:00:38 [replslave] repl: sleep 10 sec before next pass + +由上述信息知道主从可以建立通信了 + +2.下面我们在主上创建数据库，并插入集合文档，看其是否同步 +在主服务器上： +# mongo +MongoDB shell version: 2.0.7 +connecting to: test +> show dbs +local 4.201171875GB +> use xin +switched to db xin +> db.test.save({title:"just test"}) +> db.test.find() +{ "_id" : ObjectId("502d3643c5664ca66103a7cf"), "title" : "just test" } +> show dbs +local 4.201171875GB +xin 0.203125GB +> +注：xin是数据库名，test是集合名，{title:"just test"}是文档 +mongodb中使用use即可创建一个数据库当然也可以切换数据库，和mysql有很大区别吧 + +让我们来看看日志吧 +主 server上的日志： +Thu Aug 16 18:04:51 [FileAllocator] creating directory /mongo/db/_tmp +Thu Aug 16 18:04:51 [FileAllocator] done allocating datafile /mongo/db/xin.ns, size: 16MB, took 0.001 secs +Thu Aug 16 18:04:53 [FileAllocator] allocating new datafile /mongo/db/xin.0, filling with zeroes... +Thu Aug 16 18:04:53 [FileAllocator] done allocating datafile /mongo/db/xin.0, size: 64MB, took 0.034 secs +Thu Aug 16 18:04:53 [FileAllocator] allocating new datafile /mongo/db/xin.1, filling with zeroes... +Thu Aug 16 18:04:53 [FileAllocator] done allocating datafile /mongo/db/xin.1, size: 128MB, took 0.04 secs +Thu Aug 16 18:04:53 [conn3] build index xin.test { _id: 1 } +Thu Aug 16 18:04:53 [conn3] build index done 0 records 0.012 secs +Thu Aug 16 18:04:53 [conn3] insert xin.test 2892ms +Thu Aug 16 18:05:07 [initandlisten] connection accepted from 10.48.255.243:60173 #4 +Thu Aug 16 18:05:08 [conn4] end connection 10.48.255.243:60173 + +从 server上的日志： +Thu Aug 16 18:05:04 [replslave] repl: from host:10.48.255.244:27017 +Thu Aug 16 18:05:04 [replslave] resync: dropping database xin +Thu Aug 16 18:05:04 [replslave] removeJournalFiles +Thu Aug 16 18:05:04 [replslave] resync: cloning database xin to get an initial copy +Thu Aug 16 18:05:04 [FileAllocator] allocating new datafile /mongo/db/xin.ns, filling with zeroes... +Thu Aug 16 18:05:04 [FileAllocator] creating directory /mongo/db/_tmp +Thu Aug 16 18:05:04 [FileAllocator] done allocating datafile /mongo/db/xin.ns, size: 16MB, took 0 secs +Thu Aug 16 18:05:04 [FileAllocator] allocating new datafile /mongo/db/xin.0, filling with zeroes... +Thu Aug 16 18:05:04 [FileAllocator] done allocating datafile /mongo/db/xin.0, size: 64MB, took 0 secs +Thu Aug 16 18:05:04 [FileAllocator] allocating new datafile /mongo/db/xin.1, filling with zeroes... +Thu Aug 16 18:05:04 [FileAllocator] done allocating datafile /mongo/db/xin.1, size: 128MB, took 0.001 secs +Thu Aug 16 18:05:04 [replslave] build index xin.test { _id: 1 } +Thu Aug 16 18:05:04 [replslave] build index done 1 records 0 secs +Thu Aug 16 18:05:04 [replslave] resync: done with initial clone for db: xin +Thu Aug 16 18:05:04 [replslave] repl: applied 1 operations + +由上述日志可以看出xin数据库已经同步到从 server上了 + +3.我们进入从 server 的mongodb shell,确认一下 +# mongo +MongoDB shell version: 2.0.7 +connecting to: test +> show dbs +local 0.203125GB +xin 0.203125GB +> +> use xin +switched to db xin +> db.test.find() +{ "_id" : ObjectId("502d3643c5664ca66103a7cf"), "title" : "just test" } + + +我们创建的数据库数据并不多，为什么会有0.2G呢，这是因为mongodb预分配数据库的空间，这使下次向数据库中插入数据更快了 + +4.在 从server 上查看Collection(集合)状态 +> db.printCollectionStats() +system.indexes +{ +"ns" : "xin.system.indexes", +"count" : 1, +"size" : 64, +"avgObjSize" : 64, +"storageSize" : 4096, +"numExtents" : 1, +"nindexes" : 0, +"lastExtentSize" : 4096, +"paddingFactor" : 1, +"flags" : 0, +"totalIndexSize" : 0, +"indexSizes" : { +}, +"ok" : 1 +} +--- +test +{ +"ns" : "xin.test", +"count" : 1, +"size" : 44, +"avgObjSize" : 44, +"storageSize" : 8192, +"numExtents" : 1, +"nindexes" : 1, +"lastExtentSize" : 8192, +"paddingFactor" : 1, +"flags" : 1, +"totalIndexSize" : 8176, +"indexSizes" : { +"_id_" : 8176 +}, +"ok" : 1 +} +--- + +在 从server 上查看主从复制的状态 +> db.printReplicationInfo() +this is a slave, printing slave replication info. +source: 10.48.255.244:27017 +syncedTo: Thu Aug 16 2012 18:33:27 GMT+0000 (UTC) += 18 secs ago (0.01hrs) +> +> db.printSlaveReplicationInfo() +source: 10.48.255.244:27017 +syncedTo: Thu Aug 16 2012 18:34:37 GMT+0000 (UTC) += 20 secs ago (0.01hrs) + + +ok,mongodb的主从复制搞定了! \ No newline at end of file diff --git "a/Service/php/php\346\265\213\350\257\225\351\241\265\351\235\242.sh" "b/Service/php/php\346\265\213\350\257\225\351\241\265\351\235\242.sh" new file mode 100644 index 0000000..2e9d7ba --- /dev/null +++ "b/Service/php/php\346\265\213\350\257\225\351\241\265\351\235\242.sh" @@ -0,0 +1,11 @@ +vi index.php + +#低版本 + + +#5.6 + + LoadModule php5_module modules/libphp5.so + + +AddHandler php5-script .php +AddType text/html .php + +DirectoryIndex index.php \ No newline at end of file diff --git "a/Service/php/\346\246\202\345\277\265\344\272\206\350\247\243\357\274\232CGI\357\274\214FastCGI\357\274\214PHP-CGI\344\270\216PHP-FPM.sh" "b/Service/php/\346\246\202\345\277\265\344\272\206\350\247\243\357\274\232CGI\357\274\214FastCGI\357\274\214PHP-CGI\344\270\216PHP-FPM.sh" new file mode 100644 index 0000000..2605c64 --- /dev/null +++ "b/Service/php/\346\246\202\345\277\265\344\272\206\350\247\243\357\274\232CGI\357\274\214FastCGI\357\274\214PHP-CGI\344\270\216PHP-FPM.sh" @@ -0,0 +1,65 @@ +概念了解：CGI，FastCGI，PHP-CGI与PHP-FPM + +CGI + +CGI全称是“公共网关接口”(Common Gateway Interface)，HTTP服务器与你的或其它机器上的程序进行“交谈”的一种工具，其程序须运行在网络服务器上。 + +CGI可以用任何一种语言编写，只要这种语言具有标准输入、输出和环境变量。如php,perl,tcl等。 +FastCGI + +FastCGI像是一个常驻(long-live)型的CGI，它可以一直执行着，只要激活后，不会每次都要花费时间去fork一次（这是CGI最为人诟病的fork-and-execute 模式）。它还支持分布式的运算，即 FastCGI 程序可以在网站服务器以外的主机上执行并且接受来自其它网站服务器来的请求。 + +FastCGI是语言无关的、可伸缩架构的CGI开放扩展，其主要行为是将CGI解释器进程保持在内存中并因此获得较高的性能。众所周知，CGI解释器的反复加载是CGI性能低下的主要原因，如果CGI解释器保持在内存中并接受FastCGI进程管理器调度，则可以提供良好的性能、伸缩性、Fail- Over特性等等。 +FastCGI特点 + + FastCGI具有语言无关性. + FastCGI在进程中的应用程序，独立于核心web服务器运行，提供了一个比API更安全的环境。APIs把应用程序的代码与核心的web服务器链接在一起，这意味着在一个错误的API的应用程序可能会损坏其他应用程序或核心服务器。 恶意的API的应用程序代码甚至可以窃取另一个应用程序或核心服务器的密钥。 + FastCGI技术目前支持语言有：C/C++、Java、Perl、Tcl、Python、SmallTalk、Ruby等。相关模块在Apache, ISS, Lighttpd等流行的服务器上也是可用的。 + FastCGI的不依赖于任何Web服务器的内部架构，因此即使服务器技术的变化, FastCGI依然稳定不变。 + +FastCGI的工作原理 + + Web Server启动时载入FastCGI进程管理器（IIS ISAPI或Apache Module) + FastCGI进程管理器自身初始化，启动多个CGI解释器进程(可见多个php-cgi)并等待来自Web Server的连接。 + 当客户端请求到达Web Server时，FastCGI进程管理器选择并连接到一个CGI解释器。Web server将CGI环境变量和标准输入发送到FastCGI子进程php-cgi。 + FastCGI子进程完成处理后将标准输出和错误信息从同一连接返回Web Server。当FastCGI子进程关闭连接时，请求便告处理完成。FastCGI子进程接着等待并处理来自FastCGI进程管理器(运行在Web Server中)的下一个连接。 在CGI模式中，php-cgi在此便退出了。 + +在上述情况中，你可以想象CGI通常有多慢。每一个Web请求PHP都必须重新解析php.ini、重新载入全部扩展并重初始化全部数据结构。使用FastCGI，所有这些都只在进程启动时发生一次。一个额外的好处是，持续数据库连接(Persistent database connection)可以工作。 +FastCGI的不足 + +因为是多进程，所以比CGI多线程消耗更多的服务器内存，PHP-CGI解释器每进程消耗7至25兆内存，将这个数字乘以50或100就是很大的内存数。 + +Nginx 0.8.46+PHP 5.2.14(FastCGI)服务器在3万并发连接下，开启的10个Nginx进程消耗150M内存（15M*10=150M），开启的64个php-cgi进程消耗1280M内存（20M*64=1280M），加上系统自身消耗的内存，总共消耗不到2GB内存。如果服务器内存较小，完全可以只开启25个php-cgi进程，这样php-cgi消耗的总内存数才500M。 +上面的数据摘自Nginx 0.8.x + PHP 5.2.13(FastCGI)搭建胜过Apache十倍的Web服务器(第6版) +PHP-CGI + +PHP-CGI是PHP自带的FastCGI管理器。 + +PHP-CGI的不足： + + php-cgi变更php.ini配置后需重启php-cgi才能让新的php-ini生效，不可以平滑重启。 + 直接杀死php-cgi进程，php就不能运行了。(PHP-FPM和Spawn-FCGI就没有这个问题，守护进程会平滑从新生成新的子进程。） + +PHP-FPM + +PHP-FPM是一个PHP FastCGI管理器，是只用于PHP的，可以在 http://php-fpm.org/download下载得到。 + +PHP-FPM其实是PHP源代码的一个补丁，旨在将FastCGI进程管理整合进PHP包中。必须将它patch到你的PHP源代码中，在编译安装PHP后才可以使用。 + +现在我们可以在最新的PHP 5.3.2的源码树里下载得到直接整合了PHP-FPM的分支，据说下个版本会融合进PHP的主分支去。相对Spawn-FCGI，PHP-FPM在CPU和内存方面的控制都更胜一筹，而且前者很容易崩溃，必须用crontab进行监控，而PHP-FPM则没有这种烦恼。 + +PHP5.3.3已经集成php-fpm了，不再是第三方的包了。PHP-FPM提供了更好的PHP进程管理方式，可以有效控制内存和进程、可以平滑重载PHP配置，比spawn-fcgi具有更多有点，所以被PHP官方收录了。在./configure的时候带 –enable-fpm参数即可开启PHP-FPM。 +Spawn-FCGI + +Spawn-FCGI是一个通用的FastCGI管理服务器，它是lighttpd中的一部份，很多人都用Lighttpd的Spawn-FCGI进行FastCGI模式下的管理工作，不过有不少缺点。而PHP-FPM的出现多少缓解了一些问题，但PHP-FPM有个缺点就是要重新编译，这对于一些已经运行的环境可能有不小的风险(refer)，在php 5.3.3中可以直接使用PHP-FPM了。 + +Spawn-FCGI目前已经独成为一个项目，更加稳定一些，也给很多Web 站点的配置带来便利。已经有不少站点将它与nginx搭配来解决动态网页。 + +最新的lighttpd也没有包含这一块了(http://www.lighttpd.net/search?q=Spawn-FCGI)，但可以在以前版本中找到它。在lighttpd-1.4.15版本中就包含了(http://www.lighttpd.net/download/lighttpd-1.4.15.tar.gz)，目前Spawn-FCGI的下载地址是http://redmine.lighttpd.net/projects/spawn-fcgi，最新版本是http://www.lighttpd.net/download/spawn-fcgi-1.6.3.tar.gz。 + +注：最新的Spawn-FCGI可以到lighttpd.net网站搜索“Spawn-FCGI”找到它的最新版本发布地址。 +PHP-FPM与spawn-CGI对比 + +PHP-FPM的使用非常方便，配置都是在PHP-FPM.ini的文件内，而启动、重启都可以从php/sbin/PHP-FPM中进行。更方便的是修改php.ini后可以直接使用PHP-FPM reload进行加载，无需杀掉进程就可以完成php.ini的修改加载 +结果显示使用PHP-FPM可以使php有不小的性能提升。PHP-FPM控制的进程cpu回收的速度比较慢,内存分配的很均匀。 +Spawn-FCGI控制的进程CPU下降的很快，而内存分配的比较不均匀。有很多进程似乎未分配到，而另外一些却占用很高。可能是由于进程任务分配的不均匀导致的。而这也导致了总体响应速度的下降。而PHP-FPM合理的分配，导致总体响应的提到以及任务的平均。 \ No newline at end of file diff --git "a/Service/prometheus-\346\231\256\347\275\227\347\261\263\344\277\256\346\226\257-\346\211\223\347\202\271/Alertmanager\346\231\256\347\275\227\347\261\263\344\277\256\346\226\257\346\212\245\350\255\246.sh" "b/Service/prometheus-\346\231\256\347\275\227\347\261\263\344\277\256\346\226\257-\346\211\223\347\202\271/Alertmanager\346\231\256\347\275\227\347\261\263\344\277\256\346\226\257\346\212\245\350\255\246.sh" deleted file mode 100644 index bf1cf09..0000000 --- "a/Service/prometheus-\346\231\256\347\275\227\347\261\263\344\277\256\346\226\257-\346\211\223\347\202\271/Alertmanager\346\231\256\347\275\227\347\261\263\344\277\256\346\226\257\346\212\245\350\255\246.sh" +++ /dev/null @@ -1,96 +0,0 @@ -Alertmanager普罗米修斯报警 - - - - - -https://github.com/prometheus/alertmanager - - - -https://prometheus.io/download/ - - - - - - -https://github.com/prometheus/alertmanager/releases/download/v0.17.0/alertmanager-0.17.0.linux-amd64.tar.gz - - - -./alertmanager --config.file alertmanager.yml - - -172.20.82.3:9093 - - -/app/alertmanager-0.17.0.linux-amd64/alertmanager --config.file /app/alertmanager-0.17.0.linux-amd64/alertmanager.yml - - - - - - - - -http://172.20.82.3:9090/api/v1/query?query=sum(irate(hystrix_go_errors%7Buri!~%22%2Fadsrv%2Fhttpapi%2Ffetch_feed_ad%7C%2Frecommend%2Franking%7C%2Frecrank%2Fhttpapi%2Frank_with_pb%22%2C%20job!~%22pp-gateway-search%7Csearch-api-c%22%7D%5B1m%5D))%20by(job%2C%20uri)%20*%2030&time=1561983526.258&_=1561983303969 - -2019-07-01 20:18:46 -2019-07-01 20:15:03 - - -http://172.20.82.3:9090/api/v1/query?query=sum(irate(hystrix_go_errors%7Buri!~%22%2Fadsrv%2Fhttpapi%2Ffetch_feed_ad%7C%2Frecommend%2Franking%7C%2Frecrank%2Fhttpapi%2Frank_with_pb%22%2C%20job!~%22pp-gateway-search%7Csearch-api-c%22%7D%5B1m%5D))%20by(job%2C%20uri)%20*%2030&time=1562033829.982&_=1561983303970 - - -2019-07-02 10:17:09 -2019-07-01 20:15:03 - - - -http://172.20.82.3:9090/api/v1/query?query=sum(irate(hystrix_go_errors%7Buri!~%22%2Fadsrv%2Fhttpapi%2Ffetch_feed_ad%7C%2Frecommend%2Franking%7C%2Frecrank%2Fhttpapi%2Frank_with_pb%22%2C%20job!~%22pp-gateway-search%7Csearch-api-c%22%7D%5B1m%5D))%20by(job%2C%20uri)%20*%2030&time=1562033931.254&_=1562033918652 - -2019-07-02 10:18:51 -2019-07-02 10:18:38 - - - -int(round(float(result['value'][1]),0)) - - - - -http://pp-grafana.ixiaochuan.cn/d/j16attLmz/gatewaygai-lan?orgId=1&from=1562034456543&to=1562038056544 - - - - -http://pp-grafana.ixiaochuan.cn/d/j16attLmz/gatewaygai-lan?orgId=1&from=1562034456543&to=1562038056544&fullscreen&panelId=10 - - - - - - - -http://pp-grafana.ixiaochuan.cn/d/j16attLmz/gatewaygai-lan?fullscreen&edit&tab=alert&panelId=10&orgId=1 - - - - - - - - -http://pp-grafana.ixiaochuan.cn/d/j16attLmz/gatewaygai-lan?fullscreen&edit&tab=alert&panelId=10&orgId=1 - - - - - -http://pp-grafana.ixiaochuan.cn/d/j16attLmz/gatewaygai-lan?fullscreen&panelId=10&orgId=1 - - - - - diff --git "a/Service/prometheus-\346\231\256\347\275\227\347\261\263\344\277\256\346\226\257-\346\211\223\347\202\271/prometheus.sh" "b/Service/prometheus-\346\231\256\347\275\227\347\261\263\344\277\256\346\226\257-\346\211\223\347\202\271/prometheus.sh" deleted file mode 100644 index ebb9d17..0000000 --- "a/Service/prometheus-\346\231\256\347\275\227\347\261\263\344\277\256\346\226\257-\346\211\223\347\202\271/prometheus.sh" +++ /dev/null @@ -1,77 +0,0 @@ -prometheus -普罗米修斯 - - -https://prometheus.io/docs/introduction/comparison/ - -https://www.lijiaocn.com/%E9%A1%B9%E7%9B%AE/2018/08/03/prometheus-usage.html#%E8%AF%B4%E6%98%8E - -# 存储数据默认 ./data 目录下 ---storage.tsdb.path: This determines where Prometheus writes its database. Defaults to data/. -# 默认存储15天 ---storage.tsdb.retention.time: This determines when to remove old data. Defaults to 15d. Overrides storage.tsdb.retention if this flag is set to anything other than default. ---storage.tsdb.retention.size: [EXPERIMENTAL] This determines the maximum number of bytes that storage blocks can use (note that this does not include the WAL size, which can be substantial). The oldest data will be removed first. Defaults to 0 or disabled. This flag is experimental and can be changed in future releases. Units supported: KB, MB, GB, PB. Ex: "512MB" - - - -port 9090 - - -# irate 斜率 -# 定义变量 by(job, uri) -# 显示变量 Legend format {{job}} {{uri}} - - -# hystrix_go_attempts 发出去的 -sum(irate(hystrix_go_attempts{uri="/recdegrade/httpapi/recommend"}[1m])) by(job, uri) * 15 - -# xcmetrics_httpsrv_qps 接收到的 -sum(irate(xcmetrics_httpsrv_qps{job="recdegrade.srv.ns",uri!="/recdegrade/httpapi/recommend"}[1m])) by(job,uri) - - -# 匹配5XX -sum (irate(nginx_http_requests_total{status=~"5.*"}[1m])*15) by(uri, status, src, tgt) - - - -uri不匹配两个 -uri!~"/audiospam/.*|/aa/bbb" - -sum (irate(nginx_http_requests_total{status=~"5.*", job="srv-gateway", uri!~"/audiospam/.*|/aa/bbb"}[1m])*15) - - - - - -http://172.20.82.3:9090/graph - - -dmz5xx -sum (irate(nginx_http_requests_total{status=~"5.*", job="dmz-gateway"}[1m])*30) by(uri, status, src, tgt) - - - -srv5xx -sum (irate(nginx_http_requests_total{status=~"5.*", job="srv-gateway"}[1m])*30) by(uri, status, src, tgt) - - - - -http://172.20.82.3:9090/api/v1/query?query=sum%20(irate(nginx_http_requests_total%7Bstatus%3D~%225.*%22%2C%20job%3D%22dmz-gateway%22%7D%5B1m%5D)*30)%20by(uri%2C%20status%2C%20src%2C%20tgt)&time=1562813950.632&_=1562760305540 - - - -url = 'http://172.20.82.3:9090/api/v1/query?query=sum(irate(hystrix_go_errors%7Buri!~%22%2Fadsrv%2Fhttpapi%2Ffetch_review_ad%7C%2Fadsrv%2Fhttpapi%2Ffetch_feed_ad%7C%2Frecommend%2Franking%7C%2Frecrank%2Fhttpapi%2Frank_with_pb%22%2C%20job!~%22pp-gateway-search%7Csearch-api-c%22%7D%5B1m%5D))%20by(job%2C%20uri)%20*%2030&time={0}&_={1}'.format(timestamp, (timestamp - 60)*1000) - - - - - - - - - - - - - diff --git "a/Service/prometheus-\346\231\256\347\275\227\347\261\263\344\277\256\346\226\257-\346\211\223\347\202\271/prometheus.yml" "b/Service/prometheus-\346\231\256\347\275\227\347\261\263\344\277\256\346\226\257-\346\211\223\347\202\271/prometheus.yml" deleted file mode 100644 index 5a87680..0000000 --- "a/Service/prometheus-\346\231\256\347\275\227\347\261\263\344\277\256\346\226\257-\346\211\223\347\202\271/prometheus.yml" +++ /dev/null @@ -1,80 +0,0 @@ -prometheus.yml -# static_configs 静态配置, 默认 /metrics 接口 -# http://172.20.82.148:8081/metrics -# consul_sd_configs 指定consul agent端口 - -# my global config -global: - scrape_interval: 15s # Set the scrape interval to every 15 seconds. Default is every 1 minute. - evaluation_interval: 15s # Evaluate rules every 15 seconds. The default is every 1 minute. - # scrape_timeout is set to the global default (10s). - -# Alertmanager configuration -alerting: - alertmanagers: - - static_configs: - - targets: - # - alertmanager:9093 - -# Load rules once and periodically evaluate them according to the global 'evaluation_interval'. -rule_files: - # - "first_rules.yml" - # - "second_rules.yml" - -# A scrape configuration containing exactly one endpoint to scrape: -# Here it's Prometheus itself. -scrape_configs: - # The job name is added as a label `job=` to any timeseries scraped from this config. - - - - job_name: 'consul-api' - consul_sd_configs: - - server: 'localhost:8500' - metric_relabel_configs: - - source_labels: [uri] - regex: '\/chat\/.*' - action: drop - - source_labels: [uri] - regex: '/chat/.*' - action: drop - - source_labels: [uri] - regex: '\/img\/.*' - action: drop - - source_labels: [uri] - regex: '\/account\/avatar\/.*' - action: drop - - source_labels: [uri] - regex: '\/topic\/cover\/.*' - action: drop - relabel_configs: - - source_labels: ['__address__'] - separator: ':' - regex: '(.*):9(\d+)' - replacement: "${1}:5${2}" - target_label: '__address__' - - source_labels: ['__address__'] - separator: ':' - regex: '(.*):8(\d+)' - replacement: "${1}:4${2}" - target_label: '__address__' - - source_labels: [__meta_consul_service] - #regex: '(.*)\.api\.ns' - #replacement: "${1}-api-c" - target_label: job - - source_labels: [job] - regex: '(.*)\.api\.ns' - replacement: "${1}-api-c" - target_label: job - - job_name: 'prometheus' - static_configs: - - targets: ['localhost:9090'] - - job_name: 'consul_exporter' - static_configs: - - targets: ['localhost:9107'] - - job_name: 'srv-gateway' - static_configs: - - targets: ['172.20.82.131:80','172.20.82.126:80','172.20.82.127:80','172.20.82.128:80'] - - job_name: 'dmz-gateway' - static_configs: - - targets: ['172.20.82.148:8081','172.20.82.149:8081','172.20.82.150:8081','172.20.82.151:8081','172.20.82.152:8081','172.20.82.158:8081','172.20.82.159:8081'] - diff --git a/Service/rabbitmq/.DS_Store b/Service/rabbitmq/.DS_Store deleted file mode 100644 index 5008ddf..0000000 Binary files a/Service/rabbitmq/.DS_Store and /dev/null differ diff --git "a/Service/rabbitmq/rabbitmq\345\256\211\350\243\205.sh" "b/Service/rabbitmq/rabbitmq\345\256\211\350\243\205.sh" new file mode 100644 index 0000000..3ccca8e --- /dev/null +++ "b/Service/rabbitmq/rabbitmq\345\256\211\350\243\205.sh" @@ -0,0 +1,11 @@ +rabbitmq安装 + + yum install rabbitmq-server + chkconfig rabbitmq-server on + /usr/lib/rabbitmq/bin/rabbitmq-plugins list + + # 启动web插件 rabbitmq_management + /usr/lib/rabbitmq/bin/rabbitmq-plugins enable rabbitmq_management + + #管理页面 http://192.168.191.11:15672/#/ # guest guest + diff --git "a/Service/rabbitmq/rabbitmq\347\233\221\346\216\247.sh" "b/Service/rabbitmq/rabbitmq\347\233\221\346\216\247.sh" deleted file mode 100644 index 03bc1ed..0000000 --- "a/Service/rabbitmq/rabbitmq\347\233\221\346\216\247.sh" +++ /dev/null @@ -1,44 +0,0 @@ - -rabbitmq监控 - -https://pulse.mozilla.org/doc/stats.html - - - -import requests -import json - -r = requests.get('http://localhost:15672/api/overview', auth=('admin', 'pGgEz2V^Gjh#Ol-#-OBjcKJs1~3hh4')) -print r.text - -json.loads(r.text) -json.loads(r.text)['queue_totals']['messages_ready'] - - - - - - -host=192.168.1.197 -port=5672 -username=admin -passwd=xxxxxxxxxxxxxxxx -rabbitmq的概念 -http://blog.csdn.net/whycold/article/details/41119807 -rabbitmq的api -https://pulse.mozilla.org/doc/stats.html -https://pulse.mozilla.org/api/ - - -脚本 - -import requests -import json -r = requests.get('http://localhost:15672/api/overview', auth=('admin', 'xxxxxxxxx')) -print r.text -print type(r.text) -json.loads(r.text) -json.loads(r.text)['queue_totals']['messages_ready'] -json.loads(requests.get('http://localhost:15672/api/overview', auth=('admin', 'pGgEz2V^Gjh#Ol-#-OBjcKJs1~3hh4')).text)['queue_totals']['messages_ready'] -json.loads(requests.get('http://localhost:15672/api/overview', auth=('admin', 'pGgEz2V^Gjh#Ol-#-OBjcKJs1~3hh4')).text)['queue_totals']['messages_unacknowledged'] - json.loads(requests.get('http://localhost:15672/api/overview', auth=('admin', 'pGgEz2V^Gjh#Ol-#-OBjcKJs1~3hh4')).text)['queue_totals']['messages'] \ No newline at end of file diff --git "a/Service/rabbitmq/rabbitmq\347\233\221\346\216\247\350\204\232\346\234\254.py" "b/Service/rabbitmq/rabbitmq\347\233\221\346\216\247\350\204\232\346\234\254.py" deleted file mode 100644 index d8e392e..0000000 --- "a/Service/rabbitmq/rabbitmq\347\233\221\346\216\247\350\204\232\346\234\254.py" +++ /dev/null @@ -1,53 +0,0 @@ -#!/usr/bin/python -# coding:utf-8 - -import json -import pycurl -import StringIO -import os -import ast -import sys -import requests - -class check_rabbitmq(): - host_list=['update_search_data','policy_engine','anti_spam_text','anti_spam_snapshot_callback','anti_spam_text','anti_spam_video','proc_express','proc_post','proc_review','report','lite_invite_share_img','ratelimitprocess'] - rb_url='http://172.20.80.217:15672/api/queues/action_vhost' - - def check_message_ready(self): - err_list='ERROR: pipi rabbitmq blocking. ' - try: - r = requests.get(self.rb_url, auth=('mon', 'mon')).json() - for Q in r: - i = Q['name'] - if i in self.host_list: - messages_ready = Q['messages_ready'] - if i == 'lite_invite_share_img': - num = 5 - elif i == 'ratelimitprocess' or i == 'update_search_data': - num = 10000 - else: - num = 500 - if messages_ready > num: - err_list = err_list + "[%s:%s]" %(i, messages_ready) - except: - err_list = 'ERROR: pipi rabbitmq check requests %s fail' %self.rb_url - - if err_list != 'ERROR: pipi rabbitmq blocking. ': - print err_list - headers = {'Content-Type':'application/json'} - ExpansionHost = { - "msgtype": "text", - "text": { - "content": err_list - } - } - RobotURL = 'https://oapi.dingtalk.com/robot/send?access_token=5b48d8828c249da5a5f236a6568d3bf7fbdd0540ca33964d6575245eca12d3ea' - - try: - requests.post(url=RobotURL, headers=headers, data=json.dumps(ExpansionHost)) - except Exception as err: - print str(err) - -if __name__ == '__main__': - sre=check_rabbitmq() - sre.check_message_ready() \ No newline at end of file diff --git "a/Service/rabbitmq/rabbitmq\351\205\215\347\275\256\351\233\206\347\276\244\345\222\214\351\225\234\345\203\217\351\230\237\345\210\227.sh" "b/Service/rabbitmq/rabbitmq\351\205\215\347\275\256\351\233\206\347\276\244\345\222\214\351\225\234\345\203\217\351\230\237\345\210\227.sh" deleted file mode 100644 index a780aba..0000000 --- "a/Service/rabbitmq/rabbitmq\351\205\215\347\275\256\351\233\206\347\276\244\345\222\214\351\225\234\345\203\217\351\230\237\345\210\227.sh" +++ /dev/null @@ -1,54 +0,0 @@ -rabbitmq配置集群和镜像队列 - - -https://jingyan.baidu.com/article/e73e26c0c3841b24adb6a7b9.html - - -镜像队列 - - - -上述配置的RabbitMQ默认集群模式,但并不包管队列的高可用性,尽管互换机、绑定这些可以复制到集群里的任何一个节点,然则队列内容不会复制,固然该模式解决一项目组节点压力,但队列节点宕机直接导致该队列无法应用,只能守候重启,所以要想在队列节点宕机或故障也能正常应用,就要复制队列内容到集群里的每个节点,须要创建镜像队列。 - - -点击admin菜单-->右侧的Policies选项-->左侧最下下边的Add / update a policy - -填写正则 -.* -ha-mode = all - - - - - - -aa这个是刚才添加的 Arguments 参数指定了 x-ha-policy = all - -ab这个是没有指定Arguments参数的,这个可以看出差距的 - -ba和bb是为了做演示效果对比的,这两个是没有符合同步策略的,所以Node后边没有+1的标识,你把鼠标放在+1的标识上就能看到他在另一台机器上也有一个. - -Q:你说要是我重启rabbitmq2的话会出现什么效果.... - -A:aa和ab的+1标识消失,启动后重新恢复. - -Q:要是重启rabbitmq1的话出现什么效果.... - -A:在rabbitmq2上aa和ab的+1标识消失且Node选项中的rabbit@rabbitmq1变成rabbit@rabbitmq2,同时ba和bb消失,重启后依旧消失,哈哈,因为这两个没做镜像哦~ - -这里的镜像队列的集群介绍就到这里,要想做到高可用,需要HA软件的配合哦~ 这里先不做赘述,下篇文章再说吧.... - -报错处理 - -要是错误信息中提示有主节点冲突的话,可以进入到一下目录修改相应的文件 - -cd /usr/local/rabbitmq_server-3.1.3/var/lib/rabbitmq/mnesia -vim rabbit\@rabbitmq2/cluster_nodes.config - -或者直接将这个目录里的文件全都删除,这个是集群的配置文件和持久化的数据存储位置,能改则改实在是迫不得已再删除 - - - - - - diff --git "a/Service/rabbitmq/rabbitmq\351\233\206\347\276\244\345\220\214\346\255\245\351\205\215\347\275\256.sh" "b/Service/rabbitmq/rabbitmq\351\233\206\347\276\244\345\220\214\346\255\245\351\205\215\347\275\256.sh" deleted file mode 100644 index a768ff5..0000000 --- "a/Service/rabbitmq/rabbitmq\351\233\206\347\276\244\345\220\214\346\255\245\351\205\215\347\275\256.sh" +++ /dev/null @@ -1,117 +0,0 @@ - - - -rabbitmq - -配置host -chattr +i /etc/hosts - - - -yum install rabbitmq-server - - - - - - -/etc/rabbitmq/enabled_plugins -# 默认配置即可 -#[rabbitmq_management]. - -/etc/rabbitmq/rabbitmq.config #本机ip端口 -# 默认配置即可 -#[ -# {rabbit, -# [ -# {tcp_listeners, [{"127.0.0.1", 5673}, -# {"172.20.1.86", 5673}]}, -# ] -# } -#] - -#/etc/rabbitmq/rabbitmq-env.conf -#RABBITMQ_NODENAME=rabbit1 -#RABBITMQ_CONFIG_FILE=/etc/rabbitmq/rabbitmq.config - - -#同步cookie 如果格式或权限不对,无法启动 启动后才会生成 -/var/lib/rabbitmq/.erlang.cookie -chown 400 .erlang.cookie -chown rabbitmq.rabbitmq .erlang.cookie - - - -# centos6 -/etc/init.d/rabbitmq-server restart - -# centos7 -systemctl enable rabbitmq-server.service -systemctl start rabbitmq-server.service -systemctl status rabbitmq-server.service -journalctl -r -u rabbitmq-server.service - - -rabbitmq-plugins enable rabbitmq_management - - -先启动第一个, 查看集群状态 -rabbitmqctl cluster_status -rabbitmqctl status - - -在启动第二个,在第二个上,添加第一台 -rabbitmqctl stop_app -rabbitmqctl reset -#rabbitmqctl forget_cluster_node rabbit1@bj-pre-rbq-01.host #删除集群 - -rabbitmqctl join_cluster rabbit1@bj-pre-rbq-01.host #添加到集群 - -rabbitmqctl start_app -rabbitmqctl cluster_status - - - - -设置镜像队列策略, 在任意一个节点上执行： -rabbitmqctl set_policy ha-all "^" '{"ha-mode":"all"}' -将所有队列设置为镜像队列，即队列会被复制到各个节点，各个节点状态保持一直。 - -# 设置各个节点重启后自动同步, 可重复执行修改增加 -rabbitmqctl set_policy ha-all "^" '{"ha-mode":"all","ha-sync-mode":"automatic"}' - - -界面操作 - admin > Policies - - # 增加或更新一个策略,所以是可以直接覆盖的 - Add / update a policy - - Definition加入两项: - - ha-mode=all - - ha-sync-mode=automatic - - - 借助前LVS / HA 就可以高可用 - - - -启动rabbitmq_management功能 -rabbitmq-plugins enable rabbitmq_management -#管理页面 http://192.168.191.11:15672/#/ # guest guest - -添加admin用户，设置密码为admin -rabbitmqctl add_user admin admin - -赋予admin用户administrator角色 -rabbitmqctl set_user_tags admin administrator - -设置admin用户的虚拟主机权限 -rabbitmqctl set_permissions -p / admin '.*' '.*' '.*' -# rabbitmqctl set_permissions -p action_vhost spam '.*' '.*' '.*' - - - - diff --git "a/Service/ssdb/SSDB_\346\224\257\346\214\201_TTL_\350\277\207\346\234\237\346\234\272\345\210\266.sh" "b/Service/ssdb/SSDB_\346\224\257\346\214\201_TTL_\350\277\207\346\234\237\346\234\272\345\210\266.sh" new file mode 100644 index 0000000..201f9f3 --- /dev/null +++ "b/Service/ssdb/SSDB_\346\224\257\346\214\201_TTL_\350\277\207\346\234\237\346\234\272\345\210\266.sh" @@ -0,0 +1,8 @@ +SSDB 支持 TTL 过期机制 + + +从 SSDB 1.6.7 版本开始, 增加了 Key 过期功能, 可以支持 Key 到期自动删除, 这样, SSDB 就可以作为一个持久化的缓存服务来使用. 该功能和 Redis 的 ttl/expire 一样, 使用方法是: + +$ssdb->setx('key', 'value', 60); + +这段代码表示, 设置 key=value, 同时到 60 秒后, 自动删除 key. 需要注意的是, TTL 只支持 KV 数据结构, hash(map) 和 zset 不支持. \ No newline at end of file diff --git "a/Service/ssdb/SSDB_\347\232\204\345\217\214\344\270\273\345\222\214\345\244\232\344\270\273\351\205\215\347\275\256.sh" "b/Service/ssdb/SSDB_\347\232\204\345\217\214\344\270\273\345\222\214\345\244\232\344\270\273\351\205\215\347\275\256.sh" new file mode 100644 index 0000000..26ef259 --- /dev/null +++ "b/Service/ssdb/SSDB_\347\232\204\345\217\214\344\270\273\345\222\214\345\244\232\344\270\273\351\205\215\347\275\256.sh" @@ -0,0 +1,30 @@ + +SSDB 的双主和多主配置 + + +SSDB 数据库是支持双主(双 Master)和多主架构的. 而且, 我们的应用也是部署双主架构, 但当作单主来用. 也就是说, 平时只往其中一个写, 当出现故障时, 整体切换到另一个主上面. 如果应用层已经解决了数据拆分, 也即不会两个节点同时操作一个 key, 那么就可以放心使用双主同时写入. + +SSDB 双主的配置非常简单: +#server 1 + +replication: + slaveof: + id: svc_2 + # sync|mirror, default is sync + type: mirror + ip: 127.0.0.1 + port: 8889 + +#server 2 + +replication: + slaveof: + id: svc_1 + # sync|mirror, default is sync + type: mirror + ip: 127.0.0.1 + port: 8888 + +只需要将 type 设置为 mirror, 然后每个节点各指向对方即可. + +如果是多主, 则每个节点要指向其它 n-1 个节点. \ No newline at end of file diff --git "a/Service/ssdb/SSDB_\351\205\215\347\275\256\346\226\207\344\273\266.sh" "b/Service/ssdb/SSDB_\351\205\215\347\275\256\346\226\207\344\273\266.sh" new file mode 100644 index 0000000..d348d45 --- /dev/null +++ "b/Service/ssdb/SSDB_\351\205\215\347\275\256\346\226\207\344\273\266.sh" @@ -0,0 +1,51 @@ +SSDB 配置文件 + + +SSDB 的配置非常简单, 附带的 ssdb.conf 你不用修改便可以使用. 如果你要高度定制, 还是需要修改一些配置的. 下面做介绍. + +SSDB 的配置文件是一种层级 key-value 的静态配置文件, 通过一个 TAB 缩进来表示层级关系. 以 ‘#’ 号开始的行是注释. 标准的配置文件如下: + +# ssdb-server config + +# relative to path of this file, must exist +work_dir = ./var +pidfile = ./var/ssdb.pid + +server: + ip: 127.0.0.1 # 注意更换内网IP + port: 8888 + +replication: + slaveof: + # sync|mirror, default is sync + #type: sync + #ip: 127.0.0.1 + #port: 8889 + +logger: + level: info + output: log.txt + rotate: + size: 1000000000 + +leveldb: + # in MB + cache_size: 500 + # in KB + block_size: 32 + # in MB + write_buffer_size: 64 + # in MB + compaction_speed: 100 + # yes|no + compression: yes + +work_dir: ssdb-server 的工作目录, 启动后, 会在这个目录下生成 data 和 meta 两个目录, 用来保存 LevelDB 的数据库文件. 这个目录是相对于 ssdb.conf 的相对路径, 也可以指定绝对路径. + +server: ip 和 port 指定了服务器要监听的 IP 和端口号. 如果 ip 是 0.0.0.0, 则表示绑定所有的 IP. 基于安全考虑, 可以将 ip 设置为 127.0.0.1, 这样, 只有本机可以访问了. 如果要做更严格的更多的网络安全限制, 就需要依赖操作系统的 iptables. + +replication: 用于指定主从同步复制. slaveof.ip, slaveof.port 表示, 本台 SSDB 服务器将从这个目标机上同步数据(也即这个配置文件对应的服务器是 slave). 你可以参考 ssdb_slave.conf 的配制. + +logger: 配置日志记录. level 是日志的级别, 可以是 trace|debug|info|error. output 是日志文件的名字, SSDB 支持日志轮转, 在日志文件达到一定大小后, 将 log.txt 改名, 然后创建一个新的 log.txt. + +leveldb: 配置 LevelDB 的参数. 你一般想要修改的是 cache_size 参数, 用于指定缓存大小. 适当的缓存可以提高读性能, 但是过大的缓存会影响写性能. \ No newline at end of file diff --git "a/Service/ssdb/ssdb\345\256\211\350\243\205.sh" "b/Service/ssdb/ssdb\345\256\211\350\243\205.sh" new file mode 100644 index 0000000..d88f73e --- /dev/null +++ "b/Service/ssdb/ssdb\345\256\211\350\243\205.sh" @@ -0,0 +1,50 @@ + +ssdb安装 + +SSDB is a high performace key-value(key-string, key-zset, key-hashmap) NoSQL database, an alternative to Redis. + + Compile and Install +wget https://codeload.github.com/ideawu/ssdb/tar.gz/1.6.8.8 + +unzip master +cd ssdb-master +make +#optional, install ssdb in /usr/local/ssdb +sudo make install + +# start master +#./ssdb-server ssdb.conf + +# ip: 192.168.12.143 +# or start as daemon +./ssdb-server -d ssdb.conf + +cache_size # 内存大小M + +# ssdb command line +./ssdb-cli -p 8888 + +# stop ssdb-server +kill `cat ./var/ssdb.pid` + + + +PHP client API example + +set('key', '123'); +$resp = $ssdb->get('key'); +echo $resp; // output: 123 + + + +./ssdb-cli -p 8888 +set aaa dddd +get aaa +flushdb # 清空所有数据 + + + + diff --git "a/Service/ssdb/\344\275\277\347\224\250_Twemproxy_\346\235\245\345\201\232_SSDB_\350\264\237\350\275\275\345\235\207\350\241\241.sh" "b/Service/ssdb/\344\275\277\347\224\250_Twemproxy_\346\235\245\345\201\232_SSDB_\350\264\237\350\275\275\345\235\207\350\241\241.sh" new file mode 100644 index 0000000..8c4c082 --- /dev/null +++ "b/Service/ssdb/\344\275\277\347\224\250_Twemproxy_\346\235\245\345\201\232_SSDB_\350\264\237\350\275\275\345\235\207\350\241\241.sh" @@ -0,0 +1,20 @@ + +使用 Twemproxy 来做 SSDB 负载均衡 + + +Twemproxy 是由 Twitter 公司开发的一个支持 Redis 协议的代理服务器, 可用于 Redis 集群的负载均衡, 高可用性等. + +SSDB 数据库也支持 Redis 协议, 所以可以直接使用 Twemproxy 而不需要做任何特殊改动, 如果你原来使用 Redis 现在切换到 SSDB 的话. 你不仅可以使用 Twemproxy + SSDB, 还可以使用 Twemproxy + SSDB + Redis. + +已有多个用户在线上业务中使用了 Twemproxy + SSDB 的架构. + +Twemproxy 项目地址: https://github.com/twitter/twemproxy +Related posts: + + SSDB 采用里程碑式版本发布机制 + SSDB 增加了 Compaction 限速功能 + SSDB 已经迁移到 github + 性能超越 Redis 的 NoSQL 数据库 SSDB + SSDB 支持 TTL 过期机制 + +Posted by ideawu at 2014-06-30 14:54:59 Tags: Redis, twemproxy \ No newline at end of file diff --git "a/Service/ssdb/\345\246\202\344\275\225\350\247\243\350\257\273_SSDB_\347\232\204_log.sh" "b/Service/ssdb/\345\246\202\344\275\225\350\247\243\350\257\273_SSDB_\347\232\204_log.sh" new file mode 100644 index 0000000..707c64d --- /dev/null +++ "b/Service/ssdb/\345\246\202\344\275\225\350\247\243\350\257\273_SSDB_\347\232\204_log.sh" @@ -0,0 +1,49 @@ +如何解读 SSDB 的 log + + +一般, 建议你将 logger.level 设置为 debug 级别. +请求处理 + +2014-06-18 11:01:40.335 [DEBUG] serv.cpp(395): w:0.393,p:5.356, req: set a 1, resp: ok 1 + + w:0.393 请求的排队时间, 毫秒 + p:0.393 请求的处理时间, 毫秒 + req:… 请求内容 + resp:… 响应内容 + +找出慢请求 + +找出慢请求的命令是: + +tail -f log.txt | grep resp | grep '[wp]:[1-9][0-9]\{0,\}\.' +# 或者 +cat log.txt | grep resp | grep '[wp]:[1-9][0-9]\{0,\}\.' + +这些命令用于找出排队时间, 或者处理时间大于等于 1 毫秒的请求. + +找出大于 10 毫秒的请求: + +cat log.txt | grep resp | grep '[wp]:[1-9][0-9]\{1,\}\.' + +找出大于 100 毫秒的请求: + +cat log.txt | grep resp | grep '[wp]:[1-9][0-9]\{2,\}\.' + +SSDB 在工作中 + +ssdb-server 会每隔 5 分钟输出这样的一条 log + +2014-06-18 11:18:03.600 [INFO ] ssdb-server.cpp(215): ssdb working, links: 0 +2014-06-18 11:23:03.631 [INFO ] ssdb-server.cpp(215): ssdb working, links: 0 + + links: 0 当前的连接数 + +原文: http://ssdb.io/docs/zh_cn/logs.html +Related posts: + + SSDB 配置文件 + 在PHP代码中使用LevelDB + SSDB 数据库的图形化界面管理工具 – phpssdbadmin + 热烈庆祝SSDB获得2014中国开源优秀项目奖! + +Posted by ideawu at 2014-06-18 11:56:07 \ No newline at end of file diff --git "a/Service/tair/Tair\351\233\206\347\276\244\351\205\215\347\275\256\345\256\211\350\243\205.sh" "b/Service/tair/Tair\351\233\206\347\276\244\351\205\215\347\275\256\345\256\211\350\243\205.sh" new file mode 100644 index 0000000..e27242b --- /dev/null +++ "b/Service/tair/Tair\351\233\206\347\276\244\351\205\215\347\275\256\345\256\211\350\243\205.sh" @@ -0,0 +1,167 @@ +Tair集群配置安装 + +Tair是一个高性能，分布式，可扩展，高可靠的key/value结构存储系统！ + +一 如何安装tair: + + 确保安装了automake autoconfig 和 libtool,使用automake --version查看，一般情况下已安装 + 获得底层库 tbsys 和 tbnet的源代码:(svn checkout http://code.taobao.org/svn/tb-common-utils/trunk/ tb-common-utils). + 获得tair源代码:(svn checkout http://code.taobao.org/svn/tair/trunk/ tair). + 安装boost-devel库，在用rpm管理软件包的os上可以使用rpm -q boost-devel查看是否已安装该库 + 编译安装tbsys和tbnet + 编译安装tair + + + tair 的底层依赖于tbsys库和tbnet库, 所以要先编译安装这两个库: + + 取得源代码后, 先指定环境变量 TBLIB_ROOT 为需要安装的目录. 这个环境变量在后续 tair 的编译安装中仍旧会被使用到. 比如要安装到当前用户的lib目录下, 则指定 export TBLIB_ROOT="~/lib" + 进入common文件夹, 执行build.sh进行安装. + + 编译安装tair: + + 进入 tair 目录 + 运行 bootstrap.sh + 运行 configure. 注意, 在运行configue的时候, 可以使用 --with-boost=xxxx 来指定boost的目录. 使用--with-release=yes 来编译release版本. + 运行 make 进行编译 + 运行 make install 进行安装 + +二 如何配置tair: + + tair的运行, 至少需要一个 config server 和一个 data server. 推荐使用两个 config server 多个data server的方式. 两个config server有主备之分. + 源代码目录中 share 目录下有三个配置文件的样例, 下面会逐个解说. + configserver.conf group.conf 这两个配置文件是config server所需要的. 先看这两个配置文件的配置 + + 配置文件 configserver.conf + + + [public] + config_server=x.x.x.x:5198 + config_server=x.x.x.x:5198 + + [configserver] + port=5198 + log_file=logs/config.log + pid_file=logs/config.pid + log_level=warn + group_file=etc/group.conf + data_dir=data/data + dev_name=eth0 + + public 下面配置的是两台config server的 ip 和端口. 其中排在前面的是主config server. 这一段信息会出现在每一个配置文件中. 请保持这一段信息的严格一致. + configserver下面的内容是本config server的具体配置: + port 端口号, 注意 config server会使用该端口做为服务端口, 而使用该端口+1 做为心跳端口 + log_file 日志文件 + pid_file pid文件, 文件中保存当前进程中的pid + log_level 日志级别 + group_file 本config server所管理的 group 的配置文件 + data_dir 本config server自身数据的存放目录 + dev_name 所使用的网络设备名 + + 注意: 例子中, 所有的路径都配置的是相对路径. 这样实际上限制了程序启动时候的工作目录. 这里当然可以使用绝对路径. + 注意: 程序本身可以把多个config server 或 data server跑在一台主机上, 只要配置不同的端口号就可以. 但是在配置文件的时候, 他们的数据目录必须分开, 程序不会对自己的数据目录加锁, 所以如果跑在同一主机上的服务, 数据目录配置相同, 程序自己不会发现, 却会发生很多莫名其妙的错误. 多个服务跑在同一台主机上, 一般只是在做功能测试的时候使用. + + 配置文件 group.conf + + + #group name + [group_1] + # data move is 1 means when some data serve down, the migrating will be start. + # default value is 0 + _data_move=1 + #_min_data_server_count: when data servers left in a group less than this value, config server will stop serve for this group + #default value is copy count. + _min_data_server_count=4 + _copy_count=3 + _bucket_number=1023 + _plugIns_list=libStaticPlugIn.so + _build_strategy=1 #1 normal 2 rack + _build_diff_ratio=0.6 #how much difference is allowd between different rack + # diff_ratio = |data_sever_count_in_rack1 - data_server_count_in_rack2| / max (data_sever_count_in_rack1, data_server_count_in_rack2) + # diff_ration must less than _build_diff_ratio + _pos_mask=65535 # 65535 is 0xffff this will be used to gernerate rack info. 64 bit serverId & _pos_mask is the rack info, + + _server_list=x.x.x.x:5191 + _server_list=x.x.x.x:5191 + _server_list=x.x.x.x:5191 + _server_list=x.x.x.x:5191 + #quota info + _areaCapacity_list=1,1124000; + _areaCapacity_list=2,1124000; + + 每个group配置文件可以配置多个group, 这样一组config server就可以同时服务于多个 group 了. 不同的 group 用group name区分 + _data_move 当这个配置为1的时候, 如果发生了某个data server宕机, 则系统会尽可能的通过冗余的备份对数据进行迁移. 注意, 如果 copy_count 为大于1的值, 则这个配置无效, 系统总是会发生迁移的. 只有copy_count为1的时候, 该配置才有作用. + _min_data_server_count 这个是系统中需要存在的最少data server的个数. 当系统中可正常工作的data server的个数小于这个值的时候, 整个系统会停止服务, 等待人工介入 + _copy_count 这个表示一条数据在系统中实际存储的份数. 如果tair被用作缓存, 这里一般配置1. 如果被用来做存储, 一般配置为3。 当系统中可工作的data server的数量少于这个值的时候, 系统也会停止工作. 比如 _copy_count 为3, 而系统中只有 2 台data server. 这个时候因为要求一条数据的各个备份必须写到不同的data server上, 所以系统无法完成写入操作, 系统也会停止工作的. + _bucket_number 这个是hash桶的个数, 一般要 >> data server的数量(10倍以上). 数据的分布, 负载均衡, 数据的迁移都是以桶为单位的. + _plugIns_list 需要加载的插件的动态库名 + _accept_strategy 默认为0，ds重新连接上cs的时候，需要手动touch group.conf。如果设置成1，则当有ds重新连接会cs的时候，不需要手动touch group.conf。 cs会自动接入该ds。 + _build_strategy 在分配各个桶到不同的data server上去的时候所采用的策略. 目前提供两种策略. 配置为1 则是负载均衡优先, 分配的时候尽量让各个 data server 的负载均衡. 配置为 2 的时候, 是位置安全优先, 会尽量将一份数据的不同备份分配到不同机架的机器上. 配置为3的时候，如果服务器分布在多个机器上，那么会优先使用位置安全优先，即策略2. 如果服务器只在一个机架上，那么退化成策略1，只按负载分布。 + _build_diff_ratio 这个值只有当 _build_strategy 为2的时候才有意义. 实际上是用来表示不同的机架上机器差异大小的. 当位置安全优先的时候, 如果某个机架上的机器不断的停止服务, 必然会导致负载的极度不平衡. 当两个机架上机器数量差异达到一定程度的时候, 系统也不再继续工作, 等待人工介入. + _pos_mask 机架信息掩码. 程序使用这个值和由ip以及端口生成的64为的id做与操作, 得到的值就认为是位置信息. 比如 当此值是65535的时候 是十六进制 0xffff. 因为ip地址的64位存储的时候采用的是网络字节序, 最前32位是端口号, 后32位是网络字节序的ip地址. 所以0xffff 这个配置, 将认为10.1.1.1 和 10.2.1.1 是不同的机架. + _areaCapacity_list 这是每一个area的配额信息. 这里的单位是 byte. 需要注意的是, 该信息是某个 area 能够使用的所有空间的大小. 举个具体例子:当copy_count为3 共有5个data server的时候, 每个data server上, 该area实际能使用的空间是这个值/(3 * 5). 因为fdb使用mdb作为内部的缓存, 这个值的大小也决定了缓存的效率. + + data server的配置文件 + + + [public] + config_server=172.23.16.225:5198 + config_server=172.23.16.226:5198 + + [tairserver] + storage_engine=mdb + mdb_type=mdb_shm + mdb_shm_path=/mdb_shm_path01 + #tairserver listen port + port=5191 + heartbeat_port=6191 + process_thread_num=16 + slab_mem_size=22528 + log_file=logs/server.log + pid_file=logs/server.pid + log_level=warn + dev_name=bond0 + ulog_dir=fdb/ulog + ulog_file_number=3 + ulog_file_size=64 + check_expired_hour_range=2-4 + check_slab_hour_range=5-7 + + [fdb] + # in + # MB + index_mmap_size=30 + cache_size=2048 + bucket_size=10223 + free_block_pool_size=8 + data_dir=fdb/data + fdb_name=tair_fdb + + + 下面解释一下data server的配置文件: + public 部分不再解说 + storage_engine 这个可以配置成 fdb 或者 mdb. 分别表示是使用内存存储数据(mdb)还是使用磁盘(fdb). + mdb_type 这个是兼容以前版本用的, 现在都配成mdb_shm就可以了 + mdb_shm_path 这个是用作映射共享内存的文件. + port data server的工作端口 + heartbeat_port data server的心跳端口 + process_thread_num 工作线程数. 实际上启动的线程会比这个数值多, 因为有一些后台线程. 真正处理请求的线程数量是这里配置的. + slab_mem_size 所占用的内存数量. 这个值以M为单位, 如果是mdb, 则是mdb能存放的数据量, 如果是fdb, 此值无意义 + ulog_dir 发生迁移的时候, 日志文件的文件目录 + ulog_file_number 用来循环使用的log文件数目 + ulog_file_size 每个日志文件的大小, 单位是M + check_expired_hour_range 清理超时数据的时间段. 在这个时间段内, 会运行一个后台进程来清理mdb中的超时数据. 一般配置在系统较空闲的时候 + check_slab_hour_range 对slap做平衡的时间段. 一般配置在系统较空闲的时候 + index_mmap_size fdb中索引文件映射到内存的大小, 单位是M + cache_size fdb中用作缓存的共享内存大小, 单位是M + bucket_size fdb在存储数据的时候, 也是一个hash算法, 这儿就是hash桶的数目 + free_block_pool_size 这个用来存放fdb中的空闲位置, 便于重用空间 + data_dir fdb的数据文件目录 + fdb_name fdb数据文件名 + +三 运行前的准备: + + 因为系统使用共享内存作为数据存储的空间(mdb)或者缓存空间(fdb), 所以需要先更改配置, 使得程序能够使用足够的共享内存. scripts 目录下有一个脚本 set_shm.sh 是用来做这些修改的, 这个脚本需要root权限来运行. + +四 如何启动集群: + + 在完成安装配置之后, 可以启动集群了. 启动的时候需要先启动data server 然后启动cofnig server. 如果是为已有的集群添加dataserver则可以先启动dataserver进程然后再修改gruop.conf，如果你先修改group.conf再启动进程，那么需要执行touch group.conf;在scripts目录下有一个脚本 tair.sh 可以用来帮助启动 tair.sh start_ds 用来启动data server. tair.sh start_cs 用来启动config server. 这个脚本比较简单, 它要求配置文件放在固定位置, 采用固定名称. 使用者可以通过执行安装目录下的bin下的 tair_server (data server) 和 tair_cfg_svr(config server) 来启动集群. diff --git a/Service/tarantool/saveToFile.sh b/Service/tarantool/saveToFile.sh new file mode 100644 index 0000000..aad049d --- /dev/null +++ b/Service/tarantool/saveToFile.sh @@ -0,0 +1,14 @@ +#/bin/bash +#saveToFile.sh + +path='/opt/tarantool/' +port=33015 + +rm -f ${path}snap/*.bak +find ${path}snap/ -name "*.snap" -exec rename .snap .bak {} \; + +/usr/local/bin/tarantool -h 127.0.0.1 -p $port < +$ make +$ sudo make install + +To build twemcache from distribution tarball with a statically linked libevent: + +$ ./configure --enable-static=libevent +$ make +$ sudo make install + +To build twemcache from distribution tarball in debug mode with assertion panics enabled: + +$ CFLAGS="-ggdb3 -O0" ./configure --enable-debug=full +$ make +$ sudo make install + +To build twemcache from source with debug logs enabled and assertions disabled: + +$ git clone git@github.com:twitter/twemcache.git +$ cd twemcache +$ autoreconf -fvi +$ ./configure --enable-debug=log +$ make V=1 +$ src/twemcache -h + +Help + +Usage: twemcache [-?hVCELdkrDS] [-o output file] [-v verbosity level] + [-A stats aggr interval] + [-t threads] [-P pid file] [-u user] + [-x command logging entry] [-X command logging file] + [-R max requests] [-c max conns] [-b backlog] [-p port] [-U udp port] + [-l interface] [-s unix path] [-a access mask] [-M eviction strategy] + [-f factor] [-m max memory] [-n min item chunk size] [-I slab size] + [-z slab profile] + +Options: + -h, --help : this help + -V, --version : show version and exit + -E, --prealloc : preallocate memory for all slabs + -L, --use-large-pages : use large pages if available + -k, --lock-pages : lock all pages and preallocate slab memory + -d, --daemonize : run as a daemon + -r, --maximize-core-limit : maximize core file limit + -C, --disable-cas : disable use of cas + -D, --describe-stats : print stats description and exit + -S, --show-sizes : print slab and item struct sizes and exit + -o, --output=S : set the logging file (default: stderr) + -v, --verbosity=N : set the logging level (default: 5, min: 0, max: 11) + -A, --stats-aggr-interval=N : set the stats aggregation interval in usec (default: 100000 usec) + -t, --threads=N : set number of threads to use (default: 4) + -P, --pidfile=S : set the pid file (default: off) + -u, --user=S : set user identity when run as root (default: off) + -x, --klog-entry=N : set the command logging entry number per thread (default: 512) + -X, --klog-file=S : set the command logging file (default: off) + -R, --max-requests=N : set the maximum number of requests per event (default: 20) + -c, --max-conns=N : set the maximum simultaneous connections (default: 1024) + -b, --backlog=N : set the backlog queue limit (default 1024) + -p, --port=N : set the tcp port to listen on (default: 11211) + -U, --udp-port=N : set the udp port to listen on (default: 11211) + -l, --interface=S : set the interface to listen on (default: all) + -s, --unix-path=S : set the unix socket path to listen on (default: off) + -a, --access-mask=O : set the access mask for unix socket in octal (default: 0700) + -M, --eviction-strategy=N : set the eviction strategy on OOM (default: 2, random) + -f, --factor=D : set the growth factor of slab item sizes (default: 1.25) + -m, --max-memory=N : set the maximum memory to use for all items in MB (default: 64 MB) + -n, --min-item-chunk-size=N : set the minimum item chunk size in bytes (default: 72 bytes) + -I, --slab-size=N : set slab size in bytes (default: 1048576 bytes) + -z, --slab-profile=S : set the profile of slab item chunk sizes (default: off) + +Features + + Supports the complete memcached ASCII protocol. + Supports tcp, udp and unix domain sockets. + Observability through lock-less stats collection and klogger. + Pluggable eviction strategies. + Easy debuggability through assertions and logging. + +Slabs and Items + +Memory in twemcache is organized into fixed sized slabs whose size is configured using the -I or --slab-size=N command-line argument. Every slab is carved into a collection of contiguous, equal size items. All slabs that are carved into items of a given size belong to a given slabclass. The number of slabclasses and the size of items they serve can be configured either from a geometric sequence with the inital item size set using -n or --min-item-chunk-size=N argument and growth ratio set using -f or --factor=D argument, or from a profile string set using -z or --slab-profile=S argument. +Eviction + +Eviction is triggered when a cache reaches full memory capacity. This happens when all cached items are unexpired and there is no space available to store newer items. Twemcache supports the following eviction strategies, configured using the -M or --eviction-strategy=N command-line argument: + + No eviction (0) - do not evict, respond with server error reply. + Item LRU eviction (1) - evict only existing items in the same slab class, least recently updated first; essentially a per-slabclass LRU eviction. + Random eviction (2) - evict all items from a randomly chosen slab. + Slab LRA eviction (4) - choose the least recently accessed slab, and evict all items from it to reuse the slab. + Slab LRC eviction (8) - choose the least recently created slab, and evict all items from it to reuse the slab. Eviction ignores freeq & lruq to make sure the eviction follows the timestamp closely. Recommended if cache is updated on the write path. + +Eviction strategies can be stacked, in the order of higher to lower bit. For example, -M 5 means that if slab LRU eviciton fails, Twemcache will try item LRU eviction. +Observability +Stats + +Stats are the primary form of observability in twemcache. Stats collection in twemcache is lock-less in a sense that each worker thread only updates its thread-local metrics, and a background aggregator thread collects metrics from all threads periodically, holding only one thread-local lock at a time. Once aggregated, stats polling comes for free. There is a slight trade-off between how up-to-date stats are and how much burden stats collection puts on the system, which can be controlled by the aggregation interval -A or --stats-aggr-interval=N command-line argument. By default, the aggregation interval is set to 100 msec. You can set the aggregation interval at run time using config aggregate \r\n command. Stats collection can be disabled at run time by passing a negative aggregation interval or at build time through the --disable-stats configure option. + +Metrics exposed by twemcache are of three types - timestamp, counter and gauge and are collected both at the global level and per slab level. You can read about the description of all stats exposed by twemcache using the -D or --describe-stats command-line argument. + +The following commands can be used to query stats from a running twemcache + + stats\r\n + stats settings\r\n + stats slabs\r\n + stats sizes\r\n + stats cachedump \r\n + +Klogger (Command Logger) + +Command logger allows users to capture the details of every incoming request. Each line of the command log gives precise information on the client, the time when a request was received, the command header including the command, key, flags and data length, a return code, and reply message length. Few example klog lines look as follows: + +172.25.135.205:55438 - [09/Jul/2012:18:15:45 -0700] "set foo 0 0 3" 1 6 +172.25.135.205:55438 - [09/Jul/2012:18:15:46 -0700] "get foo" 0 14 +172.25.135.205:55438 - [09/Jul/2012:18:15:57 -0700] "incr num 1" 3 9 +172.25.135.205:55438 - [09/Jul/2012:18:16:05 -0700] "set num 0 0 1" 1 6 +172.25.135.205:55438 - [09/Jul/2012:18:16:09 -0700] "incr num 1" 0 1 +172.25.135.205:55438 - [09/Jul/2012:18:16:13 -0700] "get num" 0 12 + +The command logger supports lockless read/write into ring buffers, whose size can be configured with -x or --klog-entry=N command-line argument. Each worker thread logs to a thread-local buffer as they process incoming queries, and a background thread asynchronously dumps buffer contents to a file configured with -X or --klog-file=S command-line argument. + +Since this feature has the capability of generating hundreds of MBs of data per minute, the use must be planned carefully. An enabled klog moduled can be started or stopped by sending config klog run start\r\n and config klog run stop\r\n respectively. To control the speed of log generation, the command logger also supports sampling. Sample rate can be set over with config klog sampling \r\n command, which samples one of num commands. +Logging + +Logging in twemcache is only available when it is built with logging enabled (--enable-debug=[full|yes|log]). By default logs are written to stderr. Twemcache can also be configured to write logs to a specific file through the -o or --output=S command-line argument. + +On a running twemcache, we can turn log levels up and down by sending it SIGTTIN and SIGTTOU signals respectively and reopen log files by sending it SIGHUP signal. Logging levels can be set to a specific value using the verbosity \r\n command. +Issues and Support + +Have a bug? Please create an issue here on GitHub! + +https://github.com/twitter/twemcache/issues +Versioning + +For transparency and insight into our release cycle, releases are be numbered with the semantic versioning format: .. and constructed with the following guidelines: + + Breaking backwards compatibility bumps the major + New additions without breaking backwards compatibility bumps the minor + Bug fixes and misc changes bump the patch + +Other Work + + twemproxy - a fast, light-weight proxy for memcached. + twemperf - a tool for measuring memcached server performance. + twctop.rb - a tool like top for monitoring a cluster of twemcache servers. + +Contributors + + Manju Rajashekhar (@manju) + Yao Yue (@thinkingfish) + +License + +Copyright 2003, Danga Interactive, Inc. + +Copyright 2012 Twitter, Inc. + +Licensed under the New BSD License, see the LICENSE file. \ No newline at end of file diff --git "a/Service/twemproxy/Redis_\344\273\243\347\220\206\346\234\215\345\212\241Twemproxy.sh" "b/Service/twemproxy/Redis_\344\273\243\347\220\206\346\234\215\345\212\241Twemproxy.sh" new file mode 100644 index 0000000..ea6a838 --- /dev/null +++ "b/Service/twemproxy/Redis_\344\273\243\347\220\206\346\234\215\345\212\241Twemproxy.sh" @@ -0,0 +1,77 @@ +Redis 代理服务Twemproxy(简介) 2014-04-10 19:03:59 +分类： 其他平台 +1、twemproxy explore +当我们有大量 Redis 或 Memcached 的时候，通常只能通过客户端的一些数据分配算法（比如一致性哈希），来实现集群存储的特性。虽然Redis 2.6版本已经发布Redis Cluster，但还不是很成熟适用正式生产环境。 Redis 的 Cluster 方案还没有正式推出之前，我们通过 Proxy 的方式来实现集群存储。 +Twitter，世界最大的Redis集群之一部署在Twitter用于为用户提供时间轴数据。Twitter Open Source部门提供了Twemproxy。 +Twemproxy,也叫nutcraker。是一个twtter开源的一个redis和memcache代理服务器。 redis作为一个高效的缓存服务器，非常具有应用价值。但是当使用比较多的时候，就希望可以通过某种方式 统一进行管理。避免每个应用每个客户端管理连接的松散性。同时在一定程度上变得可以控制。 +Twemproxy是一个快速的单线程代理程序，支持Memcached ASCII协议和更新的Redis协议： +它全部用C写成，使用Apache 2.0 License授权。项目在Linux上可以工作，而在OSX上无法编译，因为它依赖了epoll API. +Twemproxy 通过引入一个代理层，可以将其后端的多台 Redis 或 Memcached 实例进行统一管理与分配，使应用程序只需要在 Twemproxy 上进行操作，而不用关心后面具体有多少个真实的 Redis 或 Memcached 存储。 +2、twemproxy特性： +支持失败节点自动删除 +可以设置重新连接该节点的时间 +可以设置连接多少次之后删除该节点 +该方式适合作为cache存储 +支持设置HashTag +通过HashTag可以自己设定将两个KEYhash到同一个实例上去。 +减少与redis的直接连接数 +保持与redis的长连接 +可设置代理与后台每个redis连接的数目 +自动分片到后端多个redis实例上 +多种hash算法：能够使用不同的策略和散列函数支持一致性hash。 +可以设置后端实例的权重 +避免单点问题 +可以平行部署多个代理层.client自动选择可用的一个 +支持redis pipelining request +支持请求的流式与批处理，降低来回的消耗 +支持状态监控 +可设置状态监控ip和端口，访问ip和端口可以得到一个json格式的状态信息串 +可设置监控信息刷新间隔时间 +高吞吐量 +连接复用，内存复用。 +将多个连接请求，组成reids pipelining统一向redis请求。 +另外可以修改redis的源代码，抽取出redis中的前半部分，作为一个中间代理层。最终都是通过linux下的epoll 事件机制提高并发效率，其中nutcraker本身也是使用epoll的事件机制。并且在性能测试上的表现非常出色。 +3、twemproxy问题与不足 +Twemproxy 由于其自身原理限制，有一些不足之处，如： +不支持针对多个值的操作，比如取sets的子交并补等（MGET 和 DEL 除外） +不支持Redis的事务操作 +出错提示还不够完善 +也不支持select操作 +4、安装与配置 +具体的安装步骤可用查看github：https://github.com/twitter/twemproxy +Twemproxy 的安装，主要命令如下： +apt-get install automake +apt-get install libtool +git clone git://github.com/twitter/twemproxy.git +cd twemproxy +autoreconf -fvi +./configure --enable-debug=log +make +src/nutcracker -h +通过上面的命令就算安装好了，然后是具体的配置，下面是一个典型的配置 +redis1: + listen: 127.0.0.1:6379 #使用哪个端口启动Twemproxy + redis: true #是否是Redis的proxy + hash: fnv1a_64 #指定具体的hash函数 + distribution: ketama #具体的hash算法 + auto_eject_hosts: true #是否在结点无法响应的时候临时摘除结点 + timeout: 400 #超时时间（毫秒） + server_retry_timeout: 2000 #重试的时间（毫秒） + server_failure_limit: 1 #结点故障多少次就算摘除掉 + servers: #下面表示所有的Redis节点（IP:端口号:权重） + - 127.0.0.1:6380:1 + - 127.0.0.1:6381:1 + - 127.0.0.1:6382:1 +redis2: + listen: 0.0.0.0:10000 + redis: true + hash: fnv1a_64 + distribution: ketama + auto_eject_hosts: false + timeout: 400 + servers: + - 127.0.0.1:6379:1 + - 127.0.0.1:6380:1 + - 127.0.0.1:6381:1 + - 127.0.0.1:6382:1 +你可以同时开启多个 Twemproxy 实例，它们都可以进行读写，这样你的应用程序就可以完全避免所谓的单点故障。 \ No newline at end of file diff --git a/Service/twemproxy/twemproxy-github.sh b/Service/twemproxy/twemproxy-github.sh new file mode 100644 index 0000000..8cea76f --- /dev/null +++ b/Service/twemproxy/twemproxy-github.sh @@ -0,0 +1,136 @@ +twemproxy + +https://github.com/twitter/twemproxy + + + +$ ./configure +$ make +$ sudo make install + + + +Usage: nutcracker [-?hVdDt] [-v verbosity level] [-o output file] + [-c conf file] [-s stats port] [-a stats addr] + [-i stats interval] [-p pid file] [-m mbuf size] + +Options: + -h, --help : this help + -V, --version : show version and exit + -t, --test-conf : test configuration for syntax errors and exit + -d, --daemonize : run as a daemon + -D, --describe-stats : print stats description and exit + -v, --verbosity=N : set logging level (default: 5, min: 0, max: 11) + -o, --output=S : set logging file (default: stderr) + -c, --conf-file=S : set configuration file (default: conf/nutcracker.yml) + -s, --stats-port=N : set stats monitoring port (default: 22222) + -a, --stats-addr=S : set stats monitoring ip (default: 0.0.0.0) + -i, --stats-interval=N : set stats aggregation interval in msec (default: 30000 msec) + -p, --pid-file=S : set pid file (default: off) + -m, --mbuf-size=N : set size of mbuf chunk in bytes (default: 16384 bytes) + + +Configuration + +nutcracker can be configured through a YAML file specified by the -c or --conf-file command-line argument on process start. The configuration file is used to specify the server pools and the servers within each pool that nutcracker manages. The configuration files parses and understands the following keys: + + listen: The listening address and port (name:port or ip:port) for this server pool. + hash: The name of the hash function. Possible values are: + one_at_a_time + md5 + crc16 + crc32 (crc32 implementation compatible with libmemcached) + crc32a (correct crc32 implementation as per the spec) + fnv1_64 + fnv1a_64 + fnv1_32 + fnv1a_32 + hsieh + murmur + jenkins + hash_tag: A two character string that specifies the part of the key used for hashing. Eg "{}" or "$$". Hash tag enable mapping different keys to the same server as long as the part of the key within the tag is the same. + distribution: The key distribution mode. Possible values are: + ketama + modula + random + timeout: The timeout value in msec that we wait for to establish a connection to the server or receive a response from a server. By default, we wait indefinitely. + backlog: The TCP backlog argument. Defaults to 512. + preconnect: A boolean value that controls if nutcracker should preconnect to all the servers in this pool on process start. Defaults to false. + redis: A boolean value that controls if a server pool speaks redis or memcached protocol. Defaults to false. + server_connections: The maximum number of connections that can be opened to each server. By default, we open at most 1 server connection. + auto_eject_hosts: A boolean value that controls if server should be ejected temporarily when it fails consecutively server_failure_limit times. See liveness recommendations for information. Defaults to false. + server_retry_timeout: The timeout value in msec to wait for before retrying on a temporarily ejected server, when auto_eject_host is set to true. Defaults to 30000 msec. + server_failure_limit: The number of consecutive failures on a server that would lead to it being temporarily ejected when auto_eject_host is set to true. Defaults to 2. + servers: A list of server address, port and weight (name:port:weight or ip:port:weight) for this server pool. + +For example, the configuration file in conf/nutcracker.yml, also shown below, configures 5 server pools with names - alpha, beta, gamma, delta and omega. Clients that intend to send requests to one of the 10 servers in pool delta connect to port 22124 on 127.0.0.1. Clients that intend to send request to one of 2 servers in pool omega connect to unix path /tmp/gamma. Requests sent to pool alpha and omega have no timeout and might require timeout functionality to be implemented on the client side. On the other hand, requests sent to pool beta, gamma and delta timeout after 400 msec, 400 msec and 100 msec respectively when no response is received from the server. Of the 5 server pools, only pools alpha, gamma and delta are configured to use server ejection and hence are resilient to server failures. All the 5 server pools use ketama consistent hashing for key distribution with the key hasher for pools alpha, beta, gamma and delta set to fnv1a_64 while that for pool omega set to hsieh. Also only pool beta uses nodes names for consistent hashing, while pool alpha, gamma, delta and omega use 'host:port:weight' for consistent hashing. Finally, only pool alpha and beta can speak redis protocol, while pool gamma, deta and omega speak memcached protocol. + +alpha: + listen: 127.0.0.1:22121 + hash: fnv1a_64 + distribution: ketama + auto_eject_hosts: true + redis: true + server_retry_timeout: 2000 + server_failure_limit: 1 + servers: + - 127.0.0.1:6379:1 + +beta: + listen: 127.0.0.1:22122 + hash: fnv1a_64 + hash_tag: "{}" + distribution: ketama + auto_eject_hosts: false + timeout: 400 + redis: true + servers: + - 127.0.0.1:6380:1 server1 + - 127.0.0.1:6381:1 server2 + - 127.0.0.1:6382:1 server3 + - 127.0.0.1:6383:1 server4 + +gamma: + listen: 127.0.0.1:22123 + hash: fnv1a_64 + distribution: ketama + timeout: 400 + backlog: 1024 + preconnect: true + auto_eject_hosts: true + server_retry_timeout: 2000 + server_failure_limit: 3 + servers: + - 127.0.0.1:11212:1 + - 127.0.0.1:11213:1 + +delta: + listen: 127.0.0.1:22124 + hash: fnv1a_64 + distribution: ketama + timeout: 100 + auto_eject_hosts: true + server_retry_timeout: 2000 + server_failure_limit: 1 + servers: + - 127.0.0.1:11214:1 + - 127.0.0.1:11215:1 + - 127.0.0.1:11216:1 + - 127.0.0.1:11217:1 + - 127.0.0.1:11218:1 + - 127.0.0.1:11219:1 + - 127.0.0.1:11220:1 + - 127.0.0.1:11221:1 + - 127.0.0.1:11222:1 + - 127.0.0.1:11223:1 + +omega: + listen: /tmp/gamma + hash: hsieh + distribution: ketama + auto_eject_hosts: false + servers: + - 127.0.0.1:11214:100000 + - 127.0.0.1:11215:1 + +Finally, to make writing syntactically correct configuration file easier, nutcracker provides a command-line argument -t or --test-conf that can be used to test the YAML configuration file for any syntax error. diff --git a/Service/twemproxy/twemproxy.sh b/Service/twemproxy/twemproxy.sh new file mode 100644 index 0000000..2b081ce --- /dev/null +++ b/Service/twemproxy/twemproxy.sh @@ -0,0 +1,48 @@ +twemproxy + +yum install automake libtool + +https://github.com/twitter/twemproxy + +yum install automake libtool +rpm -e autoconf --nodeps +wget http://ftp.gnu.org/gnu/autoconf/autoconf-2.64.tar.gz +tar zxvpf autoconf-2.64.tar.gz +cd autoconf-2.64 +./configure +make && make install + + +yum install git +git clone git@github.com:twitter/twemproxy.git +cd twemproxy +或 +wget https://github.com/twitter/twemproxy/archive/master.zip +unzip master +cd twemproxy-master + +/usr/local/bin/autoreconf -fvi +./configure --enable-debug=full +make +src/nutcracker -h + + + +/opt/soft/twemproxy-master/src/nutcracker -c /opt/soft/twemproxy-master/conf/nutcracker.leaf.yml -d + + +# 1对于代理 +leaf: + listen: 10.10.76.70:22121 + hash: fnv1a_64 + distribution: ketama + auto_eject_hosts: true + server_retry_timeout: 2000 + server_failure_limit: 1 + servers: + - 10.13.80.118:22134:1 + + + + + diff --git "a/Service/twemproxy/twemproxy\345\256\211\350\243\205\351\205\215\347\275\256\345\255\246\344\271\240.sh" "b/Service/twemproxy/twemproxy\345\256\211\350\243\205\351\205\215\347\275\256\345\255\246\344\271\240.sh" new file mode 100644 index 0000000..6e21d77 --- /dev/null +++ "b/Service/twemproxy/twemproxy\345\256\211\350\243\205\351\205\215\347\275\256\345\255\246\344\271\240.sh" @@ -0,0 +1,85 @@ + +twemproxy学习 + + +twemproxy可以用在memcached和redis的代理。 +安装 + +$ ./configure +$ make +$ sudo make install + +调试模式 + +$ CFLAGS="-ggdb3 -O0" ./configure --enable-debug=full + + +配置文件 +一般位于conf/nutcracker.yml + +redis-for-tl: +listen: ip:22121 + +redis: true +hash: fnv1a_64 +distribution: ketama +timeout: 400 +auto_eject_hosts: false +preconnect: true +servers: +- ip:7001:1 name-1 +- ip:7002:1 name-2 + + +memcached-for-timeline: +listen: ip:22122 +redis: false +hash: fnv1a_64 +distribution: modula +timeout: 400 +auto_eject_hosts: false +preconnect: true +servers: +- ip:11213:1 name1 +- ip:11213:1 name2 + + +启动 +./bin/nutcracker --conf-file=./conf/n2.yml --stats-port=22554 -d + +通过http访问统计 + curl "http://127.17.1.163:22554" + +日志级别 +LOG_INFO (-v 6 or --verbosity=6)，在 config时指定 --enable-debug=log + +resilient_pool: + auto_eject_hosts: true + server_retry_timeout: 30000 + server_failure_limit: 3 + +auto _eject_hosts为true 表示在 连续sever_failure_limit 次失败后，那台server会被剔除。server_retry_timeout表示 +直到这个时间过去后，剔除的server才会被包含到哈希环中。这会导致原来分布到剔除server的key被分布到幸存的server。 +如果想要确保请求总是成功，则客户端需要进行重试。重试次数必须大于server_retyr_timeout。 +timeout值的配置可以确保proxy到server的链接能被关闭。 + +Mbuf +mbuf可以配置 512-65k，缺省16k（--mbuf-size=N）。并发连接数取决于mbuf大小。mbuf小允许的连接数多，mbuf大则允许从内核socket buffer读写更多数据。需要处理的并发连接多，则配512或1k。 + +节点名用于一致性哈希 + +servers: + - 127.0.0.1:6379:1 + - 127.0.0.1:6380:1 + - 127.0.0.1:6381:1 + - 127.0.0.1:6382:1 + +Or, + +servers: + - 127.0.0.1:6379:1 server1 + - 127.0.0.1:6380:1 server2 + - 127.0.0.1:6381:1 server3 + - 127.0.0.1:6382:1 server4 + +前者将key直接映射到 host:port:weight。后者将key映射到 node name，node name再映射到 host:port:weight。这允许我们重新分配节点而不破坏哈希环当auto_eject_host为false。当使用node name映射时，权重被忽略。 \ No newline at end of file diff --git "a/Service/twemproxy/twemproxy\347\256\200\344\273\213.sh" "b/Service/twemproxy/twemproxy\347\256\200\344\273\213.sh" new file mode 100644 index 0000000..1733c91 --- /dev/null +++ "b/Service/twemproxy/twemproxy\347\256\200\344\273\213.sh" @@ -0,0 +1,132 @@ +twemproxy简介 + +twemproxy,也叫nutcraker。是一个twtter开源的一个redis和memcache代理服务器。 redis作为一个高效的缓存服务器，非常具有应用价值。但是当使用比较多的时候，就希望可以通过某种方式 统一进行管理。避免每个应用每个客户端管理连接的松散性。同时在一定程度上变得可以控制。 搜索了不少的开源代理项目，知乎实现的python分片客户端。node的代理中间层，还有各种restfull的开源代理。 + + RedBrige + C + epoll实现的一个小的webserver + redis自身执行lua脚本的功能来执行redis命令 + 访问时在url中带上lua脚本文件的名字，直接调用执行该lua脚本 + 本质是通过http协议远程执行lua脚本 + + Webdis + libevent, http-parser...实现的小型web服务器 + C 语言实现，通过unix-socket,TCP调用redis命令。 + 访问方法： /cmd/key/arg0,arg1,... 实质是对redis命令的简单变换 + + redis-proxy + 使用node写的redis代理层。 + 支持主从节点的失败处理（可以仔细研究） + 测试后发现性能为原生的1/3 + + twemproxy + + 支持失败节点自动删除 + 可以设置重新连接该节点的时间 + 可以设置连接多少次之后删除该节点 + 该方式适合作为cache存储 + + 支持设置HashTag + 通过HashTag可以自己设定将两个KEYhash到同一个实例上去。 + + 减少与redis的直接连接数 + 保持与redis的长连接 + 可设置代理与后台每个redis连接的数目 + + 自动分片到后端多个redis实例上 + 多种hash算法（部分还没有研究明白) + 可以设置后端实例的权重 + + 避免单点问题 + 可以平行部署多个代理层.client自动选择可用的一个 + + 支持redis pipelining request + + 支持状态监控 + 可设置状态监控ip和端口，访问ip和端口可以得到一个json格式的状态信息串 + 可设置监控信息刷新间隔时间 + + 高吞吐量 + 连接复用，内存复用。 + 将多个连接请求，组成reids pipelining统一向redis请求。 + +另外可以修改redis的源代码，抽取出redis中的前半部分，作为一个中间代理层。最终都是通过linux下的epoll 事件机制提高并发效率，其中nutcraker本身也是使用epoll的事件机制。并且在性能测试上的表现非常出色。 + +配置部署建议: 编译时候打开logging模块。 + +redis部署知识: AOF；一种记录redis写操作的文件，用于恢复redis数据。 + + + + + + + + 2、twemproxy特性： + + 支持失败节点自动删除 + 可以设置重新连接该节点的时间 + 可以设置连接多少次之后删除该节点 + 该方式适合作为cache存储 + + 支持设置HashTag + 通过HashTag可以自己设定将两个KEYhash到同一个实例上去。 + + 减少与redis的直接连接数 + 保持与redis的长连接 + 可设置代理与后台每个redis连接的数目 + + 自动分片到后端多个redis实例上 + 多种hash算法：能够使用不同的策略和散列函数支持一致性hash。 + 可以设置后端实例的权重 + + 避免单点问题 + 可以平行部署多个代理层.client自动选择可用的一个 + + 支持redis pipelining request + + 支持请求的流式与批处理，降低来回的消耗 + + 支持状态监控 + 可设置状态监控ip和端口，访问ip和端口可以得到一个json格式的状态信息串 + 可设置监控信息刷新间隔时间 + + 高吞吐量 + 连接复用，内存复用。 + 将多个连接请求，组成reids pipelining统一向redis请求。 + + 另外可以修改redis的源代码，抽取出redis中的前半部分，作为一个中间代理层。最终都是通过linux下的epoll 事件机制提高并发效率，其中nutcraker本身也是使用epoll的事件机制。并且在性能测试上的表现非常出色。 + +3、twemproxy问题与不足 + +Twemproxy 由于其自身原理限制，有一些不足之处，如： + + 不支持针对多个值的操作，比如取sets的子交并补等（MGET 和 DEL 除外） + 不支持Redis的事务操作 + 出错提示还不够完善 + 也不支持select操作 + +redis1: + listen: 127.0.0.1:6379 #使用哪个端口启动Twemproxy + redis: true #是否是Redis的proxy + hash: fnv1a_64 #指定具体的hash函数 + distribution: ketama #具体的hash算法 + auto_eject_hosts: true #是否在结点无法响应的时候临时摘除结点 + timeout: 400 #超时时间（毫秒） + server_retry_timeout: 2000 #重试的时间（毫秒） + server_failure_limit: 1 #结点故障多少次就算摘除掉 + servers: #下面表示所有的Redis节点（IP:端口号:权重） + - 127.0.0.1:6380:1 + - 127.0.0.1:6381:1 + - 127.0.0.1:6382:1 +redis2: + listen: 0.0.0.0:10000 + redis: true + hash: fnv1a_64 + distribution: ketama + auto_eject_hosts: false + timeout: 400 + servers: + - 127.0.0.1:6379:1 + - 127.0.0.1:6380:1 + - 127.0.0.1:6381:1 + - 127.0.0.1:6382:1 \ No newline at end of file diff --git "a/python\345\256\236\344\276\213\346\211\213\345\206\214.py" "b/python\345\256\236\344\276\213\346\211\213\345\206\214.py" index 7279f6d..c02f131 100644 --- "a/python\345\256\236\344\276\213\346\211\213\345\206\214.py" +++ "b/python\345\256\236\344\276\213\346\211\213\345\206\214.py" @@ -6,7 +6,7 @@ 0 说明 手册制作: 雪松 littlepy www.51reboot.com - 更新日期: 2020-03-06 + 更新日期: 2016-01-21 欢迎系统运维加入Q群: 198173206 # 加群请回答问题 欢迎运维开发加入Q群: 365534424 # 不定期技术分享 @@ -16,6 +16,7 @@ 错误在所难免, 还望指正！ [python实例手册] [shell实例手册] [LazyManage运维批量管理(shell/python两个版本)] + 网盘更新下载地址: http://pan.baidu.com/s/1sjsFrmX github更新下载地址: https://github.com/liquanzhou/ops_doc 1 基础 @@ -33,11 +34,10 @@ ln -s /usr/local/python27/bin/python /usr/bin/python python # 查看版本 - 解决YUM无法使用的问题 + 解决YUM无法使用的问题 - vim /usr/bin/yum - vim /usr/bin/repoquery - 两文件首行#!/usr/bin/python 替换为老版本python #!/usr/bin/python2.6 注意可能为2.4 + vim /usr/bin/yum + 首行#!/usr/bin/python 替换为老版本python #!/usr/bin/python2.4 注意可能为2.6 pip模块安装 @@ -69,7 +69,6 @@ . /etc/profile pip freeze # 查看包版本 - pip install -r file # 安装包文件列表 pip install Package # 安装包 pip install requests pip show --files Package # 查看安装包时安装了哪些文件 pip show --files Package # 查看哪些包有更新 @@ -77,11 +76,6 @@ pip uninstall Package # 卸载软件包 pip list # 查看pip安装的包及版本 pip install django==1.5 # 指定版本安装 - pip install kafka-python -i http://pypi.douban.com/simple --trusted-host pypi.douban.com - - - python3安装 - yum install python36.x86_64 python36-pip 查看帮助 @@ -140,7 +134,7 @@ shoplist[::-1] # 倒着打印 对字符翻转串有效 shoplist[2::3] # 从第二个开始每隔三个打印 shoplist[:-1] # 排除最后一个 - '\t'.join(li) # 将列表转字符串 用字表符分割 + '\t'.join(li) # 将列表转换成字符串 用字表符分割 sys.path[1:1]=[5] # 在位置1前面插入列表中一个值 list(set(['qwe', 'as', '123', '123'])) # 将列表通过集合去重复 eval("['1','a']") # 将字符串当表达式求值,得到列表 @@ -384,8 +378,8 @@ def method(self): print"method print" Instance = A() - print getattr(Instance, 'name', 'not find') # 如果Instance 对象中有属性name则打印self.name的值，否则打印'not find' - print getattr(Instance, 'age', 'not find') # 如果Instance 对象中有属性age则打印self.age的值，否则打印'not find' + print getattr(Instance , 'name', 'not find') # 如果Instance 对象中有属性name则打印self.name的值，否则打印'not find' + print getattr(Instance , 'age', 'not find') # 如果Instance 对象中有属性age则打印self.age的值，否则打印'not find' print getattr(Instance, 'method', 'default') # 如果有方法method，否则打印其地址，否则打印default print getattr(Instance, 'method', 'default')() # 如果有方法method，运行函数并打印None否则打印default @@ -462,7 +456,7 @@ def runAllGet(self): 读文件 f = file('/etc/passwd','r') c = f.read().strip() # 读取为一个大字符串，并去掉最后一个换行符 - for i in c.split('\n'): # 用换行符切割字符串得到列表循环每行 + for i in c.spilt('\n'): # 用换行符切割字符串得到列表循环每行 print i f.close() @@ -589,11 +583,11 @@ def runAllGet(self): string.upper() # 转换字符串中所有小写为大写 string.lstrip() # 去掉string左边的空格 string.rstrip() # 去掉string字符末尾的空格 - string.replace(str1,str2) # 把string中的str1替换成str2,如果num指定,则替换不超过num次 + string.replace(str1,str2,num=string.count(str1)) # 把string中的str1替换成str2,如果num指定,则替换不超过num次 string.startswith(obj,beg=0,end=len(string)) # 检测字符串是否以obj开头 string.zfill(width) # 返回字符长度为width的字符,原字符串右对齐,前面填充0 string.isdigit() # 只包含数字返回True - string.split("/") # 把string切片成一个列表 + string.split("分隔符") # 把string切片成一个列表 ":".join(string.split()) # 以:作为分隔符,将所有元素合并为一个新的字符串 字典内建方法 @@ -870,15 +864,6 @@ def add(x,y): return x+y ord('4') # 字符转ASCII码 chr(52) # ASCII码转字符 - 设置读取编码为utf8 避免转换出错 - - #!/usr/bin/env python - # -*- coding: utf-8 -*- - - import sys - reload(sys) - sys.setdefaultencoding('utf-8') - 遍历递归 [os.path.join(x[0],y) for x in os.walk('/root/python/5') for y in x[2]] @@ -958,10 +943,6 @@ class Meta: sys.stdin.readline() # 从标准输入读一行 sys.stdout.write("a") # 屏幕输出a sys.path.insert(1, os.path.join(sys.path[0], '/opt/script/')) # 将/opt/script/目录加入环境变量，可导入相应模块 - commands [执行系统操作] - - (status, output) = commands.getstatusoutput('cat /proc/cpuinfo') - print status, output os [系统模块] @@ -970,7 +951,7 @@ class Meta: os.system() # 得到返回状态 返回无法截取 os.name # 返回系统平台 Linux/Unix用户是'posix' os.getenv() # 读取环境变量 - os.environ['A']='1' # 设置环境变量 + os.putenv() # 设置环境变量 os.getcwd() # 当前工作路径 os.chdir() # 改变当前工作目录 os.walk('/root/') # 递归路径 @@ -1068,8 +1049,6 @@ class Meta: commands [执行系统命令] - (status, output) = commands.getstatusoutput('cat /proc/cpuinfo') - print status, output commands.getstatusoutput('id') # 返回元组(状态,标准输出) commands.getoutput('id') # 只返回执行的结果, 忽略返回值 commands.getstatus('file') # 返回ls -ld file执行的结果 @@ -1233,7 +1212,7 @@ def send_mail(to_list, sub): try: send_smtp = smtplib.SMTP() send_smtp.connect(mail_host) - send_smtp.login(mail_user+"@"+mail_postfix, mail_pass) + send_smtp.login(mail_user, mail_pass) send_smtp.sendmail(me, to_list, msg.as_string()) send_smtp.close() return True @@ -1360,16 +1339,6 @@ def send_mail(to_list, sub, filename): time.strftime('%Y-%m-%d_%X',time.localtime( time.time() ) ) # 时间戳转日期 time.mktime(time.strptime('2012-03-28 06:53:40', '%Y-%m-%d %H:%M:%S')) # 日期转时间戳 - 最近的周五 - - from datetime import datetime - from dateutil.relativedelta import relativedelta, FR - (datetime.now() + relativedelta(weekday=FR(-1))).strftime('%Y%m%d') - - 获取本周一 - import datetime - datetime.date.today() - datetime.timedelta(days=datetime.date.today().weekday()) - 判断输入时间格式是否正确 #encoding:utf8 @@ -1479,14 +1448,11 @@ def main(): subprocess [子进程管理] import subprocess - s=subprocess.Popen('sleep 20', shell=True, \ + s=subprocess.Popen('ls', shell=True, \ stdin = subprocess.PIPE, stdout = subprocess.PIPE, stderr = subprocess.PIPE) - print s.wait() # 阻塞等待子进程完成并返回状态码 shell 0为正确 但管道内容过多会造成死锁可以用 communicate() print s.stdout.read() print s.stderr.read() - - print s.communicate() # 返回元组 (stdout, stderr) 会阻塞等待进程完成 推荐使用 - print s.returncode # 返回执行状态码 + print s.wait() # 等待子进程结束。并返回执行状态 shell 0为正确 base64 [编码] @@ -1606,41 +1572,6 @@ def getsalt(chars = string.letters+string.digits): string.printable # 所有字符 string.whitespace # 空白字符 - Gittle [python的git库] - - pip install gittle - from gittle import Gittle - repo_path = '/tmp/gittle_bare' - repo_url = 'git://github.com/FriendCode/gittle.git' - repo = Gittle.clone(repo_url, repo_path) - auth = GittleAuth(pkey=key) # 认证 - Gittle.clone(repo_url, repo_path, auth=auth) - repo = Gittle.clone(repo_url, repo_path, bare=True) # 克隆仓库没有目录的 - repo = Gittle.init(path) # 初始化 - repo.commits # 获取提交列表 - repo.branches # 获取分支列表 - repo.modified_files # 被修改的文件列表 - repo.diff('HEAD', 'HEAD~1') # 获取最新提交差异 - repo.stage('file.txt') # 提交文件 - repo.stage(['other1.txt', 'other2.txt']) # 提交文件列表 - repo.commit(name="Samy Pesse", email="samy@friendco.de", message="This is a commit") # 更新信息 - - repo = Gittle(repo_path, origin_uri=repo_url) - key_file = open('/Users/Me/keys/rsa/private_rsa') - repo.auth(pkey=key_file) - repo.push() # 远端push提交操作 - - repo = Gittle(repo_path, origin_uri=repo_url) - key_file = open('/Users/Me/keys/rsa/private_rsa') - repo.auth(pkey=key_file) - repo.pull() # 拉取最新分支 - - repo.create_branch('dev', 'master') # 创建分支 - repo.switch_branch('dev') # 切换到分支 - repo.create_orphan_branch('NewBranchName') # 创建一个空的分支 - repo.remove_branch('dev') # 删除分支 - - paramiko [ssh客户端] 安装 @@ -2034,6 +1965,12 @@ def myfunc(): %(process)d # 打印进程ID %(message)s # 打印日志信息 + logging.basicConfig(level=logging.DEBUG, + format='%(asctime)s %(filename)s[line:%(lineno)d] %(levelname)s %(message)s', + datefmt='%a, %d %b %Y %H:%M:%S', + filename='myapp.log', + filemode='w') + # 日志级别warning或高于warning的会写入文件 myapp.log 中 logging.config.fileConfig("logger.conf") # 加载配置文件 logger = logging.getLogger("example02") # 使用已定义的日志记录器 @@ -2080,21 +2017,6 @@ def myfunc(): format=%(name)-12s: %(levelname)-8s %(message)s datefmt= - - 通用日志记录 - import logging - - logging.basicConfig(level=logging.DEBUG, - format='%(asctime)s %(filename)s[line:%(lineno)d] %(levelname)s %(message)s', - datefmt='%Y-%m-%d %H:%M:%S', - filename='/var/log/myapp.log', - filemode='a') - # 日志级别DEBUG或高于DEBUG的会写入文件 myapp.log 中 - logging.debug('debug message') - logging.info('info message') - logging.warning('warning message') - - ConfigParser [配置解析] 写入配置文件 @@ -2457,15 +2379,6 @@ def run(self): psutil.Process(PID).io_counters() # 进程IO信息 psutil.Process(PID).num_threads() # 进程线程数 - ldap [统一认证] - yum install openldap openldap-clients openldap-devel openssl-devel setuptools==30.1.0 - sudo pip uninstall ldap ldap3 - pip install python-ldap - import ldap - con = ldap.initialize("ldap://10.10.10.156:389") - con.simple_bind_s("cn=admin,ou=People,dc=gt,dc=com", "pwd") - res = con.search_s("dc=gt,dc=com", ldap.SCOPE_SUBTREE, '(uid=*)', ['*', '+'], 0) - watchdog [监视文件实时写入] https://pypi.python.org/pypi/watchdog @@ -3432,40 +3345,6 @@ def mydb(dbcmdlist): for i in result[0]: print i - - - mysql链接失败重试 - - import MySQLdb as mysql - import time - - class my(): - def executeSQL(self, sql="select * from `serverinfo` limit 1;"): - while True: - try: - self.conn.ping() - break - except Exception,e: - print('warning: mysql test ping fail') - print(str(e)) - try: - self.conn = mysql.connect(user="opsdeploy", passwd="123456", host='172.222.50.50', port=3306, db="ops_deploy", connect_timeout=10, compress=True, charset="utf8") - self.cursor = self.conn.cursor() - break - except Exception,e: - print("mysql reconnect fail ...") - print(str(e)) - time.sleep(2) - try: - self.cursor.execute(sql) - self.conn.commit() - print self.cursor.fetchall() - except Exception,e: - print(str(e)) - m=my() - m.executeSQL() - - 5 处理信号 信号的概念 @@ -3635,19 +3514,6 @@ def sendusr1(): print post['name'] db.project.remove() - # 执行mongo命令 - # https://api.mongodb.com/python/current/api/pymongo/database.html - db.command("filemd5", object_id, root=file_root) - db.command("dropUser", "user") - db.command("createUser", "admin", pwd="password", roles=["root"]) - for x,y in db.command("currentOp").items(): - print x,y - - # currentOp在mongo3.9废弃,建议使用 aggregate() - with client.admin.aggregate([{"$currentOp": {}}]) as cursor: - for operation in cursor: - print(operation) - python使用redis https://pypi.python.org/pypi/redis # redis的python官网 @@ -3660,7 +3526,7 @@ def sendusr1(): rds.info() # redis信息 rds.set(key, value) # 将值value关联到key rds.get(key) # 取key值 - rds.delete(key1,key2) # 删除key + rds.del(key1,key2) # 删除key rds.rename(key,new_key2) # 将key改名 存在覆盖 rds.seten(key,value) # 将值value关联到key,如果key存在不做任何动作 rds.setex(key, value, 10800) # 将值value关联到key,并设置key的过期时间 @@ -3751,103 +3617,7 @@ def sendusr1(): task.data # take task and read data from it task.ack() # move this task into state DONE - python-etcd - - http://python-etcd.readthedocs.io/en/latest/ - - pip install python-etcd - import etcd - client = etcd.Client(host='etcd-01', port=2379) - client = etcd.Client( (('etcd-01', 2379), ('etcd-02', 2379), ('etcd-03', 2379)) ,allow_reconnect=True) # 集群多IP allow_reconnect 允许重连 - - # 增加 目录必须存在 # 目录: /v1/xuesong/ - client.write('/v1/xuesong/10.10.10.10:8080', 'test') - # 获取指定路径的值 - r = client.read('/v1/xuesong/10.10.10.10:8080' , recursive=True, sorted=True) - r.value - # 删除指定路径 - client.delete('/v1/xuesong/10.10.10.10:8080') - - # with ttl - client.write('/nodes/n2', 2, ttl=4) # sets the ttl to 4 seconds - # create only - client.write('/nodes/n3', 'test', prevExist=False) - # Compare and swap values atomically - client.write('/nodes/n3', 'test2', prevValue='test1') #this fails to write - client.write('/nodes/n3', 'test2', prevIndex=10) #this fails to write - # mkdir - client.write('/nodes/queue', None, dir=True) - # Append a value to a queue dir - client.write('/nodes/queue', 'test', append=True) #will write i.e. /nodes/queue/11 - client.write('/nodes/queue', 'test2', append=True) #will write i.e. /nodes/queue/12 - - client.read('/nodes/n2').value # 获取单个键值 - r = client.read('/nodes', recursive=True, sorted=True) # 递归查询目录 - for i in r.children: - if not i.dir: - print("%s: %s" % (child.key,child.value)) - - client.read('/nodes/n2', wait=True) #Waits for a change in value in the key before returning. - client.read('/nodes/n2', wait=True, waitIndex=10) - - try: - client.read('/invalid/path') - except etcd.EtcdKeyNotFound: - print "error" - - client.delete('/nodes/n1') - client.delete('/nodes', dir=True) #spits an error if dir is not empty - client.delete('/nodes', recursive=True) #this works recursively - - client.watch('/nodes/n1', recursive=True,timeout=0) # 递归获取改变值 阻塞直到有改变 - - # watch只会阻塞监视之后的一次改动，所以必须先递归read下所有路径，然后根据每次的watch进行更改 - # 第一次read的时候，需要记录 etcd_index+1作为下一次watch的索引 - index = client.read('/nodes/n1', recursive=True).etcd_index - while 1: - # watch后的索引是 modifiedIndex+1传给下一次的watch - index = client.watch('/nodes/n1', recursive=True, timeout=0, index=index+1).modifiedIndex - - - python操作zookeeper - https://kazoo.readthedocs.io/en/latest/basic_usage.html - - pip install kazoo - from kazoo.client import KazooClient - - zk = KazooClient(hosts='127.0.0.1:2181', read_only=True) - zk.start() - zk.get_children('/') - zk.stop() - - - python操作elasticsearch - - http://elasticsearch-py.readthedocs.io/en/master/ - - from datetime import datetime - from elasticsearch import Elasticsearch - - es = Elasticsearch(["host1", "host2"]) - - doc = { - 'author': 'kimchy', - 'text': 'Elasticsearch: cool. bonsai cool.', - 'timestamp': datetime.now(), - } - - res = es.index(index="live-", doc_type='tweet', id=1, body=doc) - print(res['created']) - - res = es.get(index="live-", doc_type='tweet', id=1) - print(res['_source']) - - es.indices.refresh(index="live-") - - res = es.search(index="live-", body={"query": {"match_all": {}}}) - - -7 http客户端 +7 web页面操作 urllib2 [网络资源访问] @@ -3955,10 +3725,6 @@ def sendusr1(): # 安装: sudo pip install requests import requests - # 使用 logging 库时忽略 requests 库的日志 - logging.getLogger("requests").setLevel(logging.WARNING) - logging.getLogger("urllib3").setLevel(logging.WARNING) - # get方法提交表单 url = r'http://dict.youdao.com/search?le=eng&q={0}'.format(word.strip()) r = requests.get(url,timeout=2) @@ -4070,26 +3836,6 @@ def __call__(self, r): export HTTP_PROXY="http://10.10.1.10:3128" export HTTPS_PROXY="http://10.10.1.10:1080" - - requests.session - import requests - import time - from bs4 import BeautifulSoup - - session = requests.session() - - login_url = "http://deploy.ixiaochuan.cn/login" - res_start = session.get(url=login_url) - bs = BeautifulSoup(res_start.text, "html.parser") - a = bs.select("#csrf_token")[0] - token = a.attrs.get("value") - - login_data = {"username": (None, "weiqiang"), "password": (None, "Onei"), "submit": (None, "Login"), - "csrf_token": (None, token)} - res = session.post(url=login_url, files=login_data, allow_redirects=False) - print("login success") - - BeautifulSoup [html\xml解析器] # BeautifulSoup中文官方文档 @@ -4386,16 +4132,6 @@ def query(): #线程安全/竞争条件,锁/死锁检测,线程池,生产消费模型,伪并发,微线程,协程 #Stackless Python 是Python编程语言的一个增强版本，它使程序员从基于线程的编程方式中获得好处，并避免传统线程所带来的性能与复杂度问题。Stackless为 Python带来的微线程扩展，是一种低开销、轻量级的便利工具 - Queue队列 - import Queue - q = = Queue.Queue(3) - - q.put('a', True, 5) # True等待超时时间, False不等待 - if q.full(): # 队列满了返回True,反之False - q.qsize() # 队列长度 - workQueue.queue.clear() # 清空队列 - q.get(True,5) # True等待超时时间, False不等待 - threading多线程 thread @@ -4761,8 +4497,8 @@ def process_data(threadName, q): q=Queue(size) # 创建大小size的Queue对象 qsize() # 返回队列的大小(返回时候,可能被其他进程修改,近似值) - empty() # 如果队列为空返回True，否则False - full() # 如果队列已满返回True，否则False + empty() # 如果队列为空返回True，否则Fales + full() # 如果队列已满返回True，否则Fales put(item,block0) # 把item放到队列中,如果给了block(不为0),函数会一直阻塞到队列中有空间为止 get(block=0) # 从队列中取一个对象,如果给了block(不为0),函数会一直阻塞到队列中有对象为止 get_nowait # 默认get阻塞，这个不阻塞 @@ -5158,75 +4894,6 @@ def hello_xx(name): if __name__ == "__main__": app.run(host="0.0.0.0", port=50000, debug=True) - Flask-SQLAlchemy - - http://www.pythondoc.com/flask-sqlalchemy/queries.html#id2 - http://docs.jinkan.org/docs/flask-sqlalchemy/models.html#id2 - https://www.cnblogs.com/mosson/p/6257147.html - - db.create_all() # 创建表 - - 增加 - admin = User('admin', 'admin@example.com') - db.session.add(admin) - db.session.add(guest) - db.session.commit() - - 查询 - # 返回数组 - users = User.query.all() - # 条件过滤 返回一个对象 不存在返回 返回none 像python传参数 - peter = User.query.filter_by(username = 'peter').first() - # 条件过滤 像sql 可使用 >< - peter = User.query.filter(username == 'peter').first() - # 获取指定列的值 - print peter.username - # 复杂查询 返回列表对象 - User.query.filter(User.email.endswith('@example.com')).all() - # 对查询结果按指定列排序 - User.query.order_by(User.username) - # 取前面的指定条数 - User.query.limit(1).all() - # 通过主键来获取对象 - User.query.get(1) - # 通配查询 ilike 忽略大小写 - User.query.filter(User.username.ilike('online_%')).all() - User.query.filter(User.username.notilike('online_%')).all() - - 删除 - user = User.query.get(id) - db.session.delete(user) - db.session.commit() - User.query.filter_by(id=123).delete() - User.query.filter(User.id == 123).delete() - - 改 - db.session.query(Users).filter(Users.id > 2).update({"name" : "099"}) - db.session.commit() - - - q = db.session.query(Toner) - q = q.filter(Toner.toner_id==1) - record = q.one() - record.toner_color = 'Azure Radiance' - db.session.flush() - - 连表 - ret = session.query(Users, Favor).filter(Users.id == Favor.nid).all() - ret = session.query(Person).join(Favor).all() - ret = session.query(Person).join(Favor, isouter=True).all() - - 通配符 - ret = session.query(Users).filter(Users.name.like('e%')).all() - ret = session.query(Users).filter(~Users.name.like('e%')).all() - - 排序 - ret = session.query(Users).order_by(Users.name).all() # 正序 - ret = session.query(Users).order_by(Users.name.desc()).all() # 倒序 - ret = session.query(Users).order_by(Users.name.desc(), Users.id.asc()).all() - - - twisted [非阻塞异步服务器框架] # 较老 推荐使用 协程框架 或 微线程框架 @@ -5239,7 +4906,7 @@ class Echo(protocol.Protocol): def dataReceived(self, data): self.transport.write(data) class EchoFactory(protocol.Factory): - dDescribeInstanceStatusef buildProtocol(self, addr): + def buildProtocol(self, addr): return Echo() endpoints.serverFromString(reactor, "tcp:1234").listen(EchoFactory()) @@ -5299,13 +4966,20 @@ def printError(error): # 高可伸缩性和epoll非阻塞IO,响应快速,可处理数千并发连接,特别适用用于实时的Web服务 底层是gevent协程 # http://www.tornadoweb.cn/documentation # http://old.sebug.net/paper/books/tornado/#_2 - # http://demo.pythoner.com/itt2zh/ch5.html - # 非阻塞方式生成子进程 - # https://github.com/vukasin/tornado-subprocess pip install tornado - self.get_argument() # 方法来获取查询字符串参数，以及解析 POST 的内容 + tornado 源码分析系列目录 + + tornado 简介: http://www.cnblogs.com/Bozh/archive/2012/07/17/2596458.html + tornado 网络层IOLoop: http://www.cnblogs.com/Bozh/archive/2012/07/18/2597114.html + tornado 网络层IOLoop: http://www.cnblogs.com/Bozh/archive/2012/07/19/2598696.html + tornado Buffer层IOStream: http://www.cnblogs.com/Bozh/archive/2012/07/20/2600520.html + tornado HTTPServer层: http://www.cnblogs.com/Bozh/archive/2012/07/22/2603963.html + tornado HTTPServer详解: http://www.cnblogs.com/Bozh/archive/2012/07/24/2606765.html + + + get_argument() # 方法来获取查询字符串参数，以及解析 POST 的内容 self.request.arguments # 所有的 GET 或 POST 的参数 self.request.files # 所有通过 multipart/form-data POST 请求上传的文件 self.request.path # 请求的路径（ ? 之前的所有内容） @@ -5317,11 +4991,13 @@ def printError(error): # 异步 HTTP 客户端 两种模式 默认 SimpleAsyncHTTPClient 如果要修改为 CurlAsyncHTTPClient AsyncHTTPClient.configure('tornado.curl_httpclient.CurlAsyncHTTPClient') - import tornado.ioloop import tornado.web + + class MainHandler(tornado.web.RequestHandler): + import tornado.ioloop + import tornadotornado.web import tornado.httpclient - import json class MainHandler(tornado.web.RequestHandler): @@ -5345,9 +5021,9 @@ def get(self): def on_response(self, response): if response.error: raise tornado.web.HTTPError(500) - jsondata = tornado.escape.json_decode(response.body) - print type(jsondata) - self.write(json.dumps(jsondata)) + json = tornado.escape.json_decode(response.body) + self.write("Fetched " + str(len(json["entries"])) + " entries " + "from the FriendFeed API") self.finish() class StoryHandler(tornado.web.RequestHandler): @@ -5359,7 +5035,6 @@ def make_app(): (r"/", MainHandler), (r"/template", Template), (r"/story/([0-9]+)", StoryHandler), - (r"/tapi", urlhttp), ]) if __name__ == "__main__": @@ -5570,66 +5245,6 @@ def MM(n): MM(6) - 嵌套复杂排序 - - 字典排序 - - 按照键值(value)排序 - # a = {'a': 'China', 'c': 'USA', 'b': 'Russia', 'd': 'Canada'} - b = sorted(a.items(), key=lambda x: x[1], reverse=True) - #[('c', 'USA'), ('b', 'Russia'), ('a', 'China'), ('d', 'Canada')] - - 按照键名(key)排序 - #a = {'a': 'China', 'c': 'USA', 'b': 'Russia', 'd': 'Canada'} - b = sorted(a.items(), key=lambda x: x[0], reverse=True) - #[('d', 'Canada'), ('c', 'USA'), ('b', 'Russia'), ('a', 'China')] - - 嵌套字典, 按照字典键名(key)排序 - #a = {'a': {'b': 'China'}, 'c': {'d': 'USA'}, 'b': {'c': 'Russia'}, 'd': {'a': 'Canada'}} - b = sorted(a.items(), key=lambda x: x[1], reverse=True) - #[('c', {'d': 'USA'}), ('b', {'c': 'Russia'}), ('a', {'b': 'China'}), ('d', {'a': 'Canada'})] - - 嵌套列表, 针对列表第一个元素排序( 其实直接写 x: x[1] 就是按照第一个值排序. ) - #a = {'a': [1, 3], 'c': [3, 4], 'b': [0, 2], 'd': [2, 1]} - b = sorted(a.items(), key=lambda x: x[1][0], reverse=True) - #[('c', [3, 4]), ('d', [2, 1]), ('a', [1, 3]), ('b', [0, 2])] - - 嵌套列表, 按照列表其他元素排序 只需要修改列表对应的下标 - # a = {'a': [1, 3], 'c': [3, 4], 'b': [0, 2], 'd': [2, 1]} - b = sorted(a.items(), key=lambda x: x[1][1], reverse=True) - # [('c', [3, 4]), ('a', [1, 3]), ('b', [0, 2]), ('d', [2, 1])] - - # 总结: 此处使用lambda方法, x: x[1][1] 就可以看做是在访问字典的值, 想要按照哪个数值排序, 用相应的坐标对应即可, 但当字典过于复杂后, 应该选择用元组存储, 简化排序过程. - - - 列表排序 - - 1: 按照字母排序 - # a = ['USA', 'China', 'Canada', 'Russia'] - a.sort(reverse=True) - # ['USA', 'Russia', 'China', 'Canada'] - - 2: 嵌套列表的排序, 按照子列表的其他值排序雷系, 修改x[0] 这里的下标即可 - # a = [['USA', 'b'], ['China', 'c'], ['Canada', 'd'], ['Russia', 'a']] - a.sort(key=lambda x: x[0], reverse=True) - # [['USA', 'b'], ['Russia', 'a'], ['China', 'c'], ['Canada', 'd']] - - 3: 嵌套字典, 按照字典值(value) 排序 - # a = [{'letter': 'b'}, {'letter': 'c'}, {'letter': 'd'}, {'letter': 'a'}] - a.sort(key=lambda x: x['letter'], reverse=True) - # [{'letter': 'd'}, {'letter': 'c'}, {'letter': 'b'}, {'letter': 'a'}] - - 4: 当字典值也是字典时, 这时候会优先按照键名排序, 再按照键值排序. 例子如下 - # a = [{'letter': {'a': 'b'}}, {'letter': {'a': 'c'}}, {'letter': {'a': 'd'}}, {'letter': {'a': 'a'}}] - a.sort(key=lambda x: x['letter'], reverse=True) - # [{'letter': {'a': 'd'}}, {'letter': {'a': 'c'}}, {'letter': {'a': 'b'}}, {'letter': {'a': 'a'}}] - - 方法2: - # a = [{'letter': {'a': 'b'}}, {'letter': {'b': 'c'}}, {'letter': {'c': 'd'}}, {'letter': {'d': 'a'}}] - a.sort(key=lambda x: x['letter'], reverse=True) - #[{'letter': {'d': 'a'}}, {'letter': {'c': 'd'}}, {'letter': {'b': 'c'}}, {'letter': {'a': 'b'}}] - - 1000以内是3或者是5的倍数的值的和 sum([ num for num in range(1, 1000) if num % 3 == 0 or num % 5 == 0 ]) @@ -5660,180 +5275,6 @@ def MM(n): a={'version01': {'nba': {'timenba': 'valuesasdfasdf', 'nbanbac': 'vtimefasdf', 'userasdf': 'vtimasdf'}}} eval(str(a).replace("time","")) - - 阿里云oss - - https://help.aliyun.com/document_detail/32027.html?spm=5176.doc32026.6.674.AXf7Lw - pip install oss2 - - # -*- coding: utf-8 -*- - import oss2 - - auth = oss2.Auth('AccessKeyId', 'AccessKeySecret') - # 注意内外网域名 不带bucket - service = oss2.Service(auth, 'oss-cn-shanghai-internal.aliyuncs.com') - - print([b.name for b in oss2.BucketIterator(service)]) # 查看存在的bucket - - bucket = oss2.Bucket(auth, 'http://oss-cn-shanghai-internal.aliyuncs.com', 'ec-share') - # bucket.create_bucket(oss2.models.BUCKET_ACL_PRIVATE) # 创建bucket - bucket.put_object_from_file('remote.txt','/tmp/local.txt') # 上传文件 - bucket.get_object_to_file('remote.txt', 'local-backup.txt') # 下载文件 - bucket.delete_object('remote.txt') # 删除文件 - - - 阿里云ecs - https://help.aliyun.com/document_detail/67117.html?spm=a2c4g.11186623.6.543.390360e41Cfpqm - pip install aliyun-python-sdk-core # 安装阿里云SDK核心库 - pip install aliyun-python-sdk-ecs # 安装管理ECS的库 - - from aliyunsdkcore.client import AcsClient - from aliyunsdkcore.acs_exception.exceptions import ClientException - from aliyunsdkcore.acs_exception.exceptions import ServerException - from aliyunsdkecs.request.v20140526 import DescribeInstancesRequest - from aliyunsdkecs.request.v20140526 import StopInstanceRequest - client = AcsClient( - "your-access-key-id", - "your-access-key-secret", - "your-region-id" - ); - request = DescribeInstancesRequest.DescribeInstancesRequest() - request.set_PageSize(10) - try: - response = client.do_action_with_exception(request) - print response - except ServerException as e: - print e - except ClientException as e: - print e - - - # 使用CommonRequest的方式调用ECS的 DescribeInstanceStatus 接口 - - from aliyunsdkcore.client import AcsClient - from aliyunsdkcore.request import CommonRequest - client = AcsClient('your_access_key_id', 'your_access_key_secret', 'your_region_id') - request = CommonRequest() - request.set_domain('ecs.aliyuncs.com') - request.set_version('2014-05-26') - request.set_action_name('DescribeInstanceStatus') - request.add_query_param('PageNumber', '1') - request.add_query_param('PageSize', '30') - request.add_query_param('ZoneId', 'cn-shanghai-d') - response = client.do_action_with_exception(request) - - - # 接口列表 - https://help.aliyun.com/document_detail/25506.html?spm=a2c4g.11186623.6.1084.2f672eafMskx7S - # 调用DescribeInstances查询一台或多台实例的详细信息 - DescribeInstances - # 调用CreateInstance创建一台ECS实例 - CreateInstance - # 调用StartInstance启动一台实例 - StartInstance - # 调用StopInstance停止运行一台实例 - StopInstance - # 调用DescribeInstanceStatus获取一台或多台ECS实例的状态信息 - DescribeInstanceStatus - - - # 创建ecs, CreateInstance, stop状态 - # 参数列表 - # https://help.aliyun.com/document_detail/25499.html?spm=a2c4g.11186623.6.1095.4347431djUtw2v - - from aliyunsdkcore.client import AcsClient - from aliyunsdkcore.request import CommonRequest - client = AcsClient('LTAIzeBZre', 'fLJOBweE8qHKxrEOnc2FIF', 'cn-shanghai') - request = CommonRequest() - request.set_domain('ecs.aliyuncs.com') - request.set_version('2014-05-26') - request.set_action_name('CreateInstance') - - request.add_query_param('ImageId', 'm-uf67jei1pul0xpfsfpfv') - request.add_query_param('InstanceType', 'ecs.c5.large') - request.add_query_param('RegionId', 'cn-shanghai') - request.add_query_param('ZoneId', 'cn-shanghai-f') - request.add_query_param('SecurityGroupId', 'sg-uf6i53pjsi11yuyrwyqs') - request.add_query_param('VSwitchId', 'vsw-uf630eqh0edoe9n3ig7lz') - request.add_query_param('Period', '1') - request.add_query_param('InstanceChargeType', 'PrePaid') - request.add_query_param('AutoRenew', 'true') - request.add_query_param('AutoRenewPeriod', '1') - request.add_query_param('InstanceName', 'xuesong-test1') - request.add_query_param('HostName', 'xuesong-test1') - request.add_query_param('Password', 'azuDa9nee6aiHaey') - request.add_query_param('SystemDisk.Size', '200') - request.add_query_param('SystemDisk.Category', 'cloud_efficiency') - request.add_query_param('SystemDisk.DiskName', 'xuesong-test1') - - response = client.do_action_with_exception(request) - # InstanceId # 实例ID，是访问实例的唯一标识 - # RequestId # 无论调用接口成功与否，都会返回请求ID - - # 启动ecs StartInstance - from aliyunsdkcore.client import AcsClient - from aliyunsdkcore.request import CommonRequest - client = AcsClient('LTAIzeBZre', 'fLJOBweE8qHKxrEOnc2FIF', 'cn-shanghai') - request = CommonRequest() - request.set_domain('ecs.aliyuncs.com') - request.set_version('2014-05-26') - request.set_action_name('StartInstance') - - request.add_query_param('InstanceId', 'i-uf69e821lkybxke6yyno') - response = client.do_action_with_exception(request) - - - # 查询ecs信息 DescribeInstances - from aliyunsdkcore.client import AcsClient - from aliyunsdkcore.request import CommonRequest - import json - - client = AcsClient('LTAIzeBZre', 'fLJOBweE8qHKxrEOnc2FIF', 'cn-shanghai') - request = CommonRequest() - request.set_domain('ecs.aliyuncs.com') - request.set_version('2014-05-26') - request.set_action_name('DescribeInstances') - - request.add_query_param('InstanceIds', ['i-uf69e821lkybxke6yyno']) - response = client.do_action_with_exception(request) - jresponse = json.loads(response) - ip = jresponse['Instances']['Instance'][0]['NetworkInterfaces']['NetworkInterface'][0]['PrimaryIpAddress'] - status = jresponse['Instances']['Instance'][0]['Status'] - # Stopped Stopping Starting Running - - - # 停止ecs StopInstance - from aliyunsdkcore.client import AcsClient - from aliyunsdkcore.request import CommonRequest - - client = AcsClient('LTAIzeBZre', 'fLJOBweE8qHKxrEOnc2FIF', 'cn-shanghai') - request = CommonRequest() - request.set_domain('ecs.aliyuncs.com') - request.set_version('2014-05-26') - request.set_action_name('StopInstance') - - request.add_query_param('InstanceId', 'i-uf69e821lkybxke6yyno') - response = client.do_action_with_exception(request) - - - - # 删除ecs DeleteInstance 释放一台按量付费实例或者到期的预付费（包年包月）实例 - from aliyunsdkcore.client import AcsClient - from aliyunsdkcore.request import CommonRequest - - client = AcsClient('LTAIzeBZre', 'fLJOBweE8qHKxrEOnc2FIF', 'cn-shanghai') - request = CommonRequest() - request.set_domain('ecs.aliyuncs.com') - request.set_version('2014-05-26') - request.set_action_name('DeleteInstance') - - request.add_query_param('InstanceId', 'i-uf69e821lkybxke6yyno') - request.add_query_param('Force', 'true') - - response = client.do_action_with_exception(request) - - - PIL图像处理 import Image @@ -5901,6 +5342,34 @@ def print_board(): #if j != 2: print '|' + 生成html文件表格 + + log_file = file('check.html', 'w') + log_file.write(""" + + + + + + + +
      状态统计
      + + + + + + + """) + for i in list: + log_file.write('\n' %(i.split()[0],i.split()[1]) ) + log_file.write(""" +
      IP状态
      %s%s
      + + + """) + log_file.flush() + log_file.close() 井字游戏 @@ -6127,41 +5596,6 @@ def run(self): net.append(intf) print net - - 阿里云sdk接口 - - # 阿里云接口列表 - https://develop.aliyun.com/tools/sdk?#/python - - # python sdk模块 - https://help.aliyun.com/document_detail/30003.html?spm=5176.doc29995.2.1.htCtSa - - # 接口参数详解 - https://help.aliyun.com/document_detail/25500.html?spm=5176.doc25499.6.691.lWwhc0 - - pip install aliyun-python-sdk-core aliyun-python-sdk-ecs - - dir(aliyunsdkecs.request) - v20140526 - aliyunsdkecs.request.v20140526 - - #!/usr/bin/env python - from aliyunsdkcore import client - from aliyunsdkecs.request.v20140526 import DescribeRegionsRequest - - clt = client.AcsClient('SFAW************','Nc2nZ6dQoiqck0*************', - 'cn-hangzhou') - - request=DescribeRegionsRequest.DescribeRegionsRequest() - - print dir(request) - - request.set_accept_format('json') - request.set_action_name("CreateInstance") - - print(clt.do_action(request)) - - 获取系统监控信息 #!/usr/bin/env python @@ -6242,40 +5676,6 @@ def runAllGet(self): if __name__ == "__main__": print mon().runAllGet() - - nginx_5xx钉钉报警 - import os - import sys - import datetime - import time - import requests - import json - - mtime = (datetime.datetime.now()-datetime.timedelta(minutes=1)).strftime("%Y-%m-%dT%H:%M") - - num = int(os.popen('''tail -n 100000 /app/nginx/logs/*_access.log | grep %s |grep 'status": 5' |wc -l ''' % mtime ).read().strip()) - print num - - if num > 20: - print 'baojing' - Robot = 'https://oapi.dingtalk.com/robot/send?access_token=e80aa431d237d97217827524' - headers = {'content-type': 'application/json'} - content = "lite nginx dmz01 5XX: %s" % num - - dingdata = { - "msgtype": "text", - "text": { - "content": content - } - } - - try: - r = requests.post(url=Robot, data=json.dumps(dingdata), headers=headers, timeout=2).json() - except Exception as err: - print 'ERROR: notice dingding api error' - print str(err) - - 获取主机名 #!/usr/bin/env python @@ -6766,6 +6166,8 @@ def aclose(self, fd): 不定期更新下载地址： +http://pan.baidu.com/s/1sjsFrmX https://github.com/liquanzhou/ops_doc 请勿删除信息, 植入广告, 抵制不道德行为 + diff --git "a/shell\345\256\236\344\276\213\346\211\213\345\206\214.sh" "b/shell\345\256\236\344\276\213\346\211\213\345\206\214.sh" index a325522..e974241 100644 --- "a/shell\345\256\236\344\276\213\346\211\213\345\206\214.sh" +++ "b/shell\345\256\236\344\276\213\346\211\213\345\206\214.sh" @@ -3,7 +3,7 @@ 0 说明{ 手册制作: 雪松 - 更新日期: 2020-03-06 + 更新日期: 2016-06-17 欢迎系统运维加入Q群: 198173206 # 加群请回答问题 欢迎运维开发加入Q群: 365534424 # 不定期技术分享 @@ -13,77 +13,79 @@ 错误在所难免, 还望指正！ [python实例手册] [shell实例手册] [LazyManage运维批量管理(shell/python两个版本)] + 网盘更新下载地址: http://pan.baidu.com/s/1sjsFrmX github更新下载地址: https://github.com/liquanzhou/ops_doc } 1 文件{ - ls -rtl # 按时间倒叙列出所有目录和文件 ll -rt - touch file # 创建空白文件 - rm -rf dirname # 不提示删除非空目录(-r:递归删除 -f强制) - dos2unix # windows文本转linux文本 - unix2dos # linux文本转windows文本 - enca filename # 查看编码 安装 yum install -y enca - md5sum # 查看md5值 - ln sourcefile newfile # 硬链接 - ln -s sourcefile newfile # 符号连接 - readlink -f /data # 查看连接真实目录 - cat file | nl |less # 查看上下翻页且显示行号 q退出 - head # 查看文件开头内容 - head -c 10m # 截取文件中10M内容 - split -C 10M # 将文件切割大小为10M -C按行 - tail -f file # 查看结尾 监视日志文件 - tail -F file # 监视日志并重试, 针对文件被mv的情况可以持续读取 - file # 检查文件类型 - umask # 更改默认权限 - uniq # 删除重复的行 - uniq -c # 重复的行出现次数 - uniq -u # 只显示不重复行 - paste a b # 将两个文件合并用tab键分隔开 - paste -d'+' a b # 将两个文件合并指定'+'符号隔开 - paste -s a # 将多行数据合并到一行用tab键隔开 - chattr +i /etc/passwd # 不得任意改变文件或目录 -i去掉锁 -R递归 - more # 向下分面器 - locate aaa # 搜索 - wc -l file # 查看行数 - cp filename{,.bak} # 快速备份一个文件 - \cp a b # 拷贝不提示 既不使用别名 cp -i - rev # 将行中的字符逆序排列 - comm -12 2 3 # 行和行比较匹配 - echo "10.45aa" |cksum # 字符串转数字编码，可做校验，也可用于文件校验 - iconv -f gbk -t utf8 source.txt > new.txt # 转换编码 - xxd /boot/grub/stage1 # 16进制查看 - hexdump -C /boot/grub/stage1 # 16进制查看 - rename source new file # 重命名 可正则 - watch -d -n 1 'df; ls -FlAt /path' # 实时某个目录下查看最新改动过的文件 - cp -v /dev/dvd /rhel4.6.iso9660 # 制作镜像 - diff suzu.c suzu2.c > sz.patch # 制作补丁 - patch suzu.c < sz.patch # 安装补丁 + ls -rtl # 按时间倒叙列出所有目录和文件 ll -rt + touch file # 创建空白文件 + rm -rf 目录名 # 不提示删除非空目录(-r:递归删除 -f强制) + dos2unix # windows文本转linux文本 + unix2dos # linux文本转windows文本 + enca filename # 查看编码 安装 yum install -y enca + md5sum # 查看md5值 + ln 源文件 目标文件 # 硬链接 + ln -s 源文件 目标文件 # 符号连接 + readlink -f /data # 查看连接真实目录 + cat file | nl |less # 查看上下翻页且显示行号 q退出 + head # 查看文件开头内容 + head -c 10m # 截取文件中10M内容 + split -C 10M # 将文件切割大小为10M -C按行 + tail -f file # 查看结尾 监视日志文件 + tail -F file # 监视日志并重试, 针对文件被mv的情况可以持续读取 + file # 检查文件类型 + umask # 更改默认权限 + uniq # 删除重复的行 + uniq -c # 重复的行出现次数 + uniq -u # 只显示不重复行 + paste a b # 将两个文件合并用tab键分隔开 + paste -d'+' a b # 将两个文件合并指定'+'符号隔开 + paste -s a # 将多行数据合并到一行用tab键隔开 + chattr +i /etc/passwd # 不得任意改变文件或目录 -i去掉锁 -R递归 + more # 向下分面器 + locate 字符串 # 搜索 + wc -l file # 查看行数 + cp filename{,.bak} # 快速备份一个文件 + \cp a b # 拷贝不提示 既不使用别名 cp -i + rev # 将行中的字符逆序排列 + comm -12 2 3 # 行和行比较匹配 + echo "10.45aa" |cksum # 字符串转数字编码，可做校验，也可用于文件校验 + iconv -f gbk -t utf8 原.txt > 新.txt # 转换编码 + xxd /boot/grub/stage1 # 16进制查看 + hexdump -C /boot/grub/stage1 # 16进制查看 + rename 原模式 目标模式 文件 # 重命名 可正则 + watch -d -n 1 'df; ls -FlAt /path' # 实时某个目录下查看最新改动过的文件 + cp -v /dev/dvd /rhel4.6.iso9660 # 制作镜像 + diff suzu.c suzu2.c > sz.patch # 制作补丁 + patch suzu.c < sz.patch # 安装补丁 sort排序{ - -t # 指定排序时所用的栏位分隔字符 - -n # 依照数值的大小排序 - -r # 以相反的顺序来排序 - -f # 排序时，将小写字母视为大写字母 - -d # 排序时，处理英文字母、数字及空格字符外，忽略其他的字符 - -c # 检查文件是否已经按照顺序排序 - -b # 忽略每行前面开始处的空格字符 - -M # 前面3个字母依照月份的缩写进行排序 - -k # 指定域 - -m # 将几个排序好的文件进行合并 - -T # 指定临时文件目录,默认在/tmp - -o # 将排序后的结果存入指定的文 - - sort -n # 按数字排序 - sort -nr # 按数字倒叙 - sort -u # 过滤重复行 - sort -m a.txt c.txt # 将两个文件内容整合到一起 - sort -n -t' ' -k 2 -k 3 a.txt # 第二域相同，将从第三域进行升降处理 - sort -n -t':' -k 3r a.txt # 以:为分割域的第三域进行倒叙排列 - sort -k 1.3 a.txt # 从第三个字母起进行排序 - sort -t" " -k 2n -u a.txt # 以第二域进行排序，如果遇到重复的，就删除 + -t # 指定排序时所用的栏位分隔字符 + -n # 依照数值的大小排序 + -r # 以相反的顺序来排序 + -f # 排序时，将小写字母视为大写字母 + -d # 排序时，处理英文字母、数字及空格字符外，忽略其他的字符 + -c # 检查文件是否已经按照顺序排序 + -b # 忽略每行前面开始处的空格字符 + -M # 前面3个字母依照月份的缩写进行排序 + -k # 指定域 + -m # 将几个排序好的文件进行合并 + -T # 指定临时文件目录,默认在/tmp + +<起始栏位>-<结束栏位> # 以指定的栏位来排序，范围由起始栏位到结束栏位的前一栏位。 + -o # 将排序后的结果存入指定的文 + + sort -n # 按数字排序 + sort -nr # 按数字倒叙 + sort -u # 过滤重复行 + sort -m a.txt c.txt # 将两个文件内容整合到一起 + sort -n -t' ' -k 2 -k 3 a.txt # 第二域相同，将从第三域进行升降处理 + sort -n -t':' -k 3r a.txt # 以:为分割域的第三域进行倒叙排列 + sort -k 1.3 a.txt # 从第三个字母起进行排序 + sort -t" " -k 2n -u a.txt # 以第二域进行排序，如果遇到重复的，就删除 } @@ -97,42 +99,30 @@ # -and 且 匹配两个条件 参数可以确定时间范围 -mtime +2 -and -mtime -4 # -or 或 匹配任意一个条件 - find /etc -name "*http*" # 按文件名查找 - find . -type f # 查找某一类型文件 - find / -perm # 按照文件权限查找 - find / -user # 按照文件属主查找 - find / -group # 按照文件所属的组来查找文件 - find / -atime -n # 文件使用时间在N天以内 - find / -atime +n # 文件使用时间在N天以前 - find / -mtime +n # 文件内容改变时间在N天以前 - find / -ctime +n # 文件状态改变时间在N天前 - find / -mmin +30 # 按分钟查找内容改变 + find /etc -name "*http*" # 按文件名查找 + find . -type f # 查找某一类型文件 + find / -perm # 按照文件权限查找 + find / -user # 按照文件属主查找 + find / -group # 按照文件所属的组来查找文件 + find / -atime -n # 文件使用时间在N天以内 + find / -atime +n # 文件使用时间在N天以前 + find / -mtime +n # 文件内容改变时间在N天以前 + find / -ctime +n # 文件状态改变时间在N天前 + find / -mmin +30 # 按分钟查找内容改变 find / -size +1000000c -print # 查找文件长度大于1M字节的文件 find /etc -name "*passwd*" -exec grep "xuesong" {} \; # 按名字查找文件传递给-exec后命令 find . -name 't*' -exec basename {} \; # 查找文件名,不取路径 find . -type f -name "err*" -exec rename err ERR {} \; # 批量改名(查找err 替换为 ERR {}文件 - find path -name *name1* -or -name *name2* # 查找任意一个关键字 + find 路径 -name *name1* -or -name *name2* # 查找任意一个关键字 } vim编辑器{ - # 常用配置 - set smartindent - set tabstop=4 - set shiftwidth=4 - set expandtab - set softtabstop=4 - set noautoindent - set nosmartindent - set paste - set clipboard=unnamed - gconf-editor # 配置编辑器 /etc/vimrc # 配置文件路径 vim +24 file # 打开文件定位到指定行 vim file1 file2 # 打开多个文件 - vim -r file # 恢复上次异常关闭的文件 .file.swp vim -O2 file1 file2 # 垂直分屏 vim -on file1 file2 # 水平分屏 Ctrl+ U # 向前翻页 @@ -148,7 +138,7 @@ :set autoindent # 设置自动缩进 :set ff # 查看文本格式 :set binary # 改为unix格式 - :%s/str/newstr/g # 全部替换 + :%s/字符1/字符2/g # 全部替换 :200 # 跳转到200 1 文件头 G # 跳到行尾 dd # 删除当前行 并复制 可直接p粘贴 @@ -169,32 +159,33 @@ 归档解压缩{ - tar zxvpf gz.tar.gz dir # 解包指定tar.gz中的内容 不指定目录则全解压 - tar zcvpf /$path/gz.tar.gz * # 打包gz 注意*最好用相对路径 - tar zcf /$path/gz.tar.gz * # 打包正确不提示 - tar ztvpf gz.tar.gz # 查看gz - tar xvf 1.tar -C dir # 解包tar 放到指定目录 - tar -cvf 1.tar * # 打包tar - tar tvf 1.tar # 查看tar - tar -rvf 1.tar filename # 给tar追加文件 + tar zxvpf gz.tar.gz -C 放到指定目录 包中的目录 # 解包tar.gz 不指定目录则全解压 + tar zcvpf /$path/gz.tar.gz * # 打包gz 注意*最好用相对路径 + tar zcf /$path/gz.tar.gz * # 打包正确不提示 + tar ztvpf gz.tar.gz # 查看gz + tar xvf 1.tar -C 目录 # 解包tar + tar -cvf 1.tar * # 打包tar + tar tvf 1.tar # 查看tar + tar -rvf 1.tar 文件名 # 给tar追加文件 tar --exclude=/home/dmtsai --exclude=*.tar -zcvf myfile.tar.gz /home/* /etc # 打包/home, /etc ，但排除 /home/dmtsai tar -N "2005/06/01" -zcvf home.tar.gz /home # 在 /home 当中，比 2005/06/01 新的文件才备份 tar -zcvfh home.tar.gz /home # 打包目录中包括连接目录 tar zcf - ./ | ssh root@IP "tar zxf - -C /xxxx" # 一边压缩一边解压 - zgrep str 1.gz # 查看压缩包中文件字符行 - bzip2 -dv 1.tar.bz2 # 解压bzip2 - bzip2 -v 1.tar # bzip2压缩 - bzcat # 查看bzip2 - gzip file # 直接压缩文件 # 压缩后源文件消失 - gunzip file.gz # 直接解压文件 # 解压后源文件消失 - gzip -r dir/ # 递归压缩目录 - gzip -r -d dir/ # 递归解压目录 - gzip -dv 1.tar.gz # 解压gzip到tar - gzip -v 1.tar # 压缩tar到gz - unzip zip.zip # 解压zip - zip zip.zip * # 压缩zip - rar a rar.rar *.jpg # 压缩文件为rar包 - unrar x rar.rar # 解压rar包 + zgrep 字符 1.gz # 查看压缩包中文件字符行 + bzip2 -dv 1.tar.bz2 # 解压bzip2 + bzip2 -v 1.tar # bzip2压缩 + bzcat # 查看bzip2 + gzip A # 直接压缩文件 # 压缩后源文件消失 + gunzip A.gz # 直接解压文件 # 解压后源文件消失 + gzip -dv 1.tar.gz # 解压gzip到tar + gzip -v 1.tar # 压缩tar到gz + unzip zip.zip # 解压zip + zip zip.zip * # 压缩zip + # rar3.6下载: http://www.rarsoft.com/rar/rarlinux-3.6.0.tar.gz + rar a rar.rar *.jpg # 压缩文件为rar包 + unrar x rar.rar # 解压rar包 + 7z a 7z.7z * # 7z压缩 + 7z e 7z.7z # 7z解压 } @@ -205,20 +196,24 @@ } - svn{ + svn更新代码{ --force # 强制覆盖 /usr/bin/svn --username user --password passwd co $Code ${SvnPath}src/ # 检出整个项目 /usr/bin/svn --username user --password passwd up $Code ${SvnPath}src/ # 更新项目 /usr/bin/svn --username user --password passwd export $Code$File ${SvnPath}src/$File # 导出个别文件 - /usr/bin/svn --username user --password passwd export -r 版本号 svn路径 本地路径 --force # 导出指定版本 + /usr/bin/svn --username user --password passwd export -r 版本号 svn路径 本地路径 --force # 导出指定版本 } git{ + # 编译安装git-1.8.4.4 + ./configure --with-curl --with-expat + make + make install + git clone git@10.10.10.10:gittest.git ./gittest/ # 克隆项目到指定目录 - git clone -b develop --depth=1 http://git.a.com/d.git # 克隆指定分支 克隆一层 git status # Show the working tree(工作树) status git log -n 1 --stat # 查看最后一次日志文件 git branch -a # 列出远程跟踪分支(remote-tracking branches)和本地分支 @@ -228,7 +223,7 @@ git push origin --delete release # 从远端删除分区，服务端有可能设置保护不允许删除 git push origin release # 把本地分支提交到远程 git pull # 更新项目 需要cd到项目目录中 - git fetch -f -p # 抓取远端代码但不合并到当前 + git fetch # 抓取远端代码但不合并到当前 git reset --hard origin/master # 和远端同步分支 git add . # 更新所有文件 git commit -m "gittest up" # 提交操作并添加备注 @@ -250,8 +245,6 @@ git config --edit # 编辑.git/config(Repository specific)配置文件, 值优先级高于~/.gitconfig git cherry-pick # 用于把另一个本地分支的commit修改应用到当前分支 需要push到远程 git log --pretty=format:'%h: %s' 9378b62..HEAD # 查看指定范围更新操作 commit id - git config --global core.ignorecase false # 设置全局大小写敏感 - git ls-remote --heads origin refs/heads/test # 查看 从远端拉一份新的{ # You have not concluded your merge (MERGE_HEAD exists) git拉取失败 @@ -259,25 +252,6 @@ git reset --hard origin/master } - 删除远程分支并新建{ - git checkout master - git branch -r -d origin/test # 删除远程分支 但有时候并没有删除 可以尝试使用下面的语句 - git push origin :test # 推送一个空分支到远程分支，相当于删除远程分支 - git branch -d test # 删除本地test分支, -D 强制 - git branch -a |grep test - git checkout -b test - git push origin test - - git reset --hard origin/test - } - - 迁移git项目{ - git branch -r | grep -v '\->' | while read remote; do git branch --track "${remote#origin/}" "$remote"; done - git fetch --all - git pull --all - git remote set-url origin git@git.github.cn:server/gw.git - git push --all - } } 恢复rm删除的文件{ @@ -319,6 +293,7 @@ rpm -Uvh # 升级包 rpm --test lynx # 测试 rpm -qc # 软件包配置文档 + rpm --import /etc/pki/rpm-gpg/RPM-GPG-KEY-CentOS-6 # 导入rpm的签名信息 rpm --initdb # 初始化rpm 数据库 rpm --rebuilddb # 重建rpm数据库 在rpm和yum无响应的情况使用 先 rm -f /var/lib/rpm/__db.00* 在重建 @@ -412,39 +387,38 @@ 3 系统{ - wall # 给其它用户发消息 - whereis ls # 搜索程序名，而且只搜索二进制文件 - which # 查找命令是否存在,及存放位置 - locate # 不是实时查找，查找的结果不精确，但查找速度很快 每天更新 /var/lib/locatedb - clear # 清空整个屏幕 - reset # 重新初始化屏幕 - cal # 显示月历 - echo -n 123456 | md5sum # md5加密 - mkpasswd # 随机生成密码 -l位数 -C大小 -c小写 -d数字 -s特殊字符 - netstat -ntupl | grep port # 是否打开了某个端口 - ntpdate cn.pool.ntp.org # 同步时间, pool.ntp.org: public ntp time server for everyone(http://www.pool.ntp.org/zh/) - tzselect # 选择时区 #+8=(5 9 1 1) # (TZ='Asia/Shanghai'; export TZ)括号内写入 /etc/profile - /sbin/hwclock -w # 时间保存到硬件 - /etc/shadow # 账户影子文件 - LANG=en # 修改语言 - vim /etc/sysconfig/i18n # 修改编码 LANG="en_US.UTF-8" - export LC_ALL=C # 强制字符集 - vi /etc/hosts # 查询静态主机名 - alias # 别名 - watch uptime # 监测命令动态刷新 监视 - ipcs -a # 查看Linux系统当前单个共享内存段的最大值 - ldconfig # 动态链接库管理命令 - ldd `which cmd` # 查看命令的依赖库 - dist-upgrade # 会改变配置文件,改变旧的依赖关系，改变系统版本 - /boot/grub/grub.conf # grub启动项配置 - ps -mfL # 查看指定进程启动的线程 线程数受 max user processes 限制 - ps uxm |wc -l # 查看当前用户占用的进程数 [包括线程] max user processes - top -p PID -H # 查看指定PID进程及线程 - lsof |wc -l # 查看当前文件句柄数使用数量 open files - lsof |grep /lib # 查看加载库文件 - sysctl -a # 查看当前所有系统内核参数 - sysctl -p # 修改内核参数/etc/sysctl.conf，让/etc/rc.d/rc.sysinit读取生效 - strace -p pid # 跟踪系统调用 + wall 　 　 # 给其它用户发消息 + whereis ls # 查找命令的目录 + which # 查看当前要执行的命令所在的路径 + clear # 清空整个屏幕 + reset # 重新初始化屏幕 + cal # 显示月历 + echo -n 123456 | md5sum # md5加密 + mkpasswd # 随机生成密码 -l位数 -C大小 -c小写 -d数字 -s特殊字符 + netstat -ntupl | grep port # 是否打开了某个端口 + ntpdate cn.pool.ntp.org # 同步时间, pool.ntp.org: public ntp time server for everyone(http://www.pool.ntp.org/zh/) + tzselect # 选择时区 #+8=(5 9 1 1) # (TZ='Asia/Shanghai'; export TZ)括号内写入 /etc/profile + /sbin/hwclock -w # 时间保存到硬件 + /etc/shadow # 账户影子文件 + LANG=en # 修改语言 + vim /etc/sysconfig/i18n # 修改编码 LANG="en_US.UTF-8" + export LC_ALL=C # 强制字符集 + vi /etc/hosts # 查询静态主机名 + alias # 别名 + watch uptime # 监测命令动态刷新 监视 + ipcs -a # 查看Linux系统当前单个共享内存段的最大值 + ldconfig # 动态链接库管理命令 + ldd `which cmd` # 查看命令的依赖库 + dist-upgrade # 会改变配置文件,改变旧的依赖关系，改变系统版本 + /boot/grub/grub.conf # grub启动项配置 + ps -mfL # 查看指定进程启动的线程 线程数受 max user processes 限制 + ps uxm |wc -l # 查看当前用户占用的进程数 [包括线程] max user processes + top -p PID -H # 查看指定PID进程及线程 + lsof |wc -l # 查看当前文件句柄数使用数量 open files + lsof |grep /lib # 查看加载库文件 + sysctl -a # 查看当前所有系统内核参数 + sysctl -p # 修改内核参数/etc/sysctl.conf，让/etc/rc.d/rc.sysinit读取生效 + strace -p pid # 跟踪系统调用 ps -eo "%p %C %z %a"|sort -k3 -n # 把进程按内存使用大小排序 strace uptime 2>&1|grep open # 查看命令打开的相关文件 grep Hugepagesize /proc/meminfo # 内存分页大小 @@ -480,7 +454,6 @@ lsof file # 显示打开指定文件的所有进程 lsof -i:32768 # 查看端口的进程 renice +1 180 # 把180号进程的优先级加1 - exec sh a.sh # 子进程替换原来程序的pid， 避免supervisor无法强制杀死进程 ps{ @@ -698,19 +671,6 @@ } - man{ - man 2 read # 查看read函数的文档 - 1 使用者在shell中可以操作的指令或可执行档 - 2 系统核心可呼叫的函数与工具等 - 3 一些常用的函数(function)与函数库(library),大部分是C的函数库(libc) - 4 装置档案的说明，通常在/dev下的档案 - 5 设定档或者是某些档案的格式 - 6 游戏games - 7 惯例与协定等，例如linux档案系统、网络协定、ascll code等说明 - 8 系统管理员可用的管理指令 - 9 跟kernel有关的文件 - } - selinux{ sestatus -v # 查看selinux状态 @@ -811,7 +771,7 @@ crontab -e # 编辑周期任务 #分钟 小时 天 月 星期 命令或脚本 1,30 1-3/2 * * * 命令或脚本 >> file.log 2>&1 - echo "40 7 * * 2 /root/sh">>/var/spool/cron/work # 普通用户可直接写入定时任务 + echo "40 7 * * 2 /root/sh">>/var/spool/cron/root # 直接将命令写入周期任务 crontab -l # 查看自动周期性任务 crontab -r # 删除自动周期性任务 cron.deny和cron.allow # 禁止或允许用户使用周期任务 @@ -889,14 +849,6 @@ } - core崩溃文件查看{ - - gdb core.13844 - bt # 查看函数调用信息(堆栈) - - } - - libc.so故障修复{ # 由于升级glibc导致libc.so不稳定,突然报错,幸好还有未退出的终端 @@ -913,15 +865,6 @@ } - 无法分配内存 { - - fork: Cannot allocate memory - - # 报错不一定是内存不够用，进程数或者线程数满了也会报这个错误， 可以适当增加 kernel.pid_max 的值， - cat /proc/sys/kernel/pid_max # 默认3.2w - - } - sudo{ echo myPassword | sudo -S ls /tmp # 直接输入sudo的密码非交互,从标准输入读取密码而不是终端设备 @@ -1174,63 +1117,15 @@ chkconfig{ - chkconfig service on|off|set # 设置非独立服务启状态 + chkconfig 服务名 on|off|set # 设置非独立服务启状态 chkconfig --level 35 httpd off # 让服务不自动启动 chkconfig --level 35 httpd on # 让服务自动启动 35指的是运行级别 chkconfig --list # 查看所有服务的启动状态 chkconfig --list |grep httpd # 查看某个服务的启动状态 - chkconfig –-list [service] # 查看服务的状态 + chkconfig –-list [服务名称] # 查看服务的状态 } - systemctl{ - - systemctl is-active *.service # 查看服务是否运行 - systemctl is-enabled *.service # 查询服务是否开机启动 - systemctl mask *.service # 注销指定服务 - systemctl unmask cups.service # 取消注销cups服务 - systemctl enable *.service # 开机运行服务 - systemctl disable *.service # 取消开机运行 - systemctl start *.service # 启动服务 - systemctl stop *.service # 停止服务 - systemctl restart *.service # 重启服务 - systemctl reload *.service # 重新加载服务配置文件 - systemctl status *.service # 查询服务运行状态 - systemctl --failed # 显示启动失败的服务 - systemctl poweroff # 系统关机 - systemctl reboot # 重新启动 - systemctl rescue # 强制进入救援模式 - systemctl emergency # 强制进入紧急救援模式 - systemctl list-dependencies # 查看当前运行级别target(mult-user)启动了哪些服务 - systemctl list-unit-files # 查看开机启动的状态 - journalctl -r -u elasticsearch.service # 查看日志 r倒序 u服务名 - /etc/systemd/system/falcon-agent.service - [Unit] - Description=This is zuiyou monitor agent - After=network.target remote-fs.target nss-lookup.target - - [Service] - User= root - Type=simple - PIDFile=/opt/falcon-agent/var/app.pid - ExecStartPre=/usr/bin/rm -f /opt/falcon-agent/var/app.pid - ExecStart=/opt/falcon-agent/control start - ExecReload=/bin/kill -s HUP $MAINPID - KillMode=process - KillSignal=SIGQUIT - TimeoutStopSec=5 - PrivateTmp=true - Restart=always - LimitNOFILE=infinity - - [Install] - WantedBy=multi-user.target - - systemctl daemon-reload # 加载配置 - - } - - nginx{ yum install -y make gcc openssl-devel pcre-devel bzip2-devel libxml2 libxml2-devel curl-devel libmcrypt-devel libjpeg libjpeg-devel libpng libpng-devel openssl @@ -1283,32 +1178,94 @@ } - elasticsearch{ + httpd{ + + 编译参数{ + + # so模块用来提供DSO支持的apache核心模块 + # 如果编译中包含任何DSO模块，则mod_so会被自动包含进核心。 + # 如果希望核心能够装载DSO，但不实际编译任何DSO模块，则需明确指定"--enable-so=static" + + ./configure --prefix=/usr/local/apache --enable-so --enable-mods-shared=most --enable-rewrite --enable-forward # 实例编译 + + --with-mpm=worker # 已worker方式运行 + --with-apxs=/usr/local/apache/bin/apxs # 制作apache的动态模块DSO rpm包 httpd-devel #编译模块 apxs -i -a -c mod_foo.c + --enable-so # 让Apache可以支持DSO模式 + --enable-mods-shared=most # 告诉编译器将所有标准模块都动态编译为DSO模块 + --enable-rewrite # 支持地址重写功能 + --enable-module=most # 用most可以将一些不常用的，不在缺省常用模块中的模块编译进来 + --enable-mods-shared=all # 意思是动态加载所有模块，如果去掉-shared话，是静态加载所有模块 + --enable-expires # 可以添加文件过期的限制，有效减轻服务器压力，缓存在用户端，有效期内不会再次访问服务器，除非按f5刷新，但也导致文件更新不及时 + --enable-deflate # 压缩功能，网页可以达到40%的压缩，节省带宽成本，但会对cpu压力有一点提高 + --enable-headers # 文件头信息改写，压缩功能需要 + --disable-MODULE # 禁用MODULE模块(仅用于基本模块) + --enable-MODULE=shared # 将MODULE编译为DSO(可用于所有模块) + --enable-mods-shared=MODULE-LIST # 将MODULE-LIST中的所有模块都编译成DSO(可用于所有模块) + --enable-modules=MODULE-LIST # 将MODULE-LIST静态连接进核心(可用于所有模块) + + # 上述 MODULE-LIST 可以是: + 1、用引号界定并且用空格分隔的模块名列表 --enable-mods-shared='headers rewrite dav' + 2、"most"(大多数模块) --enable-mods-shared=most + 3、"all"(所有模块) + + } - vim /etc/sysctl.conf - vm.max_map_count = 262144 + 转发{ - vim /etc/security/limits.conf - * soft memlock unlimited - * hard memlock unlimited - sysctl -p + #针对非80端口的请求处理 + RewriteCond %{SERVER_PORT} !^80$ + RewriteRule ^/(.*) http://fully.qualified.domain.name:%{SERVER_PORT}/$1 [L,R] - curl 'localhost:9200/_cat/health?v' # 健康检查 - curl 'localhost:9200/_cat/nodes?v' # 获取集群的节点列表 - curl 'localhost:9200/_cat/indices?v' # 列出所有索引 - curl 127.0.0.1:9200/indexname -XDELETE # 删除索引 - curl -XGET http://localhost:9200/_cat/shards # 查看分片 - curl '127.0.0.1:9200/_cat/indices' # 查分片同步 unassigned_shards # 没同步完成 + RewriteCond %{HTTP_HOST} ^ss.aa.com [NC] + RewriteRule ^(.*) http://www.aa.com/so/$1/0/p0? [L,R=301] + #RewriteRule 只对?前处理，所以会把?后的都保留下来 + #在转发后地址后加?即可取消RewriteRule保留的字符 + #R的含义是redirect，即重定向，该请求不会再被apache交给后端处理，而是直接返回给浏览器进行重定向跳转。301是返回的http状态码，具体可以参考http rfc文档，跳转都是3XX。 + #L是last，即最后一个rewrite规则，如果请求被此规则命中，将不会继续再向下匹配其他规则。 + + } } + mysql源码安装{ + + groupadd mysql + useradd mysql -g mysql -M -s /bin/false + tar zxvf mysql-5.0.22.tar.gz + cd mysql-5.0.22 + ./configure --prefix=/usr/local/mysql \ + --with-client-ldflags=-all-static \ + --with-mysqld-ldflags=-all-static \ + --with-mysqld-user=mysql \ + --with-extra-charsets=all \ + --with-unix-socket-path=/var/tmp/mysql.sock + make && make install + # 生成mysql用户数据库和表文件，在安装包中输入 + scripts/mysql_install_db --user=mysql + vi ~/.bashrc + export PATH="$PATH: /usr/local/mysql/bin" + # 配置文件,有large,medium,small三个，根据机器性能选择 + cp support-files/my-medium.cnf /etc/my.cnf + cp support-files/mysql.server /etc/init.d/mysqld + chmod 700 /etc/init.d/mysqld + cd /usr/local + chmod 750 mysql -R + chgrp mysql mysql -R + chown mysql mysql/var -R + cp /usr/local/mysql/libexec/mysqld mysqld.old + ln -s /usr/local/mysql/bin/mysql /sbin/mysql + ln -s /usr/local/mysql/bin/mysqladmin /sbin/mysqladmin + ln -s -f /usr/local/mysql/bin/mysqld_safe /etc/rc.d/rc3.d/S15mysql5 + ln -s -f /usr/local/mysql/bin/mysqld_safe /etc/rc.d/rc0.d/K15mysql5 - mysql常用命令{ + } - # mysql 可视化工具 MySQL Workbench + mysql常用命令{ + ./mysql/bin/mysqld_safe --user=mysql & # 启动mysql服务 + ./mysql/bin/mysqladmin -uroot -p -S ./mysql/data/mysql.sock shutdown # 停止mysql服务 mysqlcheck -uroot -p -S mysql.sock --optimize --databases account # 检查、修复、优化MyISAM表 - mysqlbinlog slave-relay-bin.000001 # 查看二进制日志 + mysqlbinlog slave-relay-bin.000001 # 查看二进制日志(报错加绝对路径) mysqladmin -h myhost -u root -p create dbname # 创建数据库 flush privileges; # 刷新 @@ -1319,7 +1276,7 @@ drop database name; # 删除数据库 drop table name; # 删除表 create database name; # 创建数据库 - select column from table; # 查询 + select 列名称 from 表名称; # 查询 show processlist; # 查看mysql进程 show full processlist; # 显示进程全的语句 select user(); # 查看所有用户 @@ -1327,31 +1284,24 @@ show variables; # 查看所有参数变量 show status; # 运行状态 show table status # 查看表的引擎状态 - show grants for user@'%' # 查看用户权限 - drop table if exists user # 表存在就删除 - create table if not exists user # 表不存在就创建 - select host,user,password from user; # 查询用户权限 先use mysql - create table ka(ka_id varchar(6),qianshu int); # 创建表 - show variables like 'character_set_%'; # 查看系统的字符集和排序方式的设定 - show variables like '%timeout%'; # 查看超时相关参数 - delete from user where user=''; # 删除空用户 + show grants for dbbackup@'localhost'; # 查看用户权限 + drop table if exists user # 表存在就删除 + create table if not exists user # 表不存在就创建 + select host,user,password from user; # 查询用户权限 先use mysql + create table ka(ka_id varchar(6),qianshu int); # 创建表 + show variables like 'character_set_%'; # 查看系统的字符集和排序方式的设定 + show variables like '%timeout%'; # 查看超时(wait_timeout) + delete from user where user=''; # 删除空用户 delete from user where user='sss' and host='localhost' ; # 删除用户 drop user 'sss'@'localhost'; # 使用此方法删除用户更为靠谱 ALTER TABLE mytable ENGINE = MyISAM ; # 改变现有的表使用的存储引擎 - SHOW TABLE STATUS from dbname where Name='tablename'; # 查询表引擎 + SHOW TABLE STATUS from 库名 where Name='表名'; # 查询表引擎 mysql -uroot -p -A -ss -h10.10.10.5 -e "show databases;" # shell中获取数据不带表格 -ss参数 CREATE TABLE innodb (id int, title char(20)) ENGINE = INNODB # 创建表指定存储引擎的类型(MyISAM或INNODB) - grant replication slave on *.* to 'user'@'%' identified by 'pwd'; # 创建主从复制用户 + grant replication slave on *.* to '用户'@'%' identified by '密码'; # 创建主从复制用户 ALTER TABLE player ADD INDEX weekcredit_faction_index (weekcredit, faction); # 添加索引 - alter table name add column accountid(column) int(11) NOT NULL(column); # 插入字段 + alter table name add column accountid(列名) int(11) NOT NULL(字段不为空); # 插入字段 update host set monitor_state='Y',hostname='xuesong' where ip='192.168.1.1'; # 更新数据 - select * from information_schema.processlist where command!='sleep'; # 查看当前进程 - select * from atable where name='on' AND t<15 AND host LIKE '10%' limit 1,10; # 多条件查询 - show create database ops_deploy; # 查看数据库编码 - show create table updatelog; # 查看数据库表编码 - alter database ops_deploy CHARACTER SET utf8; # 修改数据库编码 - alter table `updatelog` default character set utf8; # 修改表编码 - alter table `updatelog` convert to character set utf8; # 修改一张表的所有字段的编码格式 自增表{ @@ -1375,38 +1325,7 @@ use $dbname; delete from data where date=('$date1'); " # 执行多条mysql命令 - mysql -uroot -p -S mysql.sock -e "use db;alter table gift add column accountid int(11) NOT NULL;flush privileges;" 2>&1 |grep -v Warning # 不登陆mysql插入字段 - - } - - - mysql字符集相关{ - - show variables like '%character%'; # 查看数据库中设置字符集的参数 - # character_set_client、character_set_connection 以及 character_set_results 这几个参数都是客户端的设置 - # character_set_system、character_set_server 以及 character_set_database 是指服务器端的设置。 - # 而对于这三个服务器端的参数来说的优先级是: - # 列级字符集 > 表级字符集 > character_set_database > character_set_server > character_set_system - - show global variables like '%char%'; #查看RDS实例字符集相关参数设置 - show global variables like 'coll%'; #查看当前会话字符序相关参数设置 - show character set; #查看实例支持的字符集 - show collation; #查看实例支持的字符序 - show create table table_name \G #查看表字符集设置 - show create database database_name \G #查看数据库字符集设置 - show create procedure procedure_name \G #查看存储过程字符集设置 - show procedure status \G #查看存储过程字符集设置 - alter database db_name default charset utf8; #修改数据库的字符集 - create database db_name character set utf8; #创建数据库时指定字符集 - alter table tab_name default charset utf8 collate utf8_general_ci; #修改表字符集和字符序 - - # 下面三条sql 分别将库 dbsdq , 表 tt2 , 表 tt2 中的 c2 列修改为utf8mb4 字符集 - alter database dbsdq character set utf8mb4 collate utf8mb4_unicode_ci; - use dbsdq; - alter table tt2 character set utf8mb4 collate utf8mb4_unicode_ci; - alter table tt2 modify c2 varchar(10) character set utf8mb4; - # 修改列时,当前列中的所有行都会立即转化为新的字符集; - # alter table 会对表加元数据锁 + mysql -uroot -p -S mysql.sock -e "use db;alter table gift add column accountid int(11) NOT NULL;flush privileges;" # 不登陆mysql插入字段 } @@ -1491,15 +1410,6 @@ } - 死锁{ - - show OPEN TABLES where In_use > 0; # 查看当前锁信息 - show variables like 'innodb_print_all_deadlocks'; # 查看当前死锁参数 - set global innodb_print_all_deadlocks = 1; # 设置死锁信息保存到错误日志 - innodb_print_all_deadlocks = 1 # conf配置 - - } - mysql慢查询{ select * from information_schema.processlist where command in ('Query') and time >5\G # 查询操作大于5S的进程 @@ -1509,7 +1419,7 @@ # 配置文件 /etc/my.conf [mysqld] log-slow-queries=/var/lib/mysql/slowquery.log # 指定日志文件存放位置，可以为空，系统会给一个缺省的文件host_name-slow.log - long_query_time=5 # 记录超过的时间，默认为10s 建议0.5S + long_query_time=5 # 记录超过的时间，默认为10s log-queries-not-using-indexes # log下来没有使用索引的query,可以根据情况决定是否开启 可不加 log-long-format # 如果设置了，所有没有使用索引的查询也将被记录 可不加 # 直接修改生效 @@ -1536,8 +1446,6 @@ } - Percona Toolkit 慢日志分析工具 - } mysql操作次数查询{ @@ -1555,8 +1463,6 @@ mongodb{ - # mongo可视管理工具 studio 3t - 一、启动{ # 不启动认证 @@ -1619,8 +1525,8 @@ 四、登录{ 192.168.1.5:28017 # http登录后可查看状态 - mongo # 默认登录后打开 test 库 - mongo 192.168.1.5:27017/databaseName # 直接连接某个库 不存在则创建 启动认证需要指定对应库才可登录 + ./mongo # 默认登录后打开 test 库 + ./mongo 192.168.1.5:27017/databaseName # 直接连接某个库 不存在则创建 启动认证需要指定对应库才可登录 } @@ -1649,55 +1555,23 @@ conn #连接数 time #当前时间 - mongostat -h 127.0.0.1 --port 27047 --authenticationDatabase admin -u zadmin -p Keaphh9e # 查看mongo状态 - mongotop -h 127.0.0.1 --port 27047 --authenticationDatabase admin -u zadmin -p Keaphh9e # 查看mongo集合的统计数据 - } 六、常用命令{ db.listCommands() # 当前MongoDB支持的所有命令（同样可通过运行命令db.runCommand({"listCommands" : `1})来查询所有命令） - db.runCommand({"buildInfo" : 1}) # 返回MongoDB服务器的版本号和服务器OS的相关信息 - db.runCommand({"collStats" : tablename}) # 返回该集合的统计信息，包括数据大小，已分配存储空间大小，索引的大小等 - db.runCommand({"dropDatabase" : 1}) # 清空当前数据库的信息，包括删除所有的集合和索引 - db.runCommand({"isMaster" : 1}) # 检查本服务器是主服务器还是从服务器 - db.runCommand({"ping" : 1}) # 检查服务器链接是否正常。即便服务器上锁，该命令也会立即返回 - db.runCommand({"repaireDatabase" : 1}) # 对当前数据库进行修复并压缩，如果数据库特别大，这个命令会非常耗时 - db.runCommand({"serverStatus" : 1}) # 查看这台服务器的管理统计信息 + db.runCommand({"buildInfo" : 1}) # 返回MongoDB服务器的版本号和服务器OS的相关信息。 + db.runCommand({"collStats" : 集合名}) # 返回该集合的统计信息，包括数据大小，已分配存储空间大小，索引的大小等。 + db.runCommand({"distinct" : 集合名, "key" : 键, "query" : 查询文档}) # 返回特定文档所有符合查询文档指定条件的文档的指定键的所有不同的值。 + db.runCommand({"dropDatabase" : 1}) # 清空当前数据库的信息，包括删除所有的集合和索引。 + db.runCommand({"isMaster" : 1}) # 检查本服务器是主服务器还是从服务器。 + db.runCommand({"ping" : 1}) # 检查服务器链接是否正常。即便服务器上锁，该命令也会立即返回。 + db.runCommand({"repaireDatabase" : 1}) # 对当前数据库进行修复并压缩，如果数据库特别大，这个命令会非常耗时。 + db.runCommand({"serverStatus" : 1}) # 查看这台服务器的管理统计信息。 # 某些命令必须在admin数据库下运行，如下两个命令： - db.runCommand({"renameCollection" : 集合名, "to"：集合名}) # 对集合重命名，注意两个集合名都要是完整的集合命名空间，如foo.bar, 表示数据库foo下的集合bar。 - db.runCommand({"listDatabases" : 1}) # 列出服务器上所有的数据库 - - mongo 172.20.20.1:27072/mdb --eval "db.tb.count();" # shell执行mongo语句 - mongo --host 172.20.20.1 --port 27049 - - rs.config(); # 查看集群配置 - rs.status(); # 查看集群节点的状态 - db.currentOp() # 获取当前正在执行的操作,可对应命令链接到ip:port - db.runCommand( { logRotate : 1 } ) # 日志轮转 - rs.slaveOk() # 设置从库shell可读 - rs.addArb("172.16.10.199:27020"); # 添加仲裁节点 - rs.add({host: "10.2.2.2:27047", priority: 0, hidden: true}) # 添加从节点 hidden true隐藏节点[priority必须为0] false不隐藏 - rs.remove("172.20.80.216:27047"); # 删除节点 - rs.stepDown(120) # 主库上执行切换为从,120秒后切换回主 - show dbs # 查询db - use post # 选择db - show tables # 查看文档列表 - db.tb.drop() # 删除集合 需要权限 - db.tb.remove({}) # 删除所有数据 - db.tb.count() # 查询文档条数 - db.tb.find() # 查看文档内容 - db.tb.find({_id:37530555}) # 查询指定id - db.tb.find().sort({_id:-1}).limit(1) # 查询文档最后一条 - db.tb.find({"processed" : {"$ne" : true}}).limit(1); # 字段不为 true - db.tb.find({"processed" : {"$eq" : true}}).limit(1); # 字段为 true - db.tb.find({"processed" : {"$exists" : false}}).limit(1); # 字段不存在 - - db.tb.ensureIndex({"status":1}, {background:true}) # 后台加索引 - db.tb.getIndexes() # 查看索引 - db.tb.ensureIndex({"c_type":1},{backgrounnd:true}) # 后台添加索引 1正向 -1反向 - db.tb.dropIndex({"c_type":1}); # 删除索引 + db.runCommand({"renameCollection" : 集合名, "to"：集合名}) # 对集合重命名，注意两个集合名都要是完整的集合命名空间，如foo.bar, 表示数据库foo下的集合bar。 + db.runCommand({"listDatabases" : 1}) # 列出服务器上所有的数据库 } @@ -1705,10 +1579,10 @@ db.currentOp() # 查看活动进程 db.$cmd.sys.inprog.findOne() # 查看活动进程 与上面一样 - opid # 操作进程号 - op # 操作类型(查询\更新) - ns # 命名空间,指操作的是哪个对象 - query # 如果操作类型是查询,这里将显示具体的查询内容 + opid # 操作进程号 + op # 操作类型(查询\更新) + ns # 命名空间,指操作的是哪个对象 + query # 如果操作类型是查询,这里将显示具体的查询内容 lockType # 锁的类型,指明是读锁还是写锁 db.killOp(opid值) # 结束进程 @@ -1717,46 +1591,37 @@ } 八、备份还原{ - # mongodump 虽然能不停机备份,但是为了获取实时数据视图的能力,使用fsync命令能在运行时复制数据目录并且不会损坏数据 - # fsync会强制服务器将所有缓冲区的数据写入磁盘.配合lock还阻止对数据库的进一步写入,知道释放锁为止 - db.runCommand({"fsync":1,"lock":1}) # 执行强制更新与写入锁 - db.$cmd.sys.unlock.findOne() # 解锁 - db.currentOp() # 查看解锁是否正常 - mongoexport -d test -c t1 -o t1.dat # 导出JSON格式 + ./mongoexport -d test -c t1 -o t1.dat # 导出JSON格式 -c # 指明导出集合 -d # 使用库 - mongoexport -d test -c t1 -csv -f num -o t1.dat # 导出csv格式 + ./mongoexport -d test -c t1 -csv -f num -o t1.dat # 导出csv格式 -csv # 指明导出csv格式 -f # 指明需要导出那些例 - mongoimport -d test -c t1 -file t1.dat # mongoimport还原JSON格式 - mongoimport -d test -c t1 -type csv --headerline -file t1.dat # mongoimport还原csv格式数据 + db.t1.drop() # 登录后删除数据 + ./mongoimport -d test -c t1 -file t1.dat # mongoimport还原JSON格式 + ./mongoimport -d test -c t1 -type csv --headerline -file t1.dat # mongoimport还原csv格式数据 --headerline # 指明不导入第一行 因为第一行是列名 - mongodump -d test -o /bak/mongodump # mongodump数据备份 - mongorestore -d test --drop /bak/mongodump/* # mongorestore恢复 - --drop # 恢复前先删除 - --gzip # 压缩 - - # 备份一个表 - # --excludeCollection string # 排除指定的集合 要排除多个，使用多个 - mongodump --host 127.0.0.1:27080 -d dbname -c tablename -o /data/reports/ - mongodump --host 127.0.0.1:27080 -d dbname -c tablename -o /data/reports/reports -u root -p tAvaa5yNUE --authenticationDatabase admin - - # 恢复一个表 - mongorestore --host 127.0.0.1:27080 -d dbname -c tablename --drop --dir=/data/reports/tablename.bson + ./mongodump -d test -o /bak/mongodump # mongodump数据备份 + ./mongorestore -d test --drop /bak/mongodump/* # mongorestore恢复 + --drop #恢复前先删除 + db.t1.find() #查看 - # 在线拷贝一个库 - db.copyDatabase(fromdb, todb, fromhost, username, password, mechanism) - db.copyDatabase('mate','mate', '172.16.255.176:27047') + # mongodump 虽然能不停机备份,但市区了获取实时数据视图的能力,使用fsync命令能在运行时复制数据目录并且不会损坏数据 + # fsync会强制服务器将所有缓冲区的数据写入磁盘.配合lock还阻止对数据库的进一步写入,知道释放锁为止 + # 备份在从库上备份，不耽误读写还能保证实时快照备份 + db.runCommand({"fsync":1,"lock":1}) # 执行强制更新与写入锁 + db.$cmd.sys.unlock.findOne() # 解锁 + db.currentOp() # 查看解锁是否正常 } 九、修复{ # 当停电或其他故障引起不正常关闭时,会造成部分数据损坏丢失 - mongod --repair # 修复操作:启动时候加上 --repair + ./mongod --repair # 修复操作:启动时候加上 --repair # 修复过程:将所有文档导出,然后马上导入,忽略无效文档.完成后重建索引。时间较长,会丢弃损坏文档 # 修复数据还能起到压缩数据库的作用 db.repairDatabase() # 运行中的mongodb可使用 repairDatabase 修复当前使用的数据库 @@ -1768,7 +1633,7 @@ 原文: http://blog.nosqlfan.com/html/2989.html - easy_install pymongo # python2.7+ + easy_install pymongo # 安装(python2.7+) import pymongo connection=pymongo.Connection('localhost',27017) # 创建连接 db = connection.test_database # 切换数据库 @@ -1830,13 +1695,16 @@ JDK安装{ - vim /etc/profile.d/jdk.sh - export JAVA_HOME=/usr/local/jdk1.8.0_151 - export PATH=$JAVA_HOME/bin:$PATH + chmod 744 jdk-1.7.0_79-linux-i586.bin + ./jdk-1.7.0_79-linux-i586.bin + vi /etc/profile # 添加环境变量 + JAVA_HOME=/usr/java/jdk1.7.0_79 + CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/tools.jar + PATH=$JAVA_HOME/bin:$PATH + export JAVA_HOME PATH CLASSPATH - . /etc/profile # 加载新的环境变量 - jps -ml # 查看java进程 - jstat -gc 18381 1s 30 # 查看java进程gc情况 + . /etc/profile # 加载新的环境变量 + jps -ml # 查看java进程 } redis动态加内存{ @@ -1904,30 +1772,30 @@ 5 网络{ - rz # 通过ssh上传小文件 - sz # 通过ssh下载小文件 - ifconfig eth0 down # 禁用网卡 - ifconfig eth0 up # 启用网卡 - ifup eth0:0 # 启用网卡 - mii-tool em1 # 查看网线是否连接 - traceroute www.baidu.com # 测试跳数 - vi /etc/resolv.conf # 设置DNS nameserver IP 定义DNS服务器的IP地址 - nslookup www.moon.com # 解析域名IP - dig -x www.baidu.com # 解析域名IP - dig +trace -t A domainname # 跟踪dns - dig +short txt hacker.wp.dg.cx # 通过 DNS 来读取 Wikipedia 的hacker词条 - host -t txt hacker.wp.dg.cx # 通过 DNS 来读取 Wikipedia 的hacker词条 - lynx # 文本上网 - wget -P path -O name url # 下载 包名:wgetrc -q 安静 -c 续传 - dhclient eth1 # 自动获取IP - mtr -r www.baidu.com # 测试网络链路节点响应时间 # trace ping 结合 - ipcalc -m "$ip" -p "$num" # 根据IP和主机最大数计算掩码 - curl -I www.baidu.com # 查看网页http头 - curl -s www.baidu.com # 不显示进度 - queryperf -d list -s DNS_IP -l 2 # BIND自带DNS压力测试 [list 文件格式:www.turku.fi A] - telnet ip port # 测试端口是否开放,有些服务可直接输入命令得到返回状态 - echo "show " |nc $ip $port # 适用于telnet一类登录得到命令返回 - nc -l -p port # 监听指定端口 + rz # 通过ssh上传小文件 + sz # 通过ssh下载小文件 + ifconfig eth0 down # 禁用网卡 + ifconfig eth0 up # 启用网卡 + ifup eth0:0 # 启用网卡 + mii-tool em1 # 查看网线是否连接 + traceroute www.baidu.com # 测试跳数 + vi /etc/resolv.conf # 设置DNS nameserver IP 定义DNS服务器的IP地址 + nslookup www.moon.com # 解析域名IP + dig -x www.baidu.com # 解析域名IP + dig +trace -t A 域名 # 跟踪dns + dig +short txt hacker.wp.dg.cx # 通过 DNS 来读取 Wikipedia 的hacker词条 + host -t txt hacker.wp.dg.cx # 通过 DNS 来读取 Wikipedia 的hacker词条 + lynx # 文本上网 + wget -P 路径 -O 重命名 http地址 # 下载 包名:wgetrc -q 安静 + dhclient eth1 # 自动获取IP + mtr -r www.baidu.com # 测试网络链路节点响应时间 # trace ping 结合 + ipcalc -m "$ip" -p "$num" # 根据IP和主机最大数计算掩码 + curl -I www.baidu.com # 查看网页http头 + curl -s www.baidu.com # 不显示进度 + queryperf -d list -s DNS_IP -l 2 # BIND自带DNS压力测试 [list 文件格式:www.turku.fi A] + telnet ip port # 测试端口是否开放,有些服务可直接输入命令得到返回状态 + echo "show " |nc $ip $port # 适用于telnet一类登录得到命令返回 + nc -l -p port # 监听指定端口 nc -nv -z 10.10.10.11 1080 |grep succeeded # 检查主机端口是否开放 curl -o /dev/null -s -m 10 --connect-timeout 10 -w %{http_code} $URL # 检查页面状态 curl -X POST -d "user=xuesong&pwd=123" http://www.abc.cn/Result # 提交POST请求 @@ -1938,42 +1806,22 @@ net rpc shutdown -I IP_ADDRESS -U username%password # 远程关掉一台WINDOWS机器 wget --random-wait -r -p -e robots=off -U Mozilla www.example.com # 递归方式下载整个网站 sshpass -p "$pwd" rsync -avzP /dir user@$IP:/dir/ # 指定密码避免交互同步目录 - rsync -avzP --delete /dir/ user@$IP:/dir/ # 无差同步目录 可以快速清空大目录,末尾带/同步目录 + rsync -avzP --delete /dir user@$IP:/dir # 无差同步目录 可以快速清空大目录 rsync -avzP -e "ssh -p 22 -e -o StrictHostKeyChecking=no" /dir user@$IP:/dir # 指定ssh参数同步 抓包{ - -i eth1 # 只抓经过接口eth1的包 - -t # 不显示时间戳 - -s 0 # 抓取数据包时默认抓取长度为68字节。加上-S 0 后可以抓到完整的数据包 - -c 100 # 只抓取100个数据包 - dst port ! 22 # 不抓取目标端口是22的数据包 + -i eth1 # 只抓经过接口eth1的包 + -t # 不显示时间戳 + -s 0 # 抓取数据包时默认抓取长度为68字节。加上-S 0 后可以抓到完整的数据包 + -c 100 # 只抓取100个数据包 + dst port ! 22 # 不抓取目标端口是22的数据包 tcpdump tcp port 22 # 抓包 tcpdump -n -vv udp port 53 # 抓udp的dns包 并显示ip tcpdump port 10001 -A -s0 # 完整显示ascii数据包 - tcpdump -i any host x.x.x.x -s 0 -w /tmp/cap.pcap # 对端ip - tcpdump -i any -s 0 host 172.20.81.107 or host 172.16.3.72 -C 50 -W 5 -w /tmp/20190122ng.cap } - - 一次短链接失败故障定位{ - - # php和python程序调用接口,通过阿里云slb,到后端nginx,偶尔超时,后端nginx无请求,怀疑没到nginx,但通过检查,无法与nginx建立tcp链接 - ss -nl |grep :80 # 查看 accept 队列值,短连接应该大一点 - watch -n 1 'nstat -z -t 1 | grep -e TcpActiveOpens -e TcpExtListenOverflows -e TcpAttemptFails -e TcpPassiveOpen -e TcpExtTCPSynRetrans -e TcpRetransSegs -e TcpOutSegs -e TcpInSegs' - - TcpAttemptFails TCP建立链接失败,包括前后端 - TcpExtTCPSynRetrans TCP向后端建立链接失败 - - - # nginx 和内核都需要调整才生效,程序监听端口,需要加socket参数 - listen 10.87.128.29:51528 default_server backlog=4096; - - - https://m.aliyun.com/yunqi/articles/118472?spm=5176.8091938.0.0.11e86ccF4oOeZ - } - 网卡流量查看{ watch more /proc/net/dev # 实时监控流量文件系统 累计值 @@ -2019,11 +1867,11 @@ ss{ # netstat是遍历/proc下面每个PID目录，ss直接读/proc/net下面的统计信息。所以ss执行的时候消耗资源以及消耗的时间都比netstat少很多 - ss -s # 列出当前socket详细信息 - ss -l # 显示本地打开的所有端口 - ss -tnlp # 显示每个进程具体打开的socket - ss -ant # 显示所有TCP socket - ss -u -a # 显示所有UDP Socekt + ss -s # 列出当前socket详细信息 + ss -l # 显示本地打开的所有端口 + ss -tnlp # 显示每个进程具体打开的socket + ss -ant # 显示所有TCP socket + ss -u -a # 显示所有UDP Socekt ss dst 192.168.119.113 # 匹配远程地址 ss dst 192.168.119.113:http # 匹配远程地址和端口号 ss dst 192.168.119.113:3844 # 匹配远程地址和端口号 @@ -2048,12 +1896,12 @@ ssh -p 22 user@192.168.1.209 # 从linux ssh登录另一台linux ssh -p 22 root@192.168.1.209 CMD # 利用ssh操作远程主机 - scp -P 22 file root@ip:/dir # 把本地文件拷贝到远程主机 - scp -l 100000 file root@ip:/dir # 传输文件到远程，限制速度100M - sshpass -p 'pwd' ssh -n root@$IP "echo hello" # 指定密码远程操作 + scp -P 22 文件 root@ip:/目录 # 把本地文件拷贝到远程主机 + scp -l 100000 文件 root@ip:/目录 # 传输文件到远程，限制速度100M + sshpass -p '密码' ssh -n root@$IP "echo hello" # 指定密码远程操作 ssh -o StrictHostKeyChecking=no $IP # ssh连接不提示yes ssh -t "su -" # 指定伪终端 客户端以交互模式工作 - scp root@192.168.1.209:/RemoteDir /localDir # 把远程指定文件拷贝到本地 + scp root@192.168.1.209:远程目录 本地目录 # 把远程指定文件拷贝到本地 pscp -h host.ip /a.sh /opt/sbin/ # 批量传输文件 ssh -N -L2001:remotehost:80 user@somemachine # 用SSH创建端口转发通道 ssh -t host_A ssh host_B # 嵌套使用SSH @@ -2065,7 +1913,6 @@ fusermount -u /path/to/mount/point # 卸载ssh挂载的目录 ssh user@host cat /path/to/remotefile | diff /path/to/localfile - # 用DIFF对比远程文件跟本地文件 su - user -c "ssh user@192.168.1.1 \"echo -e aa |mail -s test mail@163.com\"" # 切换用户登录远程发送邮件 - pssh -h ip.txt -i uptime # 批量执行ssh yum install pssh SSH反向连接{ @@ -2122,6 +1969,19 @@ } + ftp上传{ + + ftp -i -v -n $HOST < # 词尾定位符(支持vi和grep) love> - x\{m\} # 重复出现m次 - x\{m,\} # 重复出现至少m次 - x\{m,n\} # 重复出现至少m次不超过n次 - X? # 匹配出现零次或一次的大写字母 X - X+ # 匹配一个或多个字母 X - () # 括号内的字符为一组 - (ab|de)+ # 匹配一连串的（最少一个） abc 或 def；abc 和 def 将匹配 - [[:alpha:]] # 代表所有字母不论大小写 - [[:lower:]] # 表示小写字母 - [[:upper:]] # 表示大写字母 - [[:digit:]] # 表示数字字符 + ^ # 行首定位 + $ # 行尾定位 + . # 匹配除换行符以外的任意字符 + * # 匹配0或多个重复字符 + + # 重复一次或更多次 + ? # 重复零次或一次 + ? # 结束贪婪因子 .*? 表示最小匹配 + [] # 匹配一组中任意一个字符 + [^] # 匹配不在指定组内的字符 + \ # 用来转义元字符 + < # 词首定位符(支持vi和grep) # 词尾定位符(支持vi和grep) love> + x\{m\} # 重复出现m次 + x\{m,\} # 重复出现至少m次 + x\{m,n\} # 重复出现至少m次不超过n次 + X? # 匹配出现零次或一次的大写字母 X + X+ # 匹配一个或多个字母 X + () # 括号内的字符为一组 + (ab|de)+ # 匹配一连串的（最少一个） abc 或 def；abc 和 def 将匹配 + [[:alpha:]] # 代表所有字母不论大小写 + [[:lower:]] # 表示小写字母 + [[:upper:]] # 表示大写字母 + [[:digit:]] # 表示数字字符 [[:digit:][:lower:]] # 表示数字字符加小写字母 元字符{ @@ -3201,7 +3022,7 @@ delimiter }' txt } - awk经典题{ + 老男孩awk经典题{ 分析图片服务日志，把日志（每个图片访问次数*图片大小的总和）排行，也就是计算每个url的总访问大小 说明：本题生产环境应用：这个功能可以用于IDC网站流量带宽很高，然后通过分析服务器日志哪些元素占用流量过大，进而进行优化或裁剪该图片，压缩js等措施。 本题需要输出三个指标： 【被访问次数】 【访问次数*单个被访问文件大小】 【文件名（带URL）】 @@ -3329,12 +3150,12 @@ delimiter sed 10q # 显示文件中的前10行 (模拟"head") sed -n '$=' # 计算行数(模拟 "wc -l") sed -n '5,/^no/p' # 打印从第5行到以no开头行之间的所有行 - sed -i "/^$f/d" a 　　 　 # 删除匹配行 + sed -i "/^$f/d" a 　　 　# 删除匹配行 sed -i '/aaa/,$d' # 删除匹配行到末尾 sed -i "s/=/:/" c # 直接对文本替换 sed -i "/^pearls/s/$/j/" # 找到pearls开头在行尾加j sed '/1/,/3/p' file # 打印1和3之间的行 - sed -n '1p' file # 取出指定行 + sed -n '1p' 文件 # 取出指定行 sed '5i\aaa' file # 在第5行之前插入行 sed '5a\aaa' file # 在第5行之后抽入行 echo a|sed -e '/a/i\b' # 在匹配行前插入一行 @@ -3362,11 +3183,12 @@ delimiter sed -n 's/\([0-9]\+\).*\(t\)/\2\1/p' # 保存多个标签 sed -i -e '1,3d' -e 's/1/2/' # 多重编辑(先删除1-3行，在将1替换成2) sed -e 's/@.*//g' -e '/^$/d' # 删除掉@后面所有字符，和空行 + sed -n -e "{s/文本(正则)/替换的内容/p}" # 替换并打印出替换行 sed -n -e "{s/^ *[0-9]*//p}" # 打印并删除正则表达式的那部分内容 echo abcd|sed 'y/bd/BE/' # 匹配字符替换 sed '/^#/b;y/y/P/' 2 # 非#号开头的行替换字符 - sed '/suan/r readfile' # 找到含suan的行，在后面加上读入的文件内容 - sed -n '/no/w writefile' # 找到含no的行，写入到指定文件中 + sed '/suan/r 读入文件' # 找到含suan的行，在后面加上读入的文件内容 + sed -n '/no/w 写入文件' # 找到含no的行，写入到指定文件中 sed '/regex/G' # 在匹配式样行之后插入一空行 sed '/regex/{x;p;x;G;}' # 在匹配式样行之前和之后各插入一空行 sed 'n;d' # 删除所有偶数行 @@ -4094,6 +3916,23 @@ delimiter } + 打印提示{ + + cat <&- # 关闭管道 + #!/bin/bash + + FifoFile="$$.fifo" + mkfifo $FifoFile + exec 6<>$FifoFile + rm $FifoFile + for ((i=0;i<=20;i++));do echo;done >&6 + + for u in `seq 1 $1` + do + read -u6 + { + curl -s http://ch.com >>/dev/null + [ $? -eq 0 ] && echo "${u} 次成功" || echo "${u} 次失败" + echo >&6 + } & + done + wait + exec 6>&- + } shell并发函数{ @@ -4406,26 +4265,17 @@ delimiter #!/bin/bash - pnum=3 - - task () { - echo "$u start" - sleep 5 - echo "$u done" - } - FifoFile="$$.fifo" mkfifo $FifoFile exec 6<>$FifoFile rm $FifoFile - - for ((i=0;i<=$pnum;i++));do echo;done >&6 + for ((i=0;i<=20;i++));do echo;done >&6 - for u in `seq 1 20` + for u in `seq 1 $1` do read -u6 { - task + curl -s http://m.chinanews.com/?tt_from=shownews >>/dev/null [ $? -eq 0 ] && echo "${u} 次成功" || echo "${u} 次失败" echo >&6 } & @@ -4587,25 +4437,6 @@ delimiter } - 抓取系统中负载最高的进程{ - - #!/bin/bash - LANG=C - PATH=/sbin:/usr/sbin:/bin:/usr/bin - interval=1 - length=86400 - for i in $(seq 1 $(expr ${length} / ${interval}));do - date - LANG=C ps -eT -o%cpu,pid,tid,ppid,comm | grep -v CPU | sort -n -r | head -20 - date - LANG=C cat /proc/loadavg - { LANG=C ps -eT -o%cpu,pid,tid,ppid,comm | sed -e 's/^ *//' | tr -s ' ' | grep -v CPU | sort -n -r | cut -d ' ' -f 1 | xargs -I{} echo -n "{} + " && echo ' 0'; } | bc -l - sleep ${interval} - done - fuser -k $0 - - } - 申诉中国反垃圾邮件联盟黑名单{ #!/bin/bash @@ -4721,16 +4552,10 @@ delimiter } -10 经验{ - 1.服务上线,在启动注册流量时大量报错, 下游服务摘除,重启后, 上游还用原有的链接去链接, 导致请求失败. - 2.systemd守护的进程,在tmp下找不到对应文件, 配置安全tmp项PrivateTmp改为false PrivateTmp=false - 3.统一服务内部调用关系,一个服务对应一个域名 - 4.统一服务服务返回的状态码,报警只需要针对5xx就可以发现问题. - 5.在服务雪崩后,恢复服务,用户可能有大量重试,所以放流量也要小比例放流量,逐步恢复 -} 不定期更新下载地址： +http://pan.baidu.com/s/1sjsFrmX https://github.com/liquanzhou/ops_doc 请勿删除信息, 植入广告, 抵制不道德行为