Inbox

test for a specific port from Linux, shell> telnet> netcat> socat 使用 Telnet 验证端口的连通性 打开命令行模式。具体方法,请参考打开命令或 Shell 提示符 (2076587) (Opening a command or shell prompt (1003892))。 在命令行窗口键入 telnet 192.168.50.1 1025 # 标准的 telnet 命令本身没有直接参数用于设置超时时间 timeout 10 telnet 192.168.1.1 80 端口已打开 Connected to localhost. Escape character is '^]'. 220 archx1 Mailpit ESMTP Service ready 端口未打开 Trying 192.168.50.1... telnet: Unable to connect to remote host: Connection refused 其中 server 是服务器的主机名或IP地址,port 是您想要连接的端口号。 按回车。 注: 要离开 Telnet 应用程序,请键入 Ctrl + ], 然后键入 quit。 ...

CGI CGI: 全拼(Common Gateway Interface)是能让web服务器和CGI脚本共同处理客户的请求的协议。Web服务器把请求转成CGI脚本,CGI脚本执行回复Web服务器,Web服务回复给客户端。 CGI fork一个新的进程来执行,读取参数,处理数据,然后就结束生命期。 FastCGI采用tcp链接,不用fork新的进程,因为程序启动的时候就已经开启了,等待数据的到来,处理数据。 CGI的一些知识点 2012-12-24 11:31 by 轩脉刃, 4325 阅读, 3 评论, 收藏, 编辑 CGI(Common Gateway Interface)是能让web服务器和CGI脚本共同处理客户的请求的协议。它的协议定义文档是http://www.ietf.org/rfc/rfc3875。 其中Web服务器负责管理连接,数据传输,网络交互等。至于CGI脚本就负责管理具体的业务逻辑。 Web服务器的功能是将客户端请求 (HTTP Request) 转换成CGI脚本请求,然后执行脚本,接着将CGI脚本回复转换为客户端的回复 (HTTP Response) 。 CGI的脚本请求有两部分: 请求元数据 (request meta-variables) 和相关的消息体 (message-body) 。 请求元数据 包含: "AUTH_TYPE" | "CONTENT_LENGTH" | "CONTENT_TYPE" | "GATEWAY_INTERFACE" | "PATH_INFO" | "PATH_TRANSLATED" | "QUERY_STRING" | "REMOTE_ADDR" | "REMOTE_HOST" | "REMOTE_IDENT" | "REMOTE_USER" | "REQUEST_METHOD" | "SCRIPT_NAME" | "SERVER_NAME" | "SERVER_PORT" | "SERVER_PROTOCOL" | "SERVER_SOFTWARE" | scheme | protocol-var-name | extension-var-name 下面一个一个看: ...

linux git gui https://git-scm.com/book/zh/v2/Appendix-A%3A-%E5%85%B6%E5%AE%83%E7%8E%AF%E5%A2%83%E4%B8%AD%E7%9A%84-Git-%E5%9B%BE%E5%BD%A2%E7%95%8C%E9%9D%A2 gitk git gui

ipv6 https://www.polarxiong.com/archives/%E6%90%AD%E5%BB%BAipv6-VPN-%E8%AE%A9ipv4%E4%B8%8Aipv6-%E4%B8%8B%E8%BD%BD%E9%80%9F%E5%BA%A6%E6%8F%90%E5%8D%87%E5%88%B0100M.html 禁用 ipv6 vim /etc/sysctl.d/ipv6.conf #disable ipv6 ipv6.disable=1 https://wiki.archlinux.org/title/IPv6#Disable_IPv6

MySQL数据和索引占用空间查询 http://blog.csdn.net/light_language/article/details/70567962 关于查数据库和表中的数据和索引所占空间的大小的SQL方法: 查询information_schema架构中的tables表。 代码: 查询所有数据库占用磁盘空间大小的SQL语句: select table_schema,concat(truncate(sum(data_length)/1024/1024,2),‘MB’) as data_size, concat(truncate(sum(index_length)/1024/1024,2),‘MB’) as index_size from information_schema.tables group by table_schema order by sum(data_length) desc; 这里写图片描述 查询单个库中所有表磁盘占用大小的SQL语句: select table_name,concat(truncate(data_length/1024/1024,2),‘MB’) as data_size, concat(truncate(index_length/1024/1024,2),‘MB’) as index_size from information_schema.tables where table_schema=‘employees’ order by data_length desc;

前缀索引 http://www.cnblogs.com/studyzy/p/4310653.html 前缀索引,一种优化索引大小的解决方案 今天在读一篇关于数据库索引介绍的文章时,该文章提到了前缀索引,对于我这个搞数据库应用开发那么多年的人来说,这个词还真是一个新词,没用过。于是打算研究一番。 前缀索引似乎是MySQL中的一个概念,在SQL Server和Oracle中没提出这个概念。于是就安装了一个MySQL来做实验,搞清楚前缀索引。 前缀索引说白了就是对文本的前几个字符 (具体是几个字符在建立索引时指定) 建立索引,这样建立起来的索引更小,所以查询更快。有点相当于Oracle中对字段使用Left函数,建立函数索引,只不过MySQL的这个前缀索引在查询时是内部自动完成匹配的,并不需要使用left函数。 别的文章中提到: MySQL 前缀索引能有效减小索引文件的大小,提高索引的速度。但是前缀索引也有它的坏处: MySQL 不能在 ORDER BY 或 GROUP BY 中使用前缀索引,也不能把它们用作覆盖索引(Covering Index)。 建立前缀索引的语法为: ALTER TABLE table_name ADD KEY(column_name(prefix_length)); 这里最关键的参数就是prefix_length,这个值需要根据实际表的内容,得到合适的索引选择性 (Index Selectivity) 。索引选择性就是不重复的个数与总个数的比值。 select 1.0_count(distinct column_name)/count(_) from table_name 比如我们现在有个Employee表,其中有个FirstName字段,是varchar(50)的,我们查询该字段的索引选择性: select 1.0_count(distinct FirstName)/count(_) from Employee 得到结果0.7500,然后我们希望对FirstName建立前缀索引,希望前缀索引的选择性能够尽量贴近于对整个字段建立索引时的选择性。我们先看看3个字符,如何: select 1.0_count(distinct left(FirstName,3))/count(_) from Employee 得到的结果是0.58784,好像差距有点大,我们再试一试4个字符呢: select 1.0_count(distinct left(FirstName,4))/count(_) from Employee 得到0.68919,已经提升了很多,再试一试5个字符,得到的结果是0.72297,这个结果与0.75已经很接近了,所以我们这里认为前缀长度5是一个合适的取值。所以我们可以为FirstName建立前缀索引: alter table test.Employee add key(FirstName(5)) 建立前缀索引后查询语句并不需要更改,如果我们要查询所有FirstName为Devin的Employee,那么SQL仍然写成: select * from Employee e where e.FirstName=‘Devin’; 下面总结一下什么情况下使用前缀索引: 字符串列(varchar,char,text等),需要进行全字段匹配或者前匹配。也就是=‘xxx’ 或者 like ‘xxx%’ ...

MySQL SQL_NO_CACHE,sql_cache,RESET QUERY CACHE http://blog.csdn.net/xlgen157387/article/details/50767725 http://blog.51cto.com/janephp/1318705 减少碎片: 合适的query_cache_min_res_unit可以减少碎片,这个参数最合适的大小和应用程序查询结果的平均大小直接相关,可以通过内存实际消耗 (query_cache_size - Qcache_free_memory) 除以Qcache_queries_in_cache计算平均缓存大小。 可以通过Qcache_free_blocks来观察碎片,这个值反应了剩余的空闲块,如果这个值很多,但是 Qcache_lowmem_prunes却不断增加,则说明碎片太多了。可以使用flush query cache整理碎片,重新排序,但不会清楚,清空命令是reset query cache。整理碎片期间,查询缓存无法被访问,可能导致服务器僵死一段时间,所以查询缓存不宜太大 场景 产品中有一张图片表pics,数据量将近100万条,有一条相关的查询语句,由于执行频次较高,想针对此语句进行优化 表结构很简单,主要字段: user_id 用户ID picname 图片名称 smallimg 小图名称 一个用户会有多条图片记录,现在有一个根据user_id建立的索引: uid,查询语句也很简单: 取得某用户的图片集合: select picname, smallimg from pics where user_id = xxx; 优化前 执行查询语句 (为了查看真实执行时间,强制不使用缓存,为了防止在测试时因为读取了缓存造成对时间上的差别) select SQL_NO_CACHE picname, smallimg from pics where user_id=17853; 执行了10次,平均耗时在40ms左右 使用explain进行分析: explain select SQL_NO_CACHE picname, smallimg from pics where user_id=17853 这里写图片描述 使用了user_id的索引,并且是const常数查找,表示性能已经很好了 优化后 因为这个语句太简单,sql本身没有什么优化空间,就考虑了索引 修改索引结构,建立一个(user_id,picname,smallimg)的联合索引: uid_pic 重新执行10次,平均耗时降到了30ms左右 使用explain进行分析 这里写图片描述 ...

karma JavaScript 作为 web 端使用最广泛的编程语言,它是动态语言,缺乏静态类型检查,所以在代码编译期间,很难发现像变量名写错,调用不存在的方法等错误,除非在运行时才能暴露出来,所以非常有必要有一个测试工具来验证你的代码。 karma 就是在这样的背景下产生的, 它是一个 runner , 旨在帮助开发者简单而又快速的进行自动化单元测试, 目前已经用在很多大型的项目, google 和 youtube 这些公司都在用它, 在 npm 官方网站上, 它也是一个比较流行的 npm 模块。 http://taobaofed.org/blog/2016/01/08/karma-origin/

‘MySQL 索引 失效’ http://www.jianshu.com/p/932bcdf2c89f 索引并不会时时发生,有时就算是where查询字段中添加了索引,索引也会失效,下面我们来讲讲五种索引失效的场景。 1.查询条件包含or 查询条件包含or时,可能会导致索引失效: 失效索引 当or左右查询字段只有一个是索引,该索引失效,explain执行计划key=null；只有当or左右查询字段均为索引时,才会生效； 有效索引 2.组合索引,不是使用第一列索引,索引失效 如果select from key1=1 and key2= 2;建立组合索引 (key1,key2) ; select from key1 = 1;组合索引有效； select from key1 = 1 and key2= 2;组合索引有效； select from key2 = 2;组合索引失效；不符合最左前缀原则 3.like 以%开头 使用like模糊查询,当%在前缀时,索引失效；eg: 索引失效 当前缀没有%,后缀有%时,索引有效；eg: 索引有效 4.如何列类型是字符串,where时一定用引号括起来,否则索引失效 不用引号括起来 作者: 程序猿小屌丝 链接: http://www.jianshu.com/p/932bcdf2c89f 來源: 简书 著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。

‘go, time.Tick, tick immediately’ How to get time.Tick to tick immediately ticker := time.NewTicker(period) for ; true; <-ticker.C { ... } https://stackoverflow.com/questions/32705582/how-to-get-time-tick-to-tick-immediately/47448177#47448177 https://github.com/golang/go/issues/17601

慢查询优化 https://tech.meituan.com/MySQL-index.html 慢查询优化基本步骤 0.先运行看看是否真的很慢,注意设置SQL_NO_CACHE 1.where条件单表查,锁定最小返回记录表。这句话的意思是把查询语句的where都应用到表中返回的记录数最小的表开始查起,单表每个字段分别查询,看哪个字段的区分度最高 2.explain查看执行计划,是否与1预期一致 (从锁定记录较少的表开始查询) 3.order by limit 形式的sql语句让排序的表优先查 4.了解业务方使用场景 5.加索引时参照建索引的几大原则 6.观察结果,不符合预期继续从0分析 Using filesort MySQL must do an extra pass to find out how to retrieve the rows in sorted order. The sort is done by going through all rows according to the join type and storing the sort key and pointer to the row for all rows that match the WHERE clause. Using temporary,表示需要创建临时表以满足需求,通常是因为GROUP BY的列没有索引,或者GROUP BY和ORDER BY的列不一样,也需要创建临时表,建议添加适当的索引。 ...

go xml https://github.com/astaxie/build-web-application-with-golang/blob/master/zh/07.1.md

Linux 磁盘分区 UUID, blkid http://tiger2020.blog.51cto.com/723949/1535774 查看设备的 uuid 的三种方法, 总结如下: 1 命令查看: blkid 2 文件查看: ls -l /dev/disk/by-uuid 3 命令查看: vol_id /dev/sda1 UUID的作用及意义 1: 它是真正的唯一标志符 UUID为系统中的存储设备提供唯一的标识字符串,不管这个设备是什么类型的。如果你在系统中启动的时候,使用盘符挂载时,可能找不到设备而加载失败,而使用UUID挂载时,则不会有这样的问题。 2: 设备名并非总是不变的 自动分配的设备名称并非总是一致的,它们依赖于启动时内核加载模块的顺序。如果你在插入了USB盘时启动了系统,而下次启动时又把它拔掉了,就有可能导致设备名分配不一致。 使用UUID对于挂载移动设备也非常有好处,它支持各种各样的卡,而使用UUID总可以使同一块卡挂载在同一个地方。 3: Ubuntu中的许多关键功能现在开始依赖于UUID

PAM(Pluggable Authentication Modules) auth: 表示鉴别类接口模块类型用于检查用户和密码,并分配权限； account: 表示账户类接口,主要负责账户合法性检查,确认帐号是否过期,是否有权限登录系统等； session: 会话类接口。实现从用户登录成功到退出的会话控制； password: 口令类接口。控制用户更改密码的全过程。也就是有些资料所说的升级用户验证标记。 system-auth文件是PAM模块的重要配置文件,它主要负责用户登录系统的身份认证工作,不仅如此,其他的应用程序或服务可以通过include接口来调用它 (该文件是system-auth-ac的软链接) 。此外password-auth配置文件也是与身份验证相关的重要配置文件,比如用户的远程登录验证(SSH登录)就通过它调用。而在Ubuntu、SuSE Linux等发行版中,PAM主要配置文件是common-auth、common-account、common-password、common-session这四个文件,所有的应用程序和服务的主要PAM配置都可以通过它们来调用。 http://www.infoq.com/cn/articles/linux-pam-one Linux中pam_cracklib.so的minlen和credit参数 Linux中的PAM(Pluggable Authentication Modules)包含很多有用的模块,其中pam_cracklib.so模块可以配置密码长度复杂度的需求。一般需要同时配置/etc/pam.d/目录中的system-auth和password-auth文件,例如下面 password requisite pam_cracklib.so try_first_pass retry=3 type= ocredit=2 minlen=10 限定密码长度主要涉及minlen参数,以及ucredit lcredit dcredit ocredit这四个credit参数,分别表示大写字符、小写字符、数字、其它字符的额外credit值。 这里的minlen=10实际上表示最小分数为10,而不是简单的最小长度为10。密码每有一个任意字符会有一分,另外,ucredit/lcredit/dcredit/ocredit默认值均为1,表示密码中四种字符的类别数,每多一种,就会得到额外的一分。 在这里,ocredit=2 minlen=10,也就是说,如果密码全是其它字符的话,最少需要minlen - ocredit = 10-2 = 8位；若密码包含其它字符和小写字符,最少需要minlen - ocredit - lcredit = 10-2-1 = 7位字符,以此类推。 另外ucredit/lcredit/dcredit/ocredit参数的值如果为负数,例如dcredit=-2,则表示密码中最少需要2位数字。 另外,除了密码长度之外,pam_cracklib.so库默认还会做其它方面的简单检查,并且库代码里写死了密码最小长度不能小于6. reference http://www.deer-run.com/~hal/sysadmin/pam_cracklib.html http://www.infoq.com/cn/articles/linux-pam-one

partx http://gulingzi.blog.51cto.com/2208376/1561403 /proc/partitions 记录了系统中所有硬盘及其上面的分区,包括已挂载和未挂载的。 有些硬盘没有记录分区信息,可能是没有分区,或者未记录 对于分区完成,但是尚未挂载的硬盘分区,partx告诉内核去做登记,以备挂载。 partx 告诉内核去识别、登记某个硬盘上的分区信息。并不是加载,只是识别并记录而已。 或者删除某个分区的记录。 -a 登记某块盘上的所有分区信息,如果某个分区信息已有记录,就会报错: BLKPG: Device or resource busy error adding partition 4 如果某磁盘上的分区信息都没有被记录,则安静完成。 -d 删除内核中关于某磁盘上的所有分区的记录 (不是卸载) -d -nr m-n 删除从第m-n分区的记录 如果已经挂载,则无法删除,并报错: error deleting partition 5: BLKPG: Device or resource busy 如果都删除了,使用-a选项来重新登记,不会有报错。 一般分区完成后,系统会识别到。 -l 列出某磁盘上的分区情况。数据从磁盘上获取,并不是来源于/proc/partitions

System V init, Upstart,Systemd http://monklof.com/post/14/ https://www.ibm.com/developerworks/cn/linux/1407_liuming_init2/index.html

city Amsterdam, Netherlands, 荷兰 Bangalore, India london ottawa 加拿大.渥太华 Richardson,Texas,US RTP,US 北卡 sanjose,California,US 圣荷西 shanghai sigapore sydney telaviv 特拉维夫 tokyo

nginx模块 http://wiki.jikexueyuan.com/project/nginx/model-architecture.html event module: 搭建了独立于操作系统的事件处理机制的框架,及提供了各具体事件的处理。包括 ngx_events_module, ngx_event_core_module和ngx_epoll_module 等。Nginx 具体使用何种事件处理模块,这依赖于具体的操作系统和编译选项。 phase handler: 此类型的模块也被直接称为 handler 模块。主要负责处理客户端请求并产生待响应内容,比如 ngx_http_static_module 模块,负责客户端的静态页面请求处理并将对应的磁盘文件准备为响应内容输出。 output filter: 也称为 filter 模块,主要是负责对输出的内容进行处理,可以对输出进行修改。例如,可以实现对输出的所有 html 页面增加预定义的 footbar 一类的工作,或者对输出的图片的 URL 进行替换之类的工作。 upstream: upstream 模块实现反向代理的功能,将真正的请求转发到后端服务器上,并从后端服务器上读取响应,发回客户端。upstream 模块是一种特殊的 handler,只不过响应内容不是真正由自己产生的,而是从后端服务器上读取的。 load-balancer: 负载均衡模块,实现特定的算法,在众多的后端服务器中,选择一个服务器出来作为某个请求的转发服务器。

事件驱动服务器, event-driven server https://gist.github.com/jcouyang/9914091 OPPC模型瓶颈 传统服务器模型如Apache为每一个请求生成一个子进程。当用户连接到服务器的一个子进程就产生,并处理连接。每个连接获得一个单独的线程和子进程。当用户请求数据返回时,子进程开始等待数据库操作返回。如果此时另一个用户也请求返回数据,这时就产生了阻塞。 这种模式在非常小的工作负荷是表现良好,当请求的数量变得太大是服务器会压力过于巨大。 当Apache达到进程的最大数量,所有进程都变得缓慢。每个请求都有自己的线程,如果服务代码使用PHP编写时,每个进程所需要的内存量是相当大的[1]。 fork()操作延时 事实上,基于OPPC的网络并不如想象中的高效。首先新建进程的性能很大程度上依赖于操作系统对fork()的实现,然而不同操作系统的处理并非都理想。 操作系统fork操作只是简单的拷贝分页映射。动态链接为共享库和全局偏移表中的ELF (Executable and Linking Format) 部分创建太多的分页映射。虽然静态的链接fork会是的性能大幅度提升,但是延时依然不乐观。 进程调度 Linux每10毫秒 (Alpha是1毫秒,该值为已编译常量) 中断一次在运行态的进程,查看是否要切换别的进程执行。进程调度的任务就是决定下一个应该执行的进程,而其难度就在于如何公平的分配CPU资源。一个好的调度算法应该给每一个进程都分享公平的CPU资源,而且不应该出现饥饿进程。 Unix系统采用多级反馈队列调度算法。使用多个不同优先级的就绪队列,使用Heap保持队列按优先级顺序排序。Linux 2.6版本提供了一个复杂度O(1)的调度算法,将进程调度延时降至最小。但是进程调度的频率是100Hz,意味着10毫秒会中止一个进程而判断是否需要切换到另一个进程。如果切换过多,会让CPU忙于切换,导致降低吞吐量。 内存占用与线程 创建多进程会带来另外一个问题: 内存消耗。 每一个创建的进程都会占用内存,在 Linux 2.6 中的测试结果, 400个左右的连接后 fork() 的性能要超过 pthread_create() 的性能。 IBM 对 Linux 做过优化后, 一个进程可以处理 10 万个连接。 fork () 在每一个连接时都 fork() 一次成本太高,多线程在于需要考虑线程安全(thread-safe)与死锁(deadlock),以及内存泄露问题这些问题。 可靠性 该模型具有可靠性问题。一个配置不当的服务器,很容易遭受拒绝服务攻击 (DoS) 。当大量并发请求的服务器资源时,负载均衡配置不当时服务器会很快耗尽源而奔溃。 同步阻塞 I/O 在这个模型中,应用程序执行一个系统调用,这会导致应用程序阻塞。这意味着应用程序会一直阻塞,直到系统调用完成为止 (数据传输完成或发生错误) 。调用应用程序处于一种不再占用CPU,而只是简单等待响应的状态,但是该进程依然占用着资源。当大量并发I/O请求到达时,则会产生I/O阻塞,造成服务器瓶颈。 事件驱动模型服务器 通过上诉分析与实验说明,事实上,操作系统并不是设计来处理服务器工作负载。传统的线程模型是基于运行应用程序是的一些密集型操作的需要。 操作系统的设计是让用户执行的多线程程序,使后台文件写入和UI操作同时进行,而并不是设计于处理大量并发请求连接。 Fork和多线程是相当费资源的操作,创建线程需要分配一个全新的内存堆栈。此外,上下文切换也是一项开销的,CPU调度模型是并不太适合一个传统的Web服务器。 因此,OPPC模型面临着多进程多线程的延迟已经内存消耗的问题。要用OPPC模型解决C10K问题显得十分复杂。 为解决C10K问题,一些新的服务器呈现出来。下列是解决C10K问题的Web服务器: nginx: 一个基于事件驱动的处理请求架构反向代理服务器。 Cherokee: Twitter使用的开源Web服务器。 [Tornado][13]: 一个Python语言实现的非阻塞式Web服务器框架。Facebook的FriendFeed模块使用此框架完成。 Node.js: 异步非阻塞Web服务器,运行于Google V8 JavaScript引擎。 ...

TPS、QPS、RPS PPS PPS (Packet Per Second) PCT (percentile) PCT99: 99%的响应时间 “90th pct/95th pct/99th pct”分别表示测试实例按响应时间从小到大排序后,第90/95/99个测试实例的响应时间。 95%percentile : 统计学术语,如果将一组数据从小到大排序,并计算相应的累计百分位,则某一百分位所对应数据的值就称为这一百分位的百分位数。可表示为: 一组 n 个观测值按数值大小排列。如,处于 p% 位置的值称第 p 百分位数。 QPS Queries Per Second,每秒查询数。每秒能够响应的查询次数。 QPS是对一个特定的查询服务器在规定时间内所处理流量多少的衡量标准,在因特网上,作为域名系统服务器的机器的性能经常用每秒查询率来衡量。每秒的响应请求数,也即是最大吞吐能力。 TPS Transactions Per Second 的缩写,每秒处理的事务数目。一个事务是指一个客户机向服务器发送请求然后服务器做出反应的过程。客户机在发送请求时开始计时,收到服务器响应后结束计时,以此来计算使用的时间和完成的事务个数,最终利用这些信息作出的评估分。 TPS 的过程包括: 客户端请求服务端、服务端内部处理、服务端返回客户端。 例如,访问一个 Index 页面会请求服务器 3 次,包括一次 html,一次 css,一次 js,那么访问这一个页面就会产生一个“T”,产生三个“Q”。 PV (page view) 即页面浏览量,通常是衡量一个网络新闻频道或网站甚至一条网络新闻的主要指标。 PV 即 page view,页面浏览量。用户每一次对网站中的每个页面访问均被记录 1 次。用户对同一页面的多次刷新,访问量累计。 根据这个特性,刷网站的 PV 就很好刷了。 与 PV 相关的还有 RV,即重复访问者数量 (repeat visitors) 。 UV 访问数 (Unique Visitor) 指独立访客访问数,统计1天内访问某站点的用户数(以 cookie 为依据),一台电脑终端为一个访客。 ...