进程和内存管理

进程定义

Process: 运行中的程序的一个副本，是被载入内存的一个指令集合，是资源分配的单位

• 进程ID（Process ID，PID）号码被用来标记各个进程
• UID、GID、和SELinux语境决定对文件系统的存取和访问权限
• 通常从执行进程的用户来继承
• 存在生命周期

进程创建：

• init：第一个进程，从 CentOS7 以后为systemd
• 进程：都由其父进程创建，fork()，父子关系，CoW：Copy On Write

查看进程或者线程的命令

pstree -p
# 在大括号里面的为线程
# 小括号的为进程
也可以通过查看proc文件系统内的文件查看线程数量
cat /proc/${PID}/status
查看进程对应的二进制文件
ls -l /proc/${PID}/exe

Page Frame: 页框，用存储页面数据，存储Page 4k

getconf -a |grep -i size

进程内存使用问题

1、内存泄漏：Memory Leak

指程序中用malloc或new申请了一块内存，但是没有用free或delete将内存释放，导致这块内存一直处于占用状态

2、内存溢出：Memory Overflow

指程序申请了10M的空间，但是在这个空间写入10M以上字节的数据，就是溢出

3、内存不足：OOM

OOM 即 Out Of Memory，”内存用完了”,在情况在java程序中比较常见。系统会选一个进程将之杀死，在日志messages中看到类似下面的提示

Jul 10 10:20:30 kernel: Out of memory: Kill process 9527 (java) score 88 or sacrifice child

当JVM因为没有足够的内存来为对象分配空间并且垃圾回收器也已经没有空间可回收时，就会抛出这个error，因为这个问题已经严重到不足以被应用处理

产生原因：

• 给应用分配内存太少：比如虚拟机本身可使用的内存（一般通过启动时的VM参数指定）太少。
• 应用用的太多，并且用完没释放，浪费了。此时就会造成内存泄露或者内存溢出。

解决办法:

1，限制java进程的max heap，并且降低java程序的worker数量，从而降低内存使用
2，给系统增加swap空间

设置内核参数（不推荐），不允许内存申请过量：

# overcommit_memory默认值
sysctl -a|grep commit

echo 2 > /proc/sys/vm/overcommit_memory
echo 80 > /proc/sys/vm/overcommit_ratio
echo 2 > /proc/sys/vm/panic_on_oom

说明：
Linux默认是允许memory overcommit的，只要你来申请内存我就给你，寄希望于进程实际上用不到那么多内存，但万一用到那么多了呢？Linux设计了一个OOM killer机制挑选一个进程出来杀死，以腾出部分内存，如果还不够就继续。也可通过设置内核参数 vm.panic_on_oom 使得发生OOM时自动重启系统。这都是有风险的机制，重启有可能造成业务中断，杀死进程也有可能导致业务中断。所以Linux 2.6之后允许通过内核参数 vm.overcommit_memory 禁止memory overcommit。
vm.overcommit_memory 接受三种取值

0 – Heuristic overcommit handling. 这是缺省值，它允许overcommit，但过于明目张胆的overcommit会被拒绝，比如malloc一次性申请的内存大小就超过了系统总内存。Heuristic的意思是“试探式的”，内核利用某种算法猜测你的内存申请是否合理，它认为不合理就会拒绝overcommit。
1 – Always overcommit. 允许overcommit，对内存申请来者不拒。内核执行无内存过量使用处理。使用这个设置会增大内存超载的可能性，但也可以增强大量使用内存任务的性能。
2 – Don’t overcommit. 禁止overcommit。 内存拒绝等于或者大于总可用 swap 大小以及overcommit_ratio 指定的物理 RAM 比例的内存请求。如果希望减小内存过度使用的风险，这个设置就是最好的。

进程状态

运行态：running
就绪态：ready
睡眠态：分为两种，可中断：interruptable，不可中断：uninterruptable
停止态：stopped，暂停于内存，但不会被调度，除非手动启动
僵死态：zombie，僵尸态，结束进程，父进程结束前，子进程不关闭，杀死父进程可以关闭僵死态的子进程

ps aux 命令STAT列下各字母代表的含义

STAT：进程状态
R：running
S: interruptable sleeping 可中断
D: uninterruptable sleeping 不可中断
T: stopped
Z: zombie 僵尸
+: 前台进程
l: 多线程进程
L：内存分页并带锁
N：低优先级进程
<: 高优先级进程
s: session leader，会话（子进程）发起者
I：Idle kernel thread，CentOS 8 新特性
ni: nice值
pri: priority 优先级
rtprio: 实时优先级
psr: processor CPU编号

孤儿进程

如果在子进程在退出前，父进程先退出,这时子进程将成为孤儿进程，因为它的父进程已经死了。孤儿进程会被PID=1的systemd进程收养，成为systemd的子进程.
注意，孤儿进程还会继续运行，而不会随父进程退出而终止，只不过其父进程发生了改变。

IPC 进程间通信

IPC: Inter Process Communication
1、同一主机

pipe 管道,单向传输
socket  套接字文件,双工通信
Memory-maped file  文件映射,将文件中的一段数据映射到物理内存，多个进程共享这片内存
shm shared memory 共享内存
signal 信号
Lock  对资源上锁，如果资源已被某进程锁住，则其它进程想修改甚至读取这些资源，都将被阻塞，直到锁被打开
semaphore 信号量，一种计数器,

2、不同主机：socket=IP和端口号

RPC remote procedure call
MQ 消息队列，生产者和消费者，如：Kafka，RabbitMQ，ActiveMQ

系统内置函数可以直接被其他进程直接调用

# ubuntu系统函数文件位置
/lib/lsb/init-functions
# CentOS系统函数文件位置
/etc/init.d/functions

进程管理和性能相关工具

进程树 pstress

pstree 可以用来显示进程的父子关系，以树形结构显示

pstree  [OPTION] [ PID | USER ]
常用选项：
-p 显示PID
-T 不显示线程thread,默认显示线程
-u 显示用户切换
-H pid 高亮显示指定进程及其前辈进程

进程信息ps

ps 即 process state，可以进程当前状态的快照，默认显示当前终端中的进程，Linux系统各进程的相关信息均保存在/proc/PID目录下的各文件中

ps [OPTION]...
常用选项
a　选项包括所有终端中的进程
x　选项包括不链接终端的进程
u　选项显示进程所有者的信息
f　选项显示进程树,相当于 --forest
k|--sort 属性 对属性排序,属性前加 - 表示倒序
o　属性… 选项显示定制的信息 pid、cmd、%cpu、%mem
L 显示支持的属性列表
-C cmdlist 指定命令，多个命令用，分隔
-L 显示线程
-e 显示所有进程，相当于-A
-f 显示完整格式程序信息
-F 显示更完整格式的进程信息
-H 以进程层级格式显示进程相关信息
-u userlist 指定有效的用户ID或名称
-U userlist 指定真正的用户ID或名称
-g gid或groupname 指定有效的gid或组名称
-G gid或groupname 指定真正的gid或组名称
-p pid 显示指pid的进程
--ppid pid 显示属于pid的子进程
-t ttylist 指定tty,相当于 t
-M 显示SELinux信息，相当于Z

ps 输出属性

C :  ps -ef 显示列 C 表示cpu利用率
VSZ: Virtual memory SiZe，虚拟内存集，线性内存
RSS: ReSident Size, 常驻内存集
STAT：进程状态
    R：running
    S: interruptable sleeping
    D: uninterruptable sleeping
    T: stopped
    Z: zombie
    +: 前台进程
    l: 多线程进程
    L：内存分页并带锁
    N：低优先级进程
    <: 高优先级进程
    s: session leader，会话（子进程）发起者
    I：Idle kernel thread，CentOS 8 新特性
ni: nice值
pri: priority 优先级
rtprio: 实时优先级
psr: processor CPU编号

示例：

ps axo pid,cmd,psr,ni,pri,rtprio
#常用组合
aux
-ef
-eFH
-eo pid,tid,class,rtprio,ni,pri,psr,pcpu,stat,comm
axo stat,euid,ruid,tty,tpgid,sess,pgrp,ppid,pid,pcpu,comm
#常用示例
#按CPU利用率倒序排序
ps aux k -%cpu
ps axo pid,cmd,%cpu,%mem k -%cpu
#按内存倒序排序
ps axo pid,cmd,%cpu,%mem --sort -%mem