linux体系层面调优和常见的口试题
|
无论对Spark集群，照旧Hadoop集群等大数据相干的集群举办调优，对linux体系层面的调优都是必不行少的，这里首要先容3种常用的调优： 1.linux文件句柄 linux在整个体系层面和单个历程两个层面临打开的文件句柄举办限定。 设置文件/proc/sys/fs/file-max是对整个体系层面临打开的文件句柄最大数举办节制，单个用户或历程可以或许打开的文件句柄数受此限定。 通过ulimit -a查察当前用户或历程可以或许打开的最大文件数：
上述只是默认值，在现实出产情形必定是不足用的，假如设置过小，偶然会报相同can't open so many files的错误。通过ulimit -n可以对该值举办姑且修改。 假如想永世见效，必要修改设置文件/etc/security/limits.conf，如soft nofile 10000、hard nofile 10000追加到设置文件中。 ? 2.单个用户最大历程数 上图中max user processes就是单个用户最大历程数的限定，通过ulimit -u可以姑且修改。永世修改必要追加，如soft nproc 10000、hard nproc 10000到/etc/security/limits.conf文件中 3.swap分区 又被称为互换分区，占用的是磁盘空间。操纵体系可以将一部门数据存于swap分区中，从而为当前运行的措施腾出足够的内存空间。但由于数据存于磁盘，机能会相对内存低，尤其是读写频仍的情感，IO耗损会更大。 公道配置swap分区巨细，好比配置为0，优先行使物理内存。配置方法echo vm.swappiness=0 >> /etc/sysctl.conf。 针对差异体系、用户必要修改的文件也许有所差异，好比对付平凡用户最大打开历程限定设置文件/etc/security/limits.d/20-nproc.conf。 ? 除了上述常见的3种调优，尚有节制每个端口监听行列的最大长度等调优方法，这里不再赘述。 ? 关于软限定和硬限定的增补： 上文中，soft是软限定，hard是硬限定。 软限定（soft limit）：内核现实执行的限定，任何历程都可以将软限定配置为小于或便是对历程限定的硬限定的值、最大线程数和文件数。
硬限定（hard limit）：可以在任何时辰任何历程中配置，但硬限定必要由超等用户修改。 ? linux常晤口试题 1.linux体系中获取pid为100的历程所监听的tcp端标语 netstat -npta | grep 100 ? ? 2.查找/home目次下巨细为10k的文件 find /home -size 10K ? ? 3.在当前目次中的Main.java中要害字keywords呈现位置，并将功效追加到main.txt中find . -name Main.java | xargs grep -n "keywords" >> main.txt 【xargs将前一个呼吁的输出作为后一个呼吁的参数】 ? ? 4.压缩文件夹testDir为testDir.tar.gz tar -zcvf testDir.tar.gz ?testDir/ ? ? 5.解压缩文件testDir.tar.gz到路径/home/user中 tar -zxvf testDir.tar.gz -C /home/user ? ? 6.查察磁盘行使环境 df -h ? ? 7.查察内存行使环境 free -mt ? 8.改变当前路径下testDir及其下面全部文件和目次的全部者为tom，组为group-t chown -R tom:group-t ./testDir ? ? 9.赋予testDir权限为rwxr-xr-x chmod 755 testDir ? ? 10.查察文件app.log，从第3000行开始，表现1000行，即表现3000-3999行 cat app.log | tail -n +3000 | head -n 1000 ? ? 11.查察文件app.log，表现1000行到3000行 cat app.log | head -n 3000 | tail -n +1000 ? ? 12.统计当前文件夹下的app目次下，js文件数目ll ./app | grep "^-" | grep js | wc -l ^-：正则表达式，匹配文件 ? 存眷微信公家号：大数据进修与分享，获取更对技醒目货 （编辑：湖南网） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |
