转录组学习六（reads计数与标准化）
任务
学习了解各个reads计数，及标准化的原理，如RPKM/FPKM/TPM的统计学原理；
了解reads计数的各个软件，用入门的htseq-count软件对每个样本内生成关于表达量的文件；
用脚本合并所有的样本表达量文件为表达矩阵；
对表达矩阵在R软件里简单的摸索，例如求平均值，方差等；
看一些重要的生物学意义的特殊基因的表达情况如何，比如GAPDH,β-ACTIN等。
<font color=orange>reads计数的原理</font>
参考徐洲更在reads计数里的解释：
reads的计数定量主要可分为三个水平：基因水平、转录组水平、外显子水平。
<font color=brown>基因水平</font>：常用的软件包括
HTSeq-count, featureCounts, BEDTools, Qualimap, Rsubread, GenomicRange等。在转录组学习五中的那篇重要的文章对于有参的expression定量所推荐的是FeatureCounts，无参的不组装直接定量的是Salmon-SMEM。这里对于入门所用的HtSeq-count，解决的就是上一步mapping完得到的比对结果Sam/Bam文件里的read和有参基因组的overlap区域来判断这些reads到底是属于哪个基因的，然后再进一步对这些属于这个基因的reads进行计数，而出现了overlap区域就会有不同的情况，对于HTSeq的三种对reads计数处理的模式如图：（大多数情况下，作者推荐union模式）
image使用完之后，就会对每个样本输出一个表达量的文件，后续需要对表达量文件写脚本合并。
<font color=brown>转录本水平</font>：使用的工具为Cufflinks和StringTie，eXpress。不同的转录本之间通常是重叠区域十分多且相似的，当二代读长小于转录本长度时，就会有区分上的难题。不过现在有三代测序，能够完整的将每个转录本测得序列。
<font color=brown>外显子水平</font>：和基因水平定量类似，不过需要提供无重叠的外显子区域的gtf文件(?),分析差异外显子使用的DEXSeq提供了一个Python脚本（dexseq_prepare_annotation.py）执行这个任务
<font color=brown>alignment-free软件</font>：省去比对，直接得到read count。运行效率更高，但会有样本特异性和读长偏差（不比对如何知道这些reads是属于基因组上的哪个gene上，进而如何知道定量计数呢？后续可以关注下其算法相关。）
<font color=orange>标准化的原理RPKM/FPKM/TPM</font>
之前学习genek-转录组原理篇课程时记录的相关笔记，也再次回顾一下
需要标准化的原因：
样本内：相对定量而不是绝对定量：仅表示在35次抽样中，B基因抽样到了20次，（而不是其表达了20次。也不能说其会比geneA表达量高，因为基因的长度不同，所以落到基因上的reads数量也不同）
样本件：不同样本的测序深度也是不同的，测序深度更深的会得到更多的reads。
故，需要标准化。对基因长度和测序深度的不同进行标准化。
PKM 流程
gene长度标准化(真实转录序列的长度，不考虑可变剪接情况)
测序深度标准化(除以每个样品总的reads数目，能够比对到参考序列上的reads数目):
RPKM(Reads Per Kilobase Per Million.)就是上面的对1 million个reads进行的操作
kilobase 基因长度单位
million 测序深度的单位
FPKM(Fragments Per Kilobase Per Million).建库测序是以片段为单位。单端测序两者等价。而双端测序应该用FPKM是更为通用的表示方式
TPM：
长度标准化、与FPKM同。
测序深度的标准化，(不是如FPKM的除以总reads树)而是按照长度标准化之后的样本求和。除以求和的结果。TPM是相等的
gene的表达量到底代表是什么意思。
绝对定量：一个细胞中，一定mol的RNA种有多少转录本
但是建库测序时并不知道用于建库测序时候提取了多少个细胞或者是总共有多少条转录本。所以只能进行相对定量。
相对定量：某一个基因的所有转录本所占的比例。
根据公式：
imageTPM:总的转录本的丰度，更符合对相对表达量的定义。表达丰度求和。(reads数目/基因的长度=表达丰富度)
看了许多的文章都在强调RPKM/FPKM的不合理性跟TPM的相对合理性，但为什么现在大多数的相对计数都在用FPKM/RPKM，而不用TPM呢，因为后续的软件不支持。
<font color=orange>HTSeq-count定量</font>
根据featureCounts or htseq-count?文章里对HTSeq-count和feature-counts做了比较，浏览下来得到几点:HTseq-count为Python写的软件，为欧洲分子实验室大神（写了另外的DESeq2）所写，并且htseq-count也被更多人所引用。，而对于
featureCounts来说，速度更快，20倍快于htseq；支持SAF的注释文件，会得到比htseq-count更多的计数值
基本使用：
htseq-count [options] <alignment_file> <gff_file>
文献中测序的数据是双末端PE-reads，htseq的计数需要进行按照reads名称进行排序
### samtools重新排序for i in `seq 56 58`; do nohup samtools sort -@ 5 -n ../5_samtools/SRR35899${i}.bam -o SRR35899${i}_nsort.bam & done
HTSeq-count的基本参数：
-f bam/sam:指定文件格式，默认为sam，选择为bam。
-r name/pos:利用samtool sort对数据根据read name或者位置进行排序，默认是name。
-s yes/no/reverse：数据是否来自于strand-specific assay。DNA是双链的，所以需要判断到底来自于哪条链。如果选择了no， 那么每一条read都会跟正义链和反义链进行比较。默认的yes对于双端测序表示第一个read都在同一个链上，第二个read则在另一条链上。
-a [num]: 最低质量， 剔除低于阈值的read
-m 模式：union,intersection-strict,intersection-nonempty对应着上图的三种模式。
**-i **：GFF attribute to be used as feature ID (default,suitable for Ensembl GTF files: gene_id)
HTSEQ-count脚本：
for i in `seq 56 58`dohtseq-count -s no -r name -f bam SRR35899${i}_nsort.bam ../../Database/human/Homo_sapiens.GRCh38.87.chr.gtf > SRR35899${i}_matrix.count 2> SRR35899${i}.logdone
奇怪的错误：
image在跑的时候总是存在libbz2.so.1.0不存在，奇奇怪怪的linux文库问题，在之前安装samtools=1.6版本时候也遇到这样情况。此问题有待解决。特么花了两个小时的时间就在处理这个问题，最后发现可能是conda软件在安装pysam跟htseq时候会有库的问题，换用
pip install HTSeq即可解决问题。运行结果：
image
<font color=orange>featureCounts定量</font>
基本使用Usage：
featureCounts [options] -a <annotation_file> -o <output_file> input_file1 [input_file2] ...### 参考其他命令行featureCounts -T 4 -t CDS -s -g Name -C -a gtf -o readscount_cdf_out 1.sam 3.sam 5.sam ...$featureCounts -T 5 -p -t exon -g gene_id -a $mm10_gtf -o counts.txt *.bam
<font color=orange>脚本合并各个表达量的文件生成为表达矩阵</font>
Perl里利用哈希数组来存入数据，其中基本知识点逻辑：
匹配.count文件的文件名，作为后续合并的header，
将每个基因名做key，value为一维数组，n->[num];
每个hash依次输出,如果不存在则复制为"0"
foreach
#ARGV-1)
line[0]}[
line[1];
print
hash{$id}}),"\n"
#!/usr/bin/perl -w$header= "Gene";foreach $i ( 0..@ARGV-1){#### $ARGV[$i]=~/(.*?)_(.*?).txt/; $ARGV[$i]=~/(.*?)_matrix\.count/; $header.="\t$1"; open IN,"$ARGV[$i]" or die "$!"; while(<IN>){ chomp; @line=split; $hash{$line[0]}[$i]=$line[1]; }}print"$header\n";foreach $gene_id(sort keys %hash){ foreach $i(0..@ARGV-1){ if(!$hash{$gene_id}[$i]){ $hash{$gene_id}[$i]=0; } } print $gene_id,"\t",join("\t",@{$hash{$gene_id}}),"\n";}
结果：
image
<font color=orange>重新对小鼠的4个数据进行比对-计数</font>
### 下载小鼠的hisat2 参考基因组index数据wget -b ftp://ftp.ccb.jhu.edu/pub/infphilo/hisat2/data/grcm38.tar.gz### 下载小鼠的gtf注释数据：wget -b wget ftp://ftp.ensembl.org/pub/release-90/gtf/mus_musculus/Mus_musculus.GRCm38.90.gtf.gz### 对小鼠的数据进行比对，直接输出为bam文件，跳过输出的sam文件。hisat2 -p 5 -x /sas/supercloud-kong/wangtianpeng/Database/mouse/grcm38/genome -1 /sas/supercloud-kong/wangtianpeng/data/biotrainee/1_raw_data/SRR3589959_1.fastq.gz -2 /sas/supercloud-kong/wangtianpeng/data/biotrainee/1_raw_data/SRR3589959_2.fastq.gz 2>/sas/supercloud-kong/wangtianpeng/data/biotrainee/5_samtools/SRR3589959.log | samtools view -Sb - > SRR3589959.bam### HISAT2比对的循环脚本for i in `seq 60 62`donohup hisat2 -x /sas/supercloud-kong/wangtianpeng/Database/mouse/grcm38/genome -1 /sas/supercloud-kong/wangtianpeng/data/biotrainee/1_raw_data/SRR35899${i}_1.fastq.gz -2 /sas/supercloud-kong/wangtianpeng/data/biotrainee/1_raw_data/SRR35899${i}_2.fastq.gz 2>/sas/supercloud-kong/wangtianpeng/data/biotrainee/5_samtools/SRR35899${i}.log | samtools view -Sb - > /sas/supercloud-kong/wangtianpeng/data/biotrainee/5_samtools/SRR35899${i}.bam & done### HTSeq-count计数for i in `seq 59 62` do nohup htseq-count -s no -r name -f bam -i gene_name ../5_samtools/SRR35899${i}.bam /sas/supercloud-kong/wangtianpeng/Database/mouse/Mus_musculus.GRCm38.90.gtf >SRR35899${i}_matrix.count 2> SRR35899${i}.log & done
11/22晚11点。Raw_count矩阵导入到R里的探索放在之后的差异基因分析里面吧。回顾知识点，主要是将HTSeq定量的原理，标准化FPKM/RPKM/TPM的原理，HTSeq-count软件的使用，还有重新将59~62的小鼠的数据跑了一遍。花了不少时间，好在也学到了不少。慢慢向前走吧。
参考文档
【使用HTSeq进行有参转录组的表达量计算】http://www.chenlianfu.com/?p=2438
【转录组入门（6）：reads计数】http://www.jianshu.com/p/24cf44b610a7
【genek-转录组原理篇】http://www.genek.tv/
【featureCounts or htseq-count?】http://bioinformatics.cvr.ac.uk/blog/featurecounts-or-htseq-count/
【转录组HTseq对基因表达量进行计数】http://www.bio-info-trainee.com/244.html