谷歌于客岁年底宣布了一个精简型的呆板语义说明项目：飞马（PEGASUS）：预先呆板进修及实习后的自动文章择要项目。近期这个项目迎来的新的版本，这个小型项目可以很是精准的自动提取出文章中的择要，而且只用一千个实习模子就可以天生媲佳丽类的择要内容。

当对包罗文本择要在内的下流NLP使命举办微调时，最近针对大型文本语料库举办自我进修的方针的预实习事变已表现出庞大的乐成。

可是，尚未切磋为抽象文本择要量身定制的预实习方针。另外，缺乏跨差异规模的体系评估。在这项事变中，我们提出了在大局限文本语料库上行使新的自我实习方针对基于大型编解码器模子举办预实习的要领。在PEGASUS中，重要句子从输入文档中删除/袒护，并作为别的句子的一个输出序列一路天生，相同于摘录择要。

我们在涉及消息，科学，故事，声名，电子邮件，专利和立法法案的12个下流汇总使命中评估了最佳PEGASUS模子。

尝试表白，在通过ROUGE分数权衡的全部12个下流数据集上，它均到达了最先辈的机能。我们的模子还表现了在低资源汇总方面的令人惊奇的机能，高出了仅行使1000个进修后的6个数据集上的最新功效。

最后，我们行使人工评估验证了我们的功效，并表白我们的模子择要可在多个数据集上实现人工示意。

附件：怎样陈设一个自动择要的情形

项目地点：https://github.com/google-research/pegasus

设定

请先建设一个项目并建设一个实例

gcloud compute instances create   ${VM_NAME}   --zone=${ZONE}   --machine-type=n1-highmem-8   --accelerator type=nvidia-tesla-v100,count=1   --boot-disk-size=500GB   --image-project=ml-images   --image-family=tf-1-15   --maintenance-policy TERMINATE --restart-on-failure

在github上克隆库并安装要求。

git clone https://github.com/google-research/pegasuscd pegasusexport PYTHONPATH=.pip3 install -r requirements.txt

凭听声名安装gsutil。

下载“殽杂与动态”模子的vocab，颠末预实习和微调的搜查点。

mkdir ckptgsutil cp -r gs://pegasus_ckpt/ ckpt/

对下流数据集举办微调

对现稀有据集举办微调aeslc。

python3 pegasus/bin/train.py --params=aeslc_transformer --param_overrides=vocab_filename=ckpt/pegasus_ckpt/c4.unigram.newline.10pct.96000.model --train_init_checkpoint=ckpt/pegasus_ckpt/model.ckpt-1500000 --model_dir=ckpt/pegasus_ckpt/aeslc

评估颠末微调的数据集。

python3 pegasus/bin/evaluate.py --params=aeslc_transformer --param_overrides=vocab_filename=ckpt/pegasus_ckpt/c4.unigram.newline.10pct.96000.model,batch_size=1,beam_size=5,beam_alpha=0.6 --model_dir=ckpt/pegasus_ckpt/aeslc

请留意，上面的示例行使的是单个GPU，因此batch_size远小于本文陈诉的功效。

支持两种范例的数据集名目：TensorFlow数据集（TFDS）或TFRecords。

本教程声名如安在TFDS中添加新的数据集。（但愿对微调数据集举办监视，请supervised_keys在数据集信息中提供 ）。

Tfrecords名目要求每个记录都是的tf示例{"inputs":tf.string, "targets":tf.string}。

譬喻，假如您注册了一个new_tfds_dataset用于实习和评估的TFDS数据集，而且有一些文件名为tfrecord名目new_dataset_files.tfrecord*用于测试，则可以在中注册它们/pegasus/params/public_params.py。

@registry.register("new_params")def my_param(param_overrides):  return public_params.transformer_params(      {          "train_pattern": "tfds:new_tfds_dataset,train",          "dev_pattern": "tfds:new_tfds_dataset,validation",          "test_pattern": "tfrecord:new_dataset_files.tfrecord*",          "max_input_len": 512,          "max_output_len": 128,          "train_steps": 10000,          "learning_rate": 0.0001,          "batch_size": 8,      }, param_overrides)

评估功效可在中找到mode_dir。自动为每个评估点计较汇总指标。

• ROUGE是总结质量的首要指标。

• BLEU是更换说话天生的质量指标。

• 提取碎片包围率和密度 是权衡择要抽象性的指标。

• 一再率丈量代一再失败模式。

• 长度统计数据较量黄金择要来丈量解码的长度漫衍。

可以在以下几种范例的输出文件中找到 model_dir

• text_metrics-*。txt：以上指标以文本名目表现。每行包括怀抱尺度名称，95％下限值，均匀值，95％上限值。
• 输入-.txt，方针-.txt，猜测-* .txt：模子输入/输出的原始文本文件。

预实习

（编辑：湖南网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!