1. 新建一个text文件，里面包含空记录和重复记录，如：Web_domain将该文件作为text file input输入，对该文件进行相关处理。2. 在kettle中建立一个transform，如下： 原理：先对输入的数据进行空记录过滤处理，这样就得到了没有空记录的数据，过滤器中配置如下：然后去掉重复记录，但是这一步之前我们需要进行排序操作：最后就是去重复记录操作了：Ok！这就是我做的一个关于去掉空记录和重复记录的transform，希望对你有用。