在循环中运行的弹簧批读取步骤
在循环中运行的弹簧批读取步骤
提问于 2017-04-06 04:29:45
我偶然发现了一段代码，它读取一些数据如下：
public class StudioReader implements ItemReader<List<Studio>> {
@Setter private AreaDao areaDao;
@Getter @Setter private BatchContext context;
private HopsService hopsService = new HopsService();
@Override
public List<Studio> read() throws Exception {
List<Studio> list = hopsService.getStudioHops();
if (!isEmpty(list)) {
for (Studio studio : list) {
log.info("Studio being read: {}", studio.getCode());
List areaList = areaDao.getArea(studio
.getCode());
if (areaList.size() > 0) {
studio.setArea((String) areaList.get(0));
log.info("Area {1} is fetched for studio {2}", areaList.get(0), studio.getCode());
}
this.getContext().setReadCount(1);
}
}
return list;
}但是，当我运行作业时，这个read正在循环中运行。我从另一个堆栈溢出回答中发现，它是预期的行为。那么，我的问题是，考虑到这个特定的例子，最好的解决方案是什么？从StudioReader扩展到JdbcCursorItemReader？我找到了一个示例，它定义了xml中我不想要的所有内容。下面是读者的context.xml部分：
<bean class="org.springframework.batch.core.scope.StepScope" />
<bean id="ItemReader" class="com.syc.studio.reader.StudioReader" scope="step">
<property name="context" ref="BatchContext" />
<property name="areaDao" ref="AreaDao" />
</bean>以下是xml中的作业定义：
<bean id="StudioJob" class="org.springframework.batch.core.job.SimpleJob">
<property name="steps">
<list>
<bean id="StudioStep" parent="SimpleStep" >
<property name="itemReader" ref="ItemReader"/>
<property name="itemWriter" ref="ItemWriter"/>
<property name="retryableExceptionClasses">
<map>
<entry key="com.syc.studio.exception.CustomException" value="true"/>
</map>
</property>
<property name="retryLimit" value="2" />
</bean>
</list>
</property>
<property name="jobRepository" ref="jobRepository" />
</bean>作者：
public void write(List<? extends Object> obj) throws Exception {
List<Studio> list = (List<Studio>) obj.get(0);
for (int i = 0; i <= list.size(); i++) {
Studio studio = list.get(i);
if (apiClient == null) {
apiClient = new APIClient("v2");
}
this.uploadXML(studio);
}@holi-java建议后的读取方法：
public List<Studio> read() throws Exception {
if (this.listIterator == null) {
this.listIterator = initializing();
}
return this.listIterator.hasNext() ? this.listIterator.next() : null;
}
private Iterator<List<Studio>> initializing() {
List<Studio> listOfStudiosFromApi = hopsService.getStudioLocations();
for (Studio studio : listOfStudiosFromApi) {
log.info("Studio being read: {}", studio.getCode());
List areaList = areaDao.getArea(studio.getCode());
if (areaList.size() > 0) {
studio.setArea((String) areaList.get(0));
log.info("Area {1} is fetched for studio {2}", areaList.get(0), studio.getCode());
}
this.getContext().setReadCount(1);
}
return Collections.singletonList(listOfStudiosFromApi).iterator();
}回答 1
Stack Overflow用户
回答已采纳
发布于 2017-04-06 06:11:50
用于ItemReader.read断言的春季批处理文档：
实现必须在输入数据集的末尾返回空。
但是，读取方法总是返回一个列表，应该如下所示：
public Studio read() throws Exception {
if (this.results == null) {
List<Studio> list = hopsService.getStudioHops();
...
this.results=list.iterator();
}
return this.results.hasNext() ? this.results.next() : null;
}如果希望read方法返回列表，则必须分页如下所示的结果：
public List<Studio> read() throws Exception {
List<Studio> results=hopsService.getStudioHops(this.page++);
...
return results.isEmpty()?null:results;
}如果无法分页服务的结果，可以这样解决：
public List<Studio> read() throws Exception {
if(this.results==null){
this.results = Collections.singletonList(hopsService.getStudioHops()).iterator();
}
return this.results.hasNext()?this.results.next():null;
}最好不要阅读项目列表( List<Studio> )，而是一次读一个项目( Studio )。当您阅读一个项目列表时，您可能会在writers和processors之间重复迭代逻辑，就像您在注释中显示的那样。如果您有大量要处理的数据列表，则可以在您的阅读器中组合分页，例如：
public Studio read() throws Exception {
if (this.results == null || !this.results.hasNext()) {
List<Studio> list = hopsService.getStudioHops(this.page++);
...
this.results=list.iterator();
}
return this.results.hasNext() ? this.results.next() : null;
}也许你需要见阶跃处理机构。
- ItemReader --一次读一个项目。
- ItemProcessor -一次处理一个项目。
- ItemWriter -把整块物品写出来。
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/43245742
复制相关文章
相似问题
腾讯云开发者
