我必须编写一个程序,从一个文件中读取所有的单词,并确定每个单词被使用的次数。我的任务是使用多线程来加快运行时间,但是单线程程序比多线程程序运行得更快。我试着研究解决这个问题的方法,但很多解释只会让我更困惑。我对线程的使用非常陌生,我想知道是否有人可以给我指出正确的方向来修复我的代码,这样创建线程的开销就不会导致程序的运行速度比单个线程慢。
public class Main
{
final static int THREADS = 4;
static HashMap<String, Integer> map = new HashMap<>();
static List<String> file = new ArrayList<String>();
static String filename = "D:\\yes.txt";
static int count;
public static void main(String args[]) throws Exception
{
long startTime = System.nanoTime();
Monitor m = new Monitor();
final Queue<String> dataQueue = new ConcurrentLinkedQueue<>();
try ( Scanner in = new Scanner(new File(filename)))
{
while ( in.hasNext() )
{
dataQueue.add( in.next() );
}
}
catch ( IOException e )
{
e.printStackTrace();
}
Thread T1 = new Thread( new WordCount(m, map, dataQueue ));
Thread T2 = new Thread( new WordCount(m, map, dataQueue ));
Thread T3 = new Thread( new WordCount(m, map, dataQueue ));
Thread T4 = new Thread( new WordCount(m, map, dataQueue ));
T1.start();
T2.start();
T3.start();
T4.start();
//wait for threads to end
try {
T1.join();
T2.join();
T3.join();
T4.join();
} catch ( Exception e) {
System.out.println("Interrupted");
}
Set<String> keys = map.keySet();
for (String key : keys)
{
System.out.println(key);
System.out.println(map.get(key));
}
long endTime = System.nanoTime();
System.out.println("Thread Took "+((endTime - startTime)/100000) + " ms");
}
}public class WordCount implements Runnable
{
private Monitor m;
private Queue<String> dataQueue;
private HashMap<String, Integer> map;
public WordCount(Monitor m, HashMap<String, Integer> map,Queue<String> dataQueue)
{
this.m = m;
this.dataQueue = dataQueue;
this.map = map;
}
@Override public void run()
{
while ( !dataQueue.isEmpty() )
{
String line = dataQueue.poll();
m.keySet(map, line);
}
}
}public class Monitor
{
public synchronized void keySet(HashMap<String, Integer> map, String word)
{
String[] words = filterIllegalTokens(word );
String[] lowerCaseWords = mapToLowerCase( words );
for ( String s : lowerCaseWords ) {
if (map.containsKey(s))
{
map.put(s, map.get(s) + 1);
}
else
{
map.put(s, 1);
}
}
}
public String[] filterIllegalTokens(String words)
{
List<String> filteredList = new ArrayList<>();
if ( words.matches( "[a-zA-Z]+" ) ) {
filteredList.add( words );
}
return filteredList.toArray( new String[filteredList.size()] );
}
public String[] mapToLowerCase( String[] words )
{
String[] filteredList = new String[words.length];
for ( int i = 0; i < words.length; i++ ) {
filteredList[i] = words[i].toLowerCase();
}
return filteredList;
}
}这是我的三个班级。有什么建议或建议吗?
发布于 2020-02-17 23:46:50
根据经验,您需要一个CPU核心用于操作系统,其他CPU核心可用于程序。因此,您至少需要5个CPU核心才能获得最佳性能。
创建这几个线程的开销并不重要。当您在毫秒内启动数十个线程时,这将变得更加相关。
代码中的主要问题是访问共享内存区域中的数据的时间占总时间的90%。在本例中,我们讨论的是ConcurrentLinkedQueue和同步的Monitor.keySet()方法。当一个线程访问这些对象时,其他3个线程必须等待。当您长时间运行您的程序时,您可能会注意到,只使用了CPU总功率的一小部分。
为了提高性能,我建议在启动线程之前将作业队列拆分为4个包,这样每个线程就可以处理自己的包,而不需要等待其他线程。此外,每个线程都应该在单独的容器中收集其结果。最后(线程完成后),您可以组合这四个结果。
如果你的工作线程会更复杂,你的问题就不会那么难了。例如,如果对容器的访问只需要总时间的10% (而一些计算需要90%),那么线程同步的开销也会少得多-相对于总执行时间。
https://stackoverflow.com/questions/60265593
复制相似问题